(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210770690.3 (22)申请日 2022.06.30 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 张琦　刘巧俏　邹航　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 孙宝海 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/00(2011.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像生成方法、 装置、 电子设备及计算机可 读存储介质 (57)摘要 本公开提供了一种图像生成方法、 装置、 电 子设备及计算机可读存储介质， 涉及图像处理技 术领域。 包括： 获取目标图像的风格控制内容； 根 据第一神经网络从风格控制内容中提取n对第一 形状编码和第一外观编码； 获取n对第二形状编 码和第二外观编码； 根据n对第一形状编码和第 一外观编码， 以及n对第二形状编码和第二外观 编码， 生成n对第三形状编码和第三外观编码； 获 取与目标图像对应的空间点的位置编码； 根据位 置编码以及n对第三形状编码和第三外观编码， 生成n个第一特征域； 根据第二神经网络对n个第 一特征域进行处理， 得到目标图像。 此种方式， 使 得用户可以通过输入风格控制内容实现对目标 图像的风格的控制， 并可以生 成实际不存在的虚 拟图像。 权利要求书3页 说明书15页 附图5页 CN 115063536 A 2022.09.16 CN 115063536 A 1.一种图像生成方法， 其特 征在于， 包括： 获取目标图像的风格控制内容； 根据第一神经网络从所述风格控制内容中提取n对第 一形状编码和第 一外观编码， n为 大于或者 等于1的整数； 获取n对第 二形状编码和第 二外观编码， 所述n对第 二形状编码和第 二外观编码 从拟合 样本数据分布的正态分布中随机采样n次得到； 根据所述n对第 一形状编码和第 一外观编码， 以及所述n对第二形状编码和第 二外观编 码， 生成n对第三形状编码和第三外观编码； 获取与所述目标图像对应的空间点的位置编码； 根据所述位置编码以及所述n对第三形状编码和第三外观编码， 生成n个第一特征域， 一个第一特 征域对应一个第三形状编码及相应的一个第三外观编码； 根据第二神经网络对所述 n个第一特 征域进行处 理， 得到所述目标图像。 2.根据权利要求1所述的方法， 其特征在于， 所述第一神经网络包括特征提取模型、 形 状映射器和外观映射器， 所述根据第一神经网络从所述风格控制内容中提取n对第一形状 编码和第一外观编码， 包括： 根据所述特 征提取模型提取 所述风格控制内容的风格特 征， 得到风格编码向量； 根据所述形状映射器从所述 风格编码向量中提取n个第一形状编码； 根据所述外观映射器从所述 风格编码向量中提取n个第一外观编码。 3.根据权利要求2所述的方法， 其特征在于， 所述风格控制内容包括文本内容， 或者图 像内容， 或者语音内容； 所述根据所述特征提取模 型提取所述风格控制内容的风格特征， 得 到风格编码向量， 包括： 在所述风格控制内容包括所述文本 内容的情况下， 根据 所述特征提取模型包括的文本 编码器从所述文本内容中提取 出所述风格编码向量； 在所述风格控制内容包括所述图像 内容的情况下， 根据 所述特征提取模型包括的图像 编码器从所述图像内容中提取 出所述风格编码向量； 在所述风格控制内容包括所述语音内容的情况下， 根据 所述特征提取模型包括的语音 转化器将所述语音内容转换为相应的文本内容； 根据所述文本编 码器从所述语音内容对应 的文本内容中提取 出所述风格编码向量。 4.根据权利要求3所述的方法， 其特征在于， 所述特征提取模型为经过预训练 的神经网 络模型。 5.根据权利要求1所述的方法， 其特征在于， 所述获取与 所述目标图像对应的空间点的 位置编码， 包括： 在三维空间中以相机原点为中心， 获取H*W条射线， H*W对应所述目标图像的大小， H和W 均为大于 0的整数； 确定所述H *W条射线中每一条射线的第一 坐标和第二 坐标； 在每一条射线的第一坐标和第二坐标之间的线段中采样S个空间点， 得到H*W*S个空间 点， S为大于 0的整数； 根据所述H*W*S个空间点中的每一个空间点的坐标， 对所述H*W*S个空间点分别进行编 码， 得到所述 位置编码。权　利　要　求　书 1/3 页 2 CN 115063536 A 26.根据权利要求1所述的方法， 其特征在于， 所述根据所述位置编码以及所述n对第三 形状编码和第三外观编码， 生成n个第一特 征域， 包括： 将所述位置编码以及所述n对第三形状编码和第三外观编码输入第三神经网络， 由所 述第三神经网络根据每一对第三形状编码和第三外观编码以及所述位置编码生成对应的 第一特征域， 得到n个第一特 征域。 7.根据权利要求1所述的方法， 其特征在于， 所述第二神经网络包括组合算子、 三维体 积渲染神经网络和预测神经网络； 所述根据第二神经网络对所述n个第一特征域进 行处理， 得到所述目标图像， 包括： 根据所述组合 算子对所述 n个第一特 征域进行处 理， 得到第二特 征域； 根据所述 三维体积渲染神经网络对所述第二特 征域进行渲染， 得到特 征图； 根据所述预测 神经网络对所述特 征图进行 预测， 得到所述目标图像。 8.根据权利要求7所述的方法， 其特征在于， 所述n个第一特征域中的每一个第一特征 域对应的空间点均具有相应的空间密度和目标特征； 所述根据所述组合算子对所述n个第 一特征域进行处 理， 得到第二特 征域， 包括： 将所述n个第 一特征域输入所述组合算子， 由所述组合算子根据如下公式计算出所述n 个第一特 征域在各个空间点处的平均空间密度和平均目标 特征； 其中， C(x,d)为空间点， x 为空间点的位置， d为空间点的方向， μi为第i个第一特征域在C (x,d)处的空间密度， fi为第i个第一特 征域在C(x,d)处的目标 特征； 根据各个空间点处的平均空间密度和平均目标 特征， 得到所述第二特 征域。 9.一种图像生成装置， 其特 征在于， 包括： 获取模块， 用于获取目标图像的风格控制内容； 提取模块， 用于根据第一神经网络从所述风格控制内容中提取n对第一形状编码和第 一外观编码， n 为大于或者 等于1的整数； 所述获取模块， 还用于获取n对第二形状编码和第二外观编码， 所述n对第二形状编码 和第二外观编码从拟合样本数据分布的正态分布中随机采样n次得到； 生成模块， 用于根据所述n对第一形状编码和第一外观编码， 以及所述n对第二形状编 码和第二外观编码， 生成n对第三形状编码和第三外观编码； 所述获取模块， 还用于获取与所述目标图像对应的空间点的位置编码； 所述生成模块， 还用于根据 所述位置编码以及所述n对第 三形状编码和第 三外观编码， 生成n个第一特 征域， 一个第一特 征域对应一个第三形状编码及相应的一个第三外观编码； 处理模块， 用于根据第二神经网络对所述n个第一特征域进行处理， 得到所述目标图 像。 10.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 用于存 储所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1～8中任意一项所权　利　要　求　书 2/3 页 3 CN 115063536 A 3