(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210885729.6 (22)申请日 2022.07.26 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 王楠楠　吴子成　朱明瑞　易云　 何潇　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 勾慧敏 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于双路条件归一化的人脸照 片-素描 画像合成方法 (57)摘要 本发明公开了一种基于双路条件归一化的 人脸照片 ‑素描画像合成方法， 包括： 获取待 合成 人脸照片 ‑素描画像对； 将待 合成人脸照片 ‑素描 画像对输入至训练好的人脸照片 ‑素描画像合成 网络得到合成结果； 其中， 人脸照片 ‑素描画像合 成网络包括编码器、 生成器和语义分割模块， 生 成器包括双路归一化模块、 门控注 意力特征融合 模块和解码器； 训练好的人脸照片 ‑素描画像合 成网络通过人脸照片 ‑素描画像对训练集训练得 到的。 本发明提高了人脸照片 ‑素描画像合成效 果的质量。 权利要求书2页 说明书12页 附图6页 CN 115375596 A 2022.11.22 CN 115375596 A 1.一种基于双路条件 归一化的人脸照片 ‑素描画像合成方法， 其特 征在于， 包括： 获取待合成人脸照片 ‑素描画像对； 将所述待合成人脸照片 ‑素描画像对输入至训练好的人脸照片 ‑素描画像合成网络得 到合成结果； 其中， 所述人脸照片 ‑素描画像合成网络包括编码器、 生成器和语义分割模块， 所述生 成器包括双路归一化模块、 门控注意力特征融合模块和解码 器； 所述训练好的人脸照 片‑素 描画像合成网络通过 人脸照片 ‑素描画像对训练集训练得到的； 对应训练过程包括： 所述编码器对所述人脸照片 ‑素描画像对训练集进行编码并输出深度特征； 所述语义 分割模块提取训练集中素描画像的语义标签； 所述双路归一化模块根据所述语义标签和所 述深度特征按空间信息支路和纹理信息支路进行加强； 所述门控注意力特征融合模块将空 间信息支路和纹理信息支路的输出结果进 行融合； 所述解码 器对融合结果进 行解码输出所 述人脸照 片‑素描画像对训练集对应的合成结果； 根据所述人脸照 片‑素描画像对训练集及 其对应的合成结果构建所述人脸照片 ‑素描画像合成网络的损失函数； 根据所述损失函数 更新所述人脸照片 ‑素描画像合成网络的参数， 继续进 行训练直至满足迭代停止条件， 得到 所述训练好的人脸照片 ‑素描画像合成网络 。 2.根据权利要求1所述的基于双 路条件归一化的人脸照片 ‑素描画像合成方法， 其特征 在于， 所述编码器包括若干依次连接的卷积层； 在所述编码器中， 将所述编码器最后三个卷积层对应的输出作为深度特 征。 3.根据权利要求1所述的基于双 路条件归一化的人脸照片 ‑素描画像合成方法， 其特征 在于， 所述双路归一 化模块包括S PADE Resblock模块和AdaI N Resblock模块， 其中， 所述SPADE  Resblock模块根据训练集 中素描画像的语义标签， 以及训练集 中人脸照片 的深度特 征进行空间信息加强； 所述AdaIN  Resblock模块根据训练集中素描画像和人脸照片的深度特征进行纹理信 息加强。 4.根据权利要求3所述的基于双 路条件归一化的人脸照片 ‑素描画像合成方法， 其特征 在于， 所述AdaIN  Resblock模块包括若干依次连接的残差AdaIN模块； 其中， 每一所述残差 AdaIN模块包括依次连接的一基础AdaI N模块和一残差模块。 5.根据权利要求3所述的基于双 路条件归一化的人脸照片 ‑素描画像合成方法， 其特征 在于， 所述S PADE Resblock模块的输出表示 为： 其中， p表示人脸照片， Ai表示第i(i＝1,2,3)层深度特征对应的所述SPADE  Resblock模 块的输出， 表示第i(i＝1,2,3)层深度特征中人脸照片p对应的深度特征， c表示通道， (y,x)表示 在通道c上的一位置， 表示 在第c通道上点(y,x)处的值， Ms表示语义 标签， 分别表示 在第c通道上从语义标签Ms中学习到的放缩 量、 偏移 量， 分别表示 在第c通道上的均值和方差 。权　利　要　求　书 1/2 页 2 CN 115375596 A 26.根据权利要求5所述的基于双 路条件归一化的人脸照片 ‑素描画像合成方法， 其特征 在于， 所述AdaI N Resblock模块的输出表示 为： 其中， s表示素描画像， Bi表示第i(i＝1,2,3)层深度特征对应的所述AdaIN  Resblock模 块的输出， 表示第i(i＝1,2,3)层深度特征中素描画像s对 应的深度特征， 表示 在第c通道上与 对应的同一点(y,x)处的值， 分别表示 在第c通道上 的均值和方差 。 7.根据权利要求6所述的基于双 路条件归一化的人脸照片 ‑素描画像合成方法， 其特征 在于， 所述门控注意力特 征融合模块包括两个门控 模块、 一通道注意力模块； 其中， 所述SPADE Resblock模块和所述AdaI N Resblock模块的输出分别输入两个门控 模块； 所述SPADE  Resblock模块和所述AdaIN  Resblock模块的输出叠加后输入所述通道注 意力模块； 将两个门控 模块的输出和所述 通道注意力模块的输出进行融合。 8.根据权利要求7所述的基于双 路条件归一化的人脸照片 ‑素描画像合成方法， 其特征 在于， 将两个门控 模块的输出和所述 通道注意力模块的输出进行融合表示 为： 其中， Ci表示第i(i＝1,2,3)层深度特征对应的所述门控注意力特征融合模块的输出， CA(·)表示通道注意力函数， 表示Ai对应的门控函数， 表示Bi对应的门控函数。 9.根据权利要求1所述的基于双 路条件归一化的人脸照片 ‑素描画像合成方法， 其特征 在于， 所述 解码器为基于AF F模块的解码器； 在所述解码器 中， 将所述门控注意力特征融合模块的输出进行上采样得到相同分辨率 的特征后， 利用AF F模块进行 特征融合， 并解码输出。 10.根据权利要求1所述的基于双路条件归一化的人脸照片 ‑素描画像合成方法， 其特 征在于， 构建的所述人脸照片 ‑素描画像合成网络的损失函数表示 为： Lfull＝ λ1Ladversarial+λ2Lcycle+λ3Lperceptual； 其中， Lfull表示所述人脸照片 ‑素描画像合成网络的损失函数； Ladversarial表示生成对抗 损失， Lcycle表示循环一 致性损失， Lperceptual表示感知损， λ1、 λ2、 λ3表示平衡参数。权　利　要　求　书 2/2 页 3 CN 115375596 A 3