(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210968080.4 (22)申请日 2022.08.12 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 郑洁莹　黎浩贤　刘峰　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 杭行 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于中间语义增强的人脸素描-照片合 成方法 (57)摘要 本发明是一种基于中间语义增强的人脸素 描‑照片合成方法， 合成方法通过构建两阶段生 成对抗网络， 在第一合成阶段合成人脸中间语 义， 并构建语义判别器进行合成语义的判别， 在 总体损失函数中增加语义匹配损失， 进而在合成 过程中修正人脸的语义结构， 使得人脸语义结构 更加接近真实的人脸照片语义， 减小由于模态差 异带来的语义结构差异， 并利用合成的中间语义 对合成的人脸照片进行成分损失的计算， 以提高 合成照片的准确性和质量。 权利要求书3页 说明书5页 附图2页 CN 115471410 A 2022.12.13 CN 115471410 A 1.一种基于中间语义增强的人脸素描 ‑照片合成方法， 其特征在于： 所述人脸素描 ‑照 片合成方法包括如下步骤： 步骤1： 对素描成对人脸素描 ‑照片进行预处理， 使得人脸图像的尺寸一致、 内容对齐， 得到数据集， 表示为 其中人脸素描数据集表示为S＝{S1， S2， ...， St， ...， SN}， 人脸素描数据集表示 为P＝{P1， P2， ...， Pt， ...， PN}； 步骤2： 利用预训练的人脸解析模型BiSeNet模型分别对人脸素描和人脸照片进行语义 分割， 得到人脸素描和照片的语义分割图， 分别表示为Fs＝{Fs1， Fs2， ...， Fst， ...， FsN}和Fp ＝{Fp1， Fp2， ...， Fpt， ...， FpN}， 将数据集{S， Fs， P， Fp}进行插值， 并将所有图像插值到256 × 256的分辨率， 并进行归一 化处理； 步骤3： 构建两阶段的生成对抗网络合成模型， 包含第一阶段的DIP ‑GAN网络和第二阶 段的SE‑GAN网络； 步骤4： 将素描图像S和根据素描图像S进行语义分割得到素描语义Fs输入步骤3第一阶 段的DIP‑GAN网络， 同时得到初始合成照片 P’和中间语义Fint； 步骤5： 进行第一阶段的合成判别， 包括合成初始照片P ’的判别以及合成步骤4得到的 中间语义Fint的判别Dpar， 并计算第 一阶段的对抗损失Ladv1、 风格损失Lper1、 成分损失Lcmp1以 及语义匹配损失LPM1； 步骤6： 将第一阶段的合成结果的初始合成照片P ’和中间语义Fint输入到第二阶段的 SE‑GAN网络中的生成器G2， 分别经过8个编码层， 进行特征融合之后， 再经过8个解码层， 得 到最终的合成照片 P”， 并计算第二阶段的损失函数； 步骤7： 以最大最小化目标函数为目标， 利用反向传播算法， 进行网络参数更新和迭代 训练， 优化网络结构中的G1、 D1、 Dpar、 G2、 D2， 采用迭代更新的方式进行训练， 训练的顺序为D1、 Dpar→D2→G1→G2； 步骤8： 在测试阶段， 只需将人脸素描图像， 经过BiSeNet网络， 提取语义图像， 然后进行 标准化， 并缩放到统一尺寸256 ×256， 直接连续输入到两个 生成器G1、 生成器G2中， 最终的输 出结果即为 合成的可 见光照片图像。 2.根据权利要求1所述一种基于中间语义增强的人脸素描 ‑照片合成方法， 其特征在 于： 所述步骤4具体包括如下步骤： 步骤4‑1： DIP网络包含网络具有2个输入， 在编码器第一层分别将素描语义Fs输入第一 个编码层Enc1_1， 素描S输入第一个编码层Enc1_2： 步骤4‑2： 将编码器第一层得到的两种特 征进行串联： fe1＝concat(fe11， fe12) 步骤4‑3： 将步骤4 ‑2串联得到的特征fe1再通过编码器2 ‑8层Enc2‑8， 得到最终的特征图 fmap： fmap＝Enc8(Enc7(Enc 6(Enc5(Enc4(Enc 3(Enc2(fe1)))))) 步骤4‑4： 将步骤4 ‑3得到的所述特 征图fmap再通过解码器第1 ‑7层 Dec1‑7得到fd7：权　利　要　求　书 1/3 页 2 CN 115471410 A 2fd7 ＝Dec7(Dec 6(Dec5(Dec4(Dec 3(Dec2(Dec1(fmap)， fe7)， fe6)， fe5)， fe4)， fe3)， fe2) 每一层的解码器均 与对应的编码器进行跳连； 步骤4‑5： 将步骤4 ‑4得到的fd7分别通过解码器第8层Dec8_1和Dec8_2， 得到中间语义 Fint和初始合成照片 P’： 3.根据权利要求1所述一种基于中间语义增强的人脸素描 ‑照片合成方法， 其特征在 于： 所述步骤5具体包括如下步骤： 步骤5‑1： 计算第一阶段的对抗损失Ladv1： 式中， E表示期望， α 为权 重系数， 用以权衡两个判别器的重要性； 步骤5‑2： 计算初始合成照片 P’的风格损失Lper1： 式中， l表示利用VGG ‑19网络的第l层特征输出， A是选择的特征层集合， 表示经过VGG‑ 19网络提取 特征的操作； 步骤5‑3： 计算初始合成照片 P’的成分损失Lcmp1： 式中， h、 w是图像宽和高的像素个数， δ 为权 重参数， 表示卷积 操作，⊙表示点乘运算； 步骤5‑4： 计算语义匹配损失LPM1： 式中， c为语义分割结构的通道数， β 为权 重系数； 步骤5‑5： 计算第一阶段总体损失， 即目标函数为上述损失的加权和： 式中， λ、 γ、 μ为平衡参数。 4.根据权利要求1所述一种基于中间语义增强的人脸素描 ‑照片合成方法， 其特征在 于： 所述步骤6具体包括如下步骤：权　利　要　求　书 2/3 页 3 CN 115471410 A 3