(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210942055.9 (22)申请日 2022.08.08 (71)申请人 重庆师范大学 地址 401331 重庆市沙坪坝区大 学城中路 37号 (72)发明人 杨有　左心悦　胡峻滔　郝子娴　 安永志　 (74)专利代理 机构 重庆徽赫天连知识产权代理 事务所 (特殊普通合伙) 50303 专利代理师 张军 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/42(2022.01) G06V 10/54(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双流门控卷积网络的人脸图像修 复方法 (57)摘要 本发明属于图像修复技术领域， 具体涉及一 种基于双流门控 卷积网络的人脸图像修复方法， 包括以下步骤： 特征生成， 输入待修复的人脸图 像， 生成完整的结构特征和纹理特征； 步骤200： 特征重建， 结构特征和纹理特征指导和约束彼此 特征的重建； 步骤300： 通道级特征均衡， 通过对 通道之间的关系建模来增强结构特征和纹理特 征之间的一致性， 得到修复好的图像； 步骤400： 修复判别， 生成器修复好的图像与真实图片输入 至判别器进行判别， 实现人脸图像修复； 本发明 所提出的方法在结构特征和纹理特征生成过程 中， 充分利用结构和纹理信息 之间的关系完成彼 此的指导和约束， 此外， 我们还引入了通道级特 征均衡方法提升修复结果的整体一 致性。 权利要求书1页 说明书9页 附图4页 CN 115272126 A 2022.11.01 CN 115272126 A 1.一种基于双流门控卷积网络的人脸图像修复方法， 其特 征在于： 包括以下步骤： 步骤100： 特征生成， 输入待修复的人脸图像， 生成器采用双流网络结构， 通过生成器的 编码‑解码部分生成完整的结构特 征和纹理特征； 步骤200： 特征重建， 生成器的特征融合部分的双向特征融合模块， 使结构特征和纹理 特征指导和约束彼此 特征的重建； 生成器的特征融合部分的上下文特征聚合模块， 通过对期空间依赖性的建模使结构特 征和纹理特征的重建结果产生更生动的细节； 步骤300： 通道级特征均衡， 通过对通道之间的关系建模来增强结构特征和纹理特征之 间的一致性， 得到修复好的图像； 步骤400： 修复判别， 生成器修复好的图像与真实图片输入至判别器进行判别， 二者相 互对抗， 生成器不断的进行图像生成学习， 直至判别器无法区分生成器修复好的图像与真 实图像为止， 实现人脸图像修复。 2.根据权利要求1所述的一种基于双流门控卷积网络的人脸图像修复方法， 其特征在 于： 所述步骤100中生成器的双流网络以GConv ‑UNet为骨干， 使用门控 卷积替代UNet中的每 个卷积层， 提高修复质量和颜色的一 致性。 3.根据权利要求2所述的一种基于双流门控卷积网络的人脸图像修复方法， 其特征在 于： 所述步骤200中生成器的特征融合部 分的双向特征融合模块， 使 结构特征和纹理特征指 导和约束彼此 特征的重建包括有以下步骤： 步骤210： 破损的人脸图像和掩码输入至纹理编码器中， 相应的破损的边缘、 破损的灰 度图像和掩码输入至结构编码器中； 步骤220： 通过跳跃连接将纹理编码器的的特征补充到结构解码器 中， 将结构编码器 中 的特征补充到纹 理解码器中， 使纹 理特征和结构特 征相互指导和约束彼此的特 征重建。 4.根据权利要求3所述的一种基于双流门控卷积网络的人脸图像修复方法， 其特征在 于： 所述步骤300包括有以下步骤： 步骤310： 引入SE模块， 融合后的特征被输入至SE模块， SE模块先后通过挤压操作和激 发操作， 均衡通道中的纹 理特征和结构特 征。 5.根据权利要求4所述的一种基于双流门控卷积网络的人脸图像修复方法， 其特征在 于： 所述步骤310中具体包括有以下步骤： 步骤311： 对原始特征图进行挤压操作， 以获得通道层面的全局特 征； 步骤312： 对获得的全局特征进行激发操作， 学习每个通道之间的关系以获得不同通道 的权重， 最后乘以原 始特征图， 得到最终的特 征图。 6.根据权利要求5所述的一种基于双流门控卷积网络的人脸图像修复方法， 其特征在 于： 所述步骤400中的判别器为 一个具有纹 理分支和结构分支的双流 鉴别器。 7.根据权利要求6所述的一种基于双流门控卷积网络的人脸图像修复方法， 其特征在 于： 所述判别器的结构分支还具有一个额外的边 缘检测器用于边 缘提取。 8.根据权利要求7所述的一种基于双流门控卷积网络的人脸图像修复方法， 其特征在 于： 所述步骤400中还引入对抗性损失、 感知性损失和风格损失， 判别器通过损失函数来判 别区分生成器修复好的图像与真实图像。权　利　要　求　书 1/1 页 2 CN 115272126 A 2一种基于双流门控卷积网 络的人脸图像修复方 法 技术领域 [0001]本发明属于图像修复技术领域， 具体涉及 一种基于双流门控卷积网络的人脸图像 修复方法。 背景技术 [0002]图像修复的目的是根据周围的已知的内容重构图像的缺失或损坏的区域， 使修复 的区域与整体保持一致。 人脸修复作为其中一个重要的分支， 在实际应用中扮演重要的角 色， 随着深度学习的发展， 近年来该技术在图像修复领域取得了一系 列卓越的成果， 通过使 用结构信息作为先验知识的深度生成方法在破损的人脸图片修复上已经展现了较好的性 能。 这些方法在修复过程中可以生成合理的视觉结构和纹理， 但由于卷积操作的不合理导 致修复的结果常常生成与已知区域不一致的纹理细节。 为了解决这个 问题， 我们提出了一 个叫GConv ‑UNet的双流门控卷积 网络， 在结构和纹理特征生成过程中， 充分利用结构和纹 理信息之间的关系完成彼此的指导和约束， 此外， 我们还引入了通道级特征均衡方法提升 修复结果的整体一 致性。 发明内容 [0003]本发明的目的是： 旨在提供一种基于双流门控卷积网络 的人脸图像修复方法， 用 于解决背景技 术中存在的问题。 [0004]为实现上述 技术目的， 本发明采用的技 术方案如下： [0005]一种基于双流门控卷积网络的人脸图像修复方法， 包括以下步骤： [0006]步骤100： 特征生成， 输入待修复的人脸图像， 生成器采用双流网络结构， 通过生成 器的编码 ‑解码部分生成完整的结构特 征和纹理特征； [0007]步骤200： 特征重建， 生成器的特征融合部分的双向特征融合模块， 使结构特征和 纹理特征指导和约束彼此 特征的重建； [0008]生成器的特征 融合部分的上下文特征聚合模块， 通过对期空间依赖性的建模使结 构特征和纹理特征的重建结果产生更生动的细节； [0009]步骤300： 通道级特征均衡， 通过对通道 之间的关系建模来增强结构特征和纹理特 征之间的一 致性， 得到修复好的图像； [0010]步骤400： 修复判别， 生成器修复好的图像与真实图片输入至判别器进行判别， 二 者相互对抗， 生成器不断的进行图像生成学习， 直至判别器无法区分生成器修复好的图像 与真实图像为止， 实现人脸图像修复。 [0011]所述步骤100中生成器的双流网络以GConv ‑UNet为骨干， 使用门控卷积替代UNet 中的每个卷积层， 提高修复质量和颜色的一 致性。 [0012]所述步骤200中生成器 的特征融合部分的双向特征融合模块， 使结构特征和纹理 特征指导和约束彼此 特征的重建包括有以下步骤： [0013]步骤210： 破损的人脸图像和掩码输入至纹理编码器中， 相应 的破损的边缘、 破损说　明　书 1/9 页 3 CN 115272126 A 3