(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211042939.5 (22)申请日 2022.08.29 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 李恒宇　龚骏飞　刘靖逸　谢永浩　 王曰英　谢少荣　罗均　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 万慧华 (51)Int.Cl. G06T 5/00(2006.01) G06T 9/00(2006.01) G06V 10/80(2022.01) (54)发明名称 一种受损图像修复方法、 装置、 电子设备及 存储介质 (57)摘要 本发明公开了一种受损图像修复方法、 装 置、 电子设备及存储介质， 涉及图像修复技术领 域， 该方法主要包括： 将含有污损的目标图像序 列输入到基于时空信息融合的机器人双目视觉 系统污损图像修复模型， 得到修复后的目标图像 序列； 该模型包括分级编码器模块、 与所述分级 编码器模块的输出端连接的解耦时空域 Transformer模 块、 相邻参考视角下采样 模块、 以 及、 与所述解耦时空域Transformer模块的输出 端和所述相邻参考视角下采样模块的输出端均 连接的多帧解码器； 本发明使最终修复完成的 图 像序列具有单帧内容完整、 结构合理且连续帧之 间不存在时间闪烁现象。 权利要求书2页 说明书7页 附图3页 CN 115311169 A 2022.11.08 CN 115311169 A 1.一种受损图像修复方法， 其特 征在于， 包括： 获取含有污损的目标图像序列； 所述目标图像序列包括多帧连续的目标图像； 将所述含有污损的目标图像序列输入到基于时空信息融合的机器人双目视觉系统污 损图像修复模型， 得到修复后的目标图像序列； 所述基于时空信 息融合的机器人双目视觉系统污损图像修复模型， 包括分级编码器模 块、 与所述分级编码器模块的输出端 连接的解耦时空域Transformer模块、 相邻参考视角下 采样模块、 以及、 与所述解耦时空域Transformer模块的输出端和所述相邻参考视角下采样 模块的输出端均连接的多帧解码器； 所述分级编码器模块， 用于： 对每帧目标图像的特征进行提取融合得到融合特征图， 并组卷积各层所述融合特征图 得到目标 特征图； 所述解耦时空域Transformer模块， 用于： 对所述目标特征 图进行处理， 得到所述目标 图像的时序信息和空间信息， 并基于所述目标图像的时序信息和空间信息得到 当前视角下 的时序信息特 征图； 所述相邻参 考视角下采样模块， 用于获取相邻参 考视角下的特 征图； 所述多帧解码器， 用于将相邻参考视角下的特征图与当前视角的时序信 息特征图中对 应的特征块做相关性计算并解码， 得到修复后的目标图像序列。 2.根据权利要求1所述的一种受损图像修复方法， 其特征在于， 在所述组卷积各层所述 融合特征图得到目标 特征图方面， 所述分级编码器模块， 具体包括： 将所述融合特征图沿各个拼接通道展开， 并对展开后的各层特征图进行组卷积， 得到 目标特征图。 3.根据权利要求1所述的一种受损图像修复方法， 其特征在于， 所述解耦时空域 Transformer模块， 具体包括： 拆分模块， 用于沿高度和宽度两个尺度方向， 将所述目标特征图分成多个特征块， 并将 多个所述特 征块经过编码转换为 查询向量 Q、 键值向量K和值向量V； 时域Transformer模块， 用于将多帧目标 图像在相同位置上的特征块按照时间维度组 合， 并将经时间维度组合的特征库按照所述查询向量Q、 所述键值向量K和所述值向量V输入 多头注意力模型中， 确定所述目标图像的时序信息； 空间Transformer模块， 用于将每一帧目标 图像对应的特征块根据原目标 图像进行空 间组合， 并将经空间组合的特 征块输入多头注意力模型中， 确定所述目标图像的空间信息； 合并模块， 用于基于所述目标图像的时序信 息和空间信 息得到当前视角下的时序信 息 特征图。 4.根据权利要求3所述的一种受损图像修复方法， 其特征在于， 所述时域Transformer 模块和所述空间Transformer模块按时域空域 顺序交替 排列。 5.根据权利要求3所述的一种受损图像修复方法， 其特征在于， 在空域上， 采用重建损 失函数和感知损失函数来约束模型的训练过程， 注重单帧图像的修复质量。 6.根据权利要求3所述的一种受损图像修复方法， 其特征在于， 在时域上， 采用基于时 域PatchGAN的对抗损失函数来约束模型的训练过程。 7.根据权利要求3所述的一种受损图像修复方法， 其特征在于， 所述相邻参考视角下采权　利　要　求　书 1/2 页 2 CN 115311169 A 2样模块， 用于： 逐帧对齐相邻参 考视角下的图像数据； 提取对齐后的图像数据的高级语义特征； 所述高级语义特征为相邻参考视角下的特征 图。 8.一种受损图像修复装置， 其特 征在于， 包括： 数据采集器， 用于获取含有污损的目标图像序列； 所述目标图像序列包括多帧连续的 目标图像； 图像修复器， 用于将所述含有污损的目标图像序列输入到基于时空信 息融合的机器人 双目视觉系统污损图像修复模型， 得到修复后的目标图像序列； 所述基于时空信 息融合的机器人双目视觉系统污损图像修复模型， 包括分级编码器模 块、 与所述分级编码器模块的输出端 连接的解耦时空域Transformer模块、 相邻参考视角下 采样模块、 以及、 与所述解耦时空域Transformer模块的输出端和所述相邻参考视角下采样 模块的输出端均连接的多帧解码器； 所述分级编码器模块， 用于： 对每帧目标图像的特征进行提取融合得到融合特征图， 并组卷积各层所述融合特征图 得到目标 特征图； 所述解耦时空域Transformer模块， 用于： 对所述目标特征 图进行处理， 得到所述目标 图像的时序信息和空间信息， 并基于所述目标图像的时序信息和空间信息得到 当前视角下 的时序信息特 征图； 所述相邻参 考视角下采样模块， 用于获取相邻参 考视角下的特 征图； 所述多帧解码器， 用于将相邻参考视角下的特征图与当前视角的时序信 息特征图中对 应的特征块做相关性计算并解码， 得到修复后的目标图像序列。 9.一种电子设备， 其特征在于， 包括存储器及处理器， 所述存储器用于存储计算机程 序， 所述处理器运行所述计算机程序以使 所述电子 设备执行根据权利要求 1至7中任一项 所 述的受损图像修复方法。 10.一种计算机可读存储介质， 其特征在于， 其存储有计算机程序， 所述计算机程序被 处理器执行时实现如权利要求1至7中任一项所述的受损图像修复方法。权　利　要　求　书 2/2 页 3 CN 115311169 A 3