(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211050106.3 (22)申请日 2022.08.31 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 (72)发明人 陈世国　常鑫亮　董晓东　莫冬腊　 史径丞　刘亚娟　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 黎飞 (51)Int.Cl. G06V 20/10(2022.01) G06N 3/04(2006.01) G06V 10/143(2022.01) G06V 10/58(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的红外场景预测方法及 系统 (57)摘要 本发明涉及图像识别技术领域， 公开了一种 基于深度学习的红外场景预测方法及系统， 该红 外场景预测方法， 包括以下步骤： S1， 构建训练样 本库； S2， 构建红外场景预测网络模型； S3， 训练 红外场景预测网络模型； S4， 进行红外图像映射； S5， 生成红外图像结果。 本发明解决了现有技术 存在的效率低、 成本高、 高精度低等问题。 权利要求书3页 说明书6页 附图4页 CN 115272868 A 2022.11.01 CN 115272868 A 1.一种基于深度学习的红外场景 预测方法， 其特 征在于， 包括以下步骤： S1， 构建训练样本库： 采集进行红外场景预测用的训练样本对， 基于训练样本对构建训 练样本库； S2， 构建红外场景预测网络模型： 构建用以进行红外场景预测用的红外场景预测网络 模型； S3， 训练红外场景 预测网络模型： 利用训练样本库训练 红外场景 预测网络模型； S4， 进行红外图像映射： 输入遥感影 像， 通过推理， 映射 生成红外图像映射结果； S5， 生成红外图像结果： 调取遥感影像的同轴影像的气象参数， 根据气象参数对映射生 成的红外图像进行调制， 生成最终红外图像结果。 2.根据权利要求1所述的一种基于深度学习的红外场景预测方法， 其特征在于， 步骤S1 包括以下步骤： S11， 采集K对分辨率相同的遥感影像及其对应的红外图像， 获得训练样本对； 其中， 训 练样本对描述为(V,I)， V表 示训练样 本对中的遥感影像， I表 示训练样 本对中的红外图像， K >100； S12， 基于训练样本对构建训练样本库。 3.根据权利要求2所述的一种基于深度学习的红外场景预测方法， 其特征在于， 步骤S2 中， 构建的红外场景预测网络模型包括依次相连的生成器网络、 判别器网络； 其中， 生成器 网络用以： 将接收的待预测图像通过卷积和反卷积生成与真实的训练样本库中的红外图像 匹配的虚假红外图像Ifake， 然后将虚假红外图像输入至判别器网络； 判别器网络用以： 将遥 感影像与真实红外图像Ireal进行拼接， 作为判别器网络的真样本对； 以及， 将遥感影像与虚 假红外图像Ifake进行拼接， 作为判别器网络的假样本对； 然后， 通过对假样本对和真样本对 的对比， 最终判别待预测图像的真伪。 4.根据权利要求3所述的一种基于深度 学习的红外场景预测方法， 其特征在于， 生成器 网络包括依次相连的编码器、 解码器； 其中， 编码器用以： 对接收的待预测图像提取图像特 征， 编码器包括5个依次连接的卷积模块， 每个卷积模块包括沿待 预测图像输入方向依次连 接的卷积层、 标准化层、 激活函数层； 解码 器用以逐步恢复图像的分辨率， 解码 器包括5个依 次连接的反卷积模块， 每个反卷积模块包括沿待预测图像输入方向依 次连接的反卷积层、 标准化层、 激活函数层。 5.根据权利要求4所述的一种基于深度 学习的红外场景预测方法， 其特征在于， 判别器 包括通过5个依 次连接的卷积模块， 每个卷积模块包括沿红外图像输入方向依 次连接的卷 积层、 标准 化层、 激活函数层。 6.根据权利要求5所述的一种基于深度学习的红外场景预测方法， 其特征在于， 步骤S3 包括以下步骤： S31， 设置训练总世代数E； 其中， E>10 0； S32， 每世代训练： 从训练样本中随机选择b 组(V,I)样本对， V作为生成器网络输入， 经 编码器特 征提取得到特征x， 再经解码器特 征解码得到生成图像Ifake； S33， 将遥感影像V分别与真实红外图像Ireal、 虚假红外图像Ifake进行拼接， 经判别器网 络得到输出特征y； S34， 更新红外场景预测网络模型参数： 计算红外场景预测网络中总损失L， 然后根据总权　利　要　求　书 1/3 页 2 CN 115272868 A 2损失L反向传播更新红外场景 预测网络模型参数； S35， 获取训练后的红外场景预测网络模型： 统计所有世代损失函数， 计算所有世代总 损失L的最小值， 以总损失L的最小值对应的红外场景预测网络模型作为训练后的红外场景 预测网络模型并进行本地 化保存。 7.根据权利要求6所述的一种基于深度学习的红外场景预测方法， 其特征在于， 步骤 S34包括以下步骤： S341， 计算红外场景 预测网络中总损失L， 计算公式为： L＝LG+LD； 式中， 其中， LG表示生成器网络的损失， LD表示判别器网络的损失， λ表示损失项的权重， D(V， Ifake)表示判别器网络判别输入为假样本对的概率， D(V， Ireal)表示判别器网络判别输入为 真样本对的概 率； S342， 根据总损失L反向传播， 更新计算 其中， ω表示权重， b表示偏置， 表示权重的梯度， 表示偏置的梯度； S343， 根据 更新参数ω、 b。 8.根据权利要求1至7任一项所述的一种基于深度 学习的红外场景预测方法， 其特征在 于， 步骤S4中， 通过训练后的红外场景预测网络模型中的生成器网络进行前向传播完成推 理， 映射生成红外图像映射结果。 9.一种基于深度学习的红外场景预测系统， 其特征在于， 基于权利要求1至8任一项所 述的一种基于深度学习的红外场景 预测方法， 包括依次相连的以下模块： 训练样本库构建模块： 用以， 采集进行红外场景预测用的训练样本对， 基于训练样本对 构建训练样本库； 红外场景预测网络模型构建模块： 用以， 构建用以进行红外场景预测用的红外场景预 测网络模型； 红外场景 预测网络模型训练模块： 用以， 利用训练样本库训练 红外场景 预测网络模型； 行红外图像映射模块： 用以， 输入遥感影 像， 通过推理， 映射 生成红外图像映射结果； 红外图像结果生成模块： 用以， 调取遥感影像的同轴影像的气象参数， 根据气象参数对权　利　要　求　书 2/3 页 3 CN 115272868 A 3