(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210674462.6 (22)申请日 2022.06.15 (71)申请人 华东计算技术研究所 （中国电子科 技集团公司第三十二研究所） 地址 201800 上海市嘉定区嘉罗路1485号 (72)发明人 张庆松　赵福梅　宣志祥　顾燕飞　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 郭国中 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/54(2022.01) (54)发明名称 目标识别的智能计算方法及系统 (57)摘要 本发明提供了一种目标识别的智能计算方 法及系统， 包括： 建立用于提取图像特征的单阶 段的目标识别网络， 并对网络中的高层语义特征 和低层纹理特征进行融合； 目标于红外和可见光 频段下的原始图像进行特征提取， 生成融合特征 图， 通过目标识别网络对融合特征图识别， 得到 红外与可见光频段下的目标位置与类别确定； 通 过增量学习对目标识别网络的运算和结构进行 自动化调优和持续性演化； 建立流式计算处理框 架对目标识别网络进行任务分发。 本发明通过多 模融合目标检测技术， 解决了捕获图像总是呈现 模糊不清的情况， 实现了目标识别算法的信息源 的补充， 将红外图像与可见光图像识别相融合， 可以获取 更准确的目标识别效果。 权利要求书2页 说明书7页 附图2页 CN 115272809 A 2022.11.01 CN 115272809 A 1.一种目标识别的智能计算方法， 其特 征在于， 包括以下步骤： 目标识别网络搭建步骤： 建立用于提取图像特征的单阶段的目标识别网络， 并对网络 中的高层语义特 征和低层纹 理特征进行融合； 多模融合目标检测步骤： 对目标于红外和可见光频段下的原始图像进行特征提取， 生 成融合特征图， 通过目标识别网络对融合特征图识别， 得到红外与可见光频段下 的目标位 置与类别确定； 在线深度 学习步骤： 通过增量学习 对目标识别网络的运算和结构进行自动 化调优和持 续性演化； 流式计算 步骤： 建立 流式计算处 理框架对目标识别网络进行任务分发。 2.根据权利要求1所述的目标识别的智能计算方法， 其特征在于： 所述目标识别网络信 息传递过程中， 将高层语义信息回向传递， 提高低层效果， 建立低层到高层的特征传递通 道， 将低层信息向上传递， 提高目标语义信息， 通过自适应空间特征融合网络对高层语义特 征和低层纹 理特征进行融合。 3.根据权利要求1所述的目标识别的智能计算方法， 其特征在于： 所述多模融合目标检 测步骤中包括： 步骤1： 将同一场景下等目标占比的红外与可见光图像将分别输入到两个权值独立、 结 构相同的特 征提取网络中， 获得目标在不同频 段下的多尺度高维特 征图； 步骤2： 计算红外与可见光特征图中各像素的全局显著性， 获得同一像点在不同频段下 对自身识别特征 的贡献程度， 依照特征贡献值进行自适应图像融合， 生成含有最佳融合特 征图， 凸显兴趣目标并抑制非目标区域的图像 语义信息； 步骤3： 通过目标识别网络进行多尺度融合特征图识别， 完成红外与可见光频段下的目 标位置与类别确定 。 4.根据权利要求1所述的目标识别的智能计算方法， 其特征在于： 所述增量学习 包括以 下步骤： 对输入的目标进 行预处理， 将处理后的特征进 行编码， 随后通过目标识别模型进 行 识别， 通过主动学习将已标记样例进 行增量学习， 并对目标识别模型进 行更新， 将已标记样 例在稀疏自动 编码器中进行编码， 供后续进行 特征编码。 5.根据权利要求1所述的目标识别的智能计算方法， 其特征在于： 所述流式计算处理框 架将每个结果生成的过程拆分成相对独立的子任务， 不同的子任务之 间有相应的数据传输 方向以及处理逻辑， 不同任务通过建立特定的拓扑结构， 利用主控节点进 行任务分配， 通过 特定的任务调度器进行任务部署追踪， 感知多机任务资源， 并进行负载均衡处理以及流式 数据传输 。 6.一种目标识别的智能计算系统， 其特 征在于， 包括以下模块： 目标识别网络搭建模块： 建立用于提取图像特征的单阶段的目标识别网络， 并对网络 中的高层语义特 征和低层纹 理特征进行融合； 多模融合目标检测模块： 对目标于红外和可见光频段下的原始图像进行特征提取， 生 成融合特征图， 通过目标识别网络对融合特征图识别， 得到红外与可见光频段下 的目标位 置与类别确定； 在线深度 学习模块： 通过增量学习 对目标识别网络的运算和结构进行自动 化调优和持 续性演化；权　利　要　求　书 1/2 页 2 CN 115272809 A 2流式计算模块： 建立 流式计算处 理框架对目标识别网络进行任务分发。 7.根据权利要求6所述的目标识别的智能计算系统， 其特征在于： 所述目标识别网络信 息传递过程中， 将高层语义信息回向传递， 提高低层效果， 建立低层到高层的特征传递通 道， 将低层信息向上传递， 提高目标语义信息， 通过自适应空间特征融合网络对高层语义特 征和低层纹 理特征进行融合。 8.根据权利要求6所述的目标识别的智能计算系统， 其特征在于： 所述多模融合目标检 测模块中包括： 模块1： 将同一场景下等目标占比的红外与可见光图像将分别输入到两个权值独立、 结 构相同的特 征提取网络中， 获得目标在不同频 段下的多尺度高维特 征图； 模块2： 计算红外与可见光特征图中各像素的全局显著性， 获得同一像点在不同频段下 对自身识别特征 的贡献程度， 依照特征贡献值进行自适应图像融合， 生成含有最佳融合特 征图， 凸显兴趣目标并抑制非目标区域的图像 语义信息； 模块3： 通过目标识别网络进行多尺度融合特征图识别， 完成红外与可见光频段下的目 标位置与类别确定 。 9.根据权利要求6所述的目标识别的智能计算系统， 其特征在于： 所述增量学习包括： 对输入的目标进行预 处理， 并对处理后的特征进 行编码， 随后通过目标识别模型进 行识别， 通过主动学习将已标记样例进行增 量学习， 并对目标识别模型进行更新， 将已标记样例在 稀疏自动 编码器中进行编码， 供后续进行 特征编码。 10.根据权利要求6所述的目标识别的智能计算系统， 其特征在于： 所述流式计算处理 框架将每个结果生成的过程拆分成相对独立的子任务， 不同的子任务之间有相应的数据传 输方向以及处理逻辑， 不同任务通过建立特定的拓扑结构， 利用主控节点进行任务分配， 通 过特定的任务调度器进行任务部署追踪， 感知多机任务资源， 并进行负载均衡处理以及流 式数据传输 。权　利　要　求　书 2/2 页 3 CN 115272809 A 3