(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210904342.0 (22)申请日 2022.07.28 (71)申请人 西安热工 研究院有限公司 地址 710048 陕西省西安市碑林区兴庆路 136号 申请人 西安电子科技大 学 (72)发明人 张强　刘雪茹　金国强　张天路　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 闵岳峰 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/80(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于模态差异补偿的RGBT目标跟踪方 法 (57)摘要 本发明公开了一种基于模态差异补偿的 RGBT目标跟踪方法， 包 括： (1)一个用于 单模态图 像特征提取的双流CNN主干网络， 其中一个流用 于RGB图像， 另一个流用于红外图像； (2)一个模 态差异补偿模块， 用于补偿单模态RGB和 红外图 像的差异信息， 以及多模态RGB ‑T图像的跨模态 特征的融合； (3)基于注意机制的特征选择模块 用于为RGB ‑T跟踪选择高辨别特征； (4)一组由判 别模型预测跟踪网络和基于边界定位的二次回 归网络组成的预测头， 用于预测准确的目标框。 本发明充分利用可见光和红外图像信息之间的 差异性， 设计模态差异补偿模块以获得鲁棒的跨 模态特征， 并通过同时考虑跨模态特征和单模态 (RGB和红外)特性进行RGB ‑T跟踪， 以提高RGB ‑T 跟踪性能。 权利要求书4页 说明书10页 附图3页 CN 115205337 A 2022.10.18 CN 115205337 A 1.一种基于模态差异补偿的RGBT目标跟踪方法， 其特 征在于， 包括如下步骤： 步骤1： 构建双流CN N主干网络； 步骤2： 构建模态差异补偿模块； 步骤2.1： 模态差异补偿模块采用补偿再融合的策略， 首先分别补偿两种模态的差异信 息， 然后通过 元素求和的方式 融合补偿后的RGB和补偿后的红外特 征； 步骤2.2： 分别以差异特征Fr‑t和Ft‑r作为输入， 采用两个结构相同的权值生成网络生成 差异特征权重Wr‑t和Wt‑r， 权值生成网络同时使用空间权值图和通道权值图来 获取更多的补 偿信息； 步骤2.3： 在获得差异特征权重图Wv‑t(Wt‑r)之后， 补偿后的RGB特征 和补偿 后的红外特 征 通过跨模态 残差连接获得， 即： 补偿后的RGB特征 除了原始的单模态 RGB特征Frgb外， 还包含红外模态特有特征； 同样 的， 如公式(7)所示， 补偿后的红外特征 包含RGB模态特有特征以及原始的单模态红外特 性Ft； 通过对补偿后的RGB特征 和补偿后的红外特征 进行相加融合， 得到最终融合的跨 模态RGBT特 征Frgbt∈RC×H×W， 即： 步骤3： 构建特 征选择模块； 基于注意机制的特征选择模块进一步自适应地选择高鉴别性的跨模态和单模态特征 以提高RGBT跟踪性能； 特征选择模块通过三个步骤充分选择所有模态特征的高鉴别性特 征， 模态特 征包括跨模态RGBT特 征、 原始单模态RGB特 征和原始单模态红外特 征； 步骤3.1： 所有模态特征融合， 目的是从跨模态 RGBT特征、 原始单模态 RGB特征和原始单 模态红外特 征中获取 更多的信息； 步骤3.2： 通道级的特 征选择， 旨在增强与目标相关的类别的特 征， 抑制无用的特 征； 步骤3.3： 空间级特征选择， 旨在增强目标空间位置的权重， 抑制远离目标的位置； 步骤 4： 构建判别模型 预测跟踪网络； 判别模型预测跟踪 网络分别以模板图像特征和待检测图像特征为输入， 并进行多任务 输出： 分类得分图， IoU预测； 其中， 分类得分图是通过待检测图像特征和滤波器f相计算而 获得， 滤波器f包括由一个卷积层以及一个精确的ROI池化组成的模 型初始化器和通过最速 下降求解最终模型 的模型优化器， 模型滤波器f是通过在模型初始化器使用初始训练集中 的多个样本来求解， IoU预测是预测图像的深度特征和候选边界框特征之间的IoU， 然后通 过最大化 IoU预测来进行边界框估计； 步骤5： 构建基于边界定位的二次 回归网络： 基于边界定位的二次回归网络目的是对步骤4得到的IoU预测结果进行二次回归以获 得更精确的目标框， 基于边界定位的二次回归网络能够有效地细化IoUNet预测器的初始估 计， 并显著提高跟踪性能； 基于边界定位的二次 回归网络使用以下两个步骤来进一 步提高目标跟踪性能； 步骤5.1： 基于边界定位的二次回归网络利用目标特征表示与搜索特征表示之间的互权　利　要　求　书 1/4 页 2 CN 115205337 A 2相关对边界框估计中心进行重新调整， 得到目标在中心的重新调整边界框估计； 步骤5.2： 对于步骤5.1得到的搜索特征Fp采用边界定位方案提高定位精度， 分别对每一 条边界使用分类 器进行定位同时使用回归器预测目标边界位置与真值之间的偏移； 步骤6： 两阶段训练； 步骤6.1： 在训练数据集上， 对步骤4中的判别模型预测跟踪网络， 采用监督学习机制， 分别通过最小化鉴别学习损失函数和均方误差损失函数， 完成算法网络训练， 得到判别模 型预测跟踪网络模型参数； 步骤6.2： 加载所述步骤6.1中的网络参数并进行冻结， 在训练数据集上单独对步骤5中 的基于边界定位的二次回归网络进行监督学习， 通过最小化均方误差损失函数， 获得训练 好的网络； 步骤7： 目标跟踪： 将所述网络集成为在线跟踪器， 对可 见光与红外 视频数据进行跟踪； 步骤7.1： 给定带有注释的第一帧， 通过平移、 旋转和模糊对第一帧进行数据增强， 得到 一个包含15个样本的初始训练集； 步骤7.2： 以初始训练集图像和下一帧图像为输入， 利用步骤1的双流CNN主干网络、 步 骤2的模态差异补偿模块和 步骤3的特征选择模块分别获得模板融合特征和待检测融合特 征； 步骤7.3： 以模板融合特征和待检测融合特征为输入， 通过步骤4的判别模型预测跟踪 网络获得初始框； 步骤7.4： 以模板融合特征、 待检测融合特征以及扩展的初始框为输入， 通过步骤5的基 于边界定位的二次 回归网络对初始框进行二次 回归以获得 更精确的目标矩形边框； 步骤7.5： 重复步骤7.2 ‑7.4， 逐帧迭代计算图像中目标位置以及边框， 实现RGBT目标连 续跟踪； 步骤7.6： 每20帧后进行初始训练集更新， 获得新的模板特 征， 然后继续 步骤7.5。 2.根据权利要求1所述的一种基于模态差异补偿的RGBT目标跟踪方法， 其特征在于， 步 骤1中， 双流CNNNN主干网络采用两个结构相同但参数不同的ResNet50， 两个ResNet50主干 网络分别输入RGB图像和红外图像， 分别输出RGB单模态特征Frgb和红外单模态特征Ft， 双流 CNN主干网络采用孪生结构分别提取模板图像双流特征 和待检测图像的双流 特征 3.根据权利要求2所述的一种基于模态差异补偿的RGBT目标跟踪方法， 其特征在于， 步 骤2.1中， 模态差异补偿模块通过单模态RGB特征Frgb∈RC×H×W减去单模态红外特征Ft∈RC ×H×W以获得差异特征Fr‑t∈RC×H×W， 同时通过单模态红外特征Ft∈RC×H×W减去单模态RGB特征 Frgb∈RC×H×W以获得差异特 征Ft‑r∈RC×H×W， 即： Fr‑t＝(Frgb‑Ft)       (1) Ft‑r＝(Ft‑Frgb)    (2) 其中， 差异特征Fr‑t∈RC×H×W表示RGB模态特异性特征表示； 差异特征Ft‑r∈RC×H×W表示红 外模态特异性特 征表示。 4.根据权利要求3所述的一种基于模态差异补偿的RGBT目标跟踪方法， 其特征在于， 步 骤2.2中， 空间权重图Sr‑t∈R1×H×W是通过卷积层和一个sigmoid函数生成以反映RGB和红外权　利　要　求　书 2/4 页 3 CN 115205337 A 3