(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211084799.8 (22)申请日 2022.09.06 (71)申请人 哈工大机 器人 （合肥） 国际创新研究 院 地址 230031 安徽省合肥市经济技 术开发 区宿松路396 3号智能装备 科技园C区 (72)发明人 李文兴　吴兵　张作为　于振中　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 朱文振 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/75(2022.01) G06T 7/80(2017.01) G01J 5/48(2006.01) (54)发明名称 一种基于双目深度信息的双光融合计算方 法及系统 (57)摘要 本发明提供一种基于双目深度信息的双光 融合计算方法及系统， 方法包括： 获取并处理工 程实际精度需求数据， 以在差异深度距离对第二 可见光摄像头B和红外测温摄像头C进行融合标 定； 在特定深度物理空间中寻找成像画面矩形区 域M， 以标定被测目标， 其中， 所述成像画面矩形 区域M完全覆 盖所述红外测温摄像头C， 测量所述 成像画面矩形区域M在所述第二可见光摄像头B 的成像画面上的区域， 以得到矩形像素点集N； 标 定所述顶 点坐标； 匹配处理所述第二可见光摄像 头B中的被观测点K； 匹配计算所述第二可见光摄 像头B中的区域数据。 本发明解决了设计复杂、 成 本昂贵以及融合匹配精度无法 保证的技 术问题。 权利要求书4页 说明书10页 附图3页 CN 115471720 A 2022.12.13 CN 115471720 A 1.一种基于双目深度信息的双光融合计算方法， 其特 征在于， 所述方法包括： S1、 获取并处理工程实际精度需求数据， 以在差异深度距离对第二可见光摄像头B和红 外测温摄像头C进 行融合标定， 其中， 摄像头包括： 第一可见光摄像头A、 第二可见光摄像头B 以及红外光测温摄 像头C； S2、 在特定深度物理空间中寻找成像画面矩形区域M， 以标定被测目标， 其中， 所述成像 画面矩形区域M完全覆盖所述红外测温摄像头C， 测量所述成像画面矩形区域M在所述第二 可见光摄像头B的成像画面上的区域， 以得到矩形像素点 集N； S3、 标定所述顶点 坐标； S4、 匹配处 理所述第二可 见光摄像头B中的被观测点K， 所述 步骤S4包括： S41、 获取所述被观测点K在所述第二可见光摄像头B中的所述成像画面中的被观测点 坐标(xBK,yBK)， 再基于双目视差原理， 深度计算所述第一可见光摄像头A的成像画面和所 述第二可 见光摄像头B的成像画面， 以得到所述被观测点K的深度信息de ep(xBK,yBK)； S42、 处理所述深度信息de ep(xBK,yBK)， 据以获取红外及可 见光摄像头画面重 叠区域； S43、 判断所述被观测点K 是否处于所述对应标定数据红外 视场覆盖区域中； S44、 若否， 则说明被测物体未进入所述红外测温摄 像头C的视场， 判定无法测温； S45、 若是， 则计算所述被观测点K在所述红外光摄像头C中的坐标， 并提取匹配该所述 被观测点的温度值， 据以从所述所述第二可见光摄像头B的成像画面中， 获取所述被观测点 K的温度值； S5、 匹配计算所述第二可 见光摄像头B中的区域数据。 2.根据权利要求1所述的一种基于双目深度信 息的双光融合计算方法， 其特征在于， 所 述步骤S1中， 以四个顶点坐标来描述所述矩形像素点集N： { Pleft‑top(xn,yn)， Pright ‑top (xn,yn),Ple ft‑bottom(xn,yn),Pri ght‑bottom(xn,yn)}， 其 中， 所述红外光测温摄像头C 的视场角小于所述第二可见光摄像头B的视场角； 将相 机的工作起始距离值约定为所述红 外光测温摄像头C的视场为所述第二可见光摄像头B的视场子集时， 距离所述相机的最小距 离的位置 。 3.根据权利要求1所述的一种基于双目深度信 息的双光融合计算方法， 其特征在于， 所 述步骤S3包括： S31、 在预置背景环境中， 将发光点设备放置于可以调节垂直角度、 调节左右上下移动 的角度位置调节 平台上； S32、 调节所述发光点设备的物理空间位置， 使该发光点成像在所述红外摄像头C的画 面的一顶点 位置； S33、 采集所述第二可见光摄像头B的画面， 找到所述发光点， 测量获取该所述发光点在 所述第二可 见光摄像头B的画面中的坐标； S34、 以在所述第二可见光摄像头B的所述成像画面中测得所述顶点坐标， 循环执行所 述步骤S32及所述步骤S 33， 直至获取所述第二可见光摄像头B的画面中的左上顶 点{Pleft ‑ top(xn,yn)、 右上顶点Pright ‑top(xn,yn)、 左下顶点Pleft ‑bottom(xn,yn)及右下顶点 Pright‑bottom(xn,yn)}的顶 点坐标， 据以描述所述第二可见光摄像头B的画面中的所述红 外及可见光摄像头画面重 叠区域N(deep)； S35、 再重复上述标定步骤S31至S34， 以得到不同深度下的融合标定数据： N(deep1)、 N权　利　要　求　书 1/4 页 2 CN 115471720 A 2(deep2)、 N(de ep3)...N(deepi)。 4.根据权利要求3所述的一种基于双目深度信 息的双光融合计算方法， 其特征在于， 所 述步骤S33中， 采集并处理颜色差别 数据， 据以确定所述第二可见光摄像头B的成像画面中 所述发光 点设备的坐标。 5.根据权利要求3所述的一种基于双目深度信 息的双光融合计算方法， 其特征在于， 所 述步骤S33中， 采集并处理温度差别 数据， 据以确定所述红外测温摄像头C画面中发光点设 备的坐标。 6.根据权利要求1所述的一种基于双目深度信 息的双光融合计算方法， 其特征在于， 所 述步骤S42中， 处理所述深度信息deep(xBK,yBK)值， 据以查找获取距离当前所述观测点最 近的深度的所述红外及可 见光摄像头画面重 叠区域N(deep)。 7.根据权利要求1所述的一种基于双目深度信 息的双光融合计算方法， 其特征在于， 所 述步骤S45包括： S451、 设所述第二可见光摄像头B的成像画面的宽为w， 高为h， 特定点在所述所述第二 可见光摄像头B的成像画 面中的坐标为(x,y)， 据以计算所述特定点的比例坐标x'＝x/w， y' ＝y/h； S452、 根据所述红外及可见光摄像头画面重叠区域N(deep)的四个顶点坐标{Pleft ‑ top(xn,yn)， Pright ‑top(xn,yn),Pleft ‑bottom(xn,yn),Pright ‑bottom(xn,yn)}和所述 被观测点K在所述第二可见光摄像头B的成像画面中的坐标(xBK,yBK)， 以下述逻辑处理得 到所述红外及可见光摄像头画面重叠区域N(deep)的宽度、 高度以及所述被观测点K的坐 标： wN＝Pright ‑top(xn)‑Pleft‑top(xn)； hN＝Pleft‑bottom(yn)‑Pleft‑top(yn)； xNK＝xBK ‑Pleft‑top(xn)； yNK＝yBK ‑Pleft‑top(yn)； S453、 以下述逻辑处理所述所述红外及 可见光摄像头画面重叠区域N(deep)的宽度、 高 度以及所述被观测点K的坐标， 以得到所述被观测点K在所述红外及可见光摄像头画面重叠 区域N(deep)中的比例坐标： ratiox＝xNK/w N； ratioy＝yNK/ hN； S454、 以下述逻辑 转换处理所述被观测点K在所述红外摄 像头C的画面中的比例坐标： ratiox＝xCK/wC； ratioy＝yCK/ hC； xCK＝rati ox*wC； yCK＝rati oy*hC； 以下述逻辑处理所述红外摄像头C的画面的宽度wC和高度wH以及所述比例坐标， 据以 得到所述被观测点K在所述红外摄像头C的画面中的坐标(xCK,yCK)， 据以获取所述被观测 点K的温度值： xCK＝rati ox*wC ＝xNK/wN*wC权　利　要　求　书 2/4 页 3 CN 115471720 A 3