(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210974171.9 (22)申请日 2022.08.15 (71)申请人 智慧互通科技股份有限公司 地址 075000 河北省张家口市空港经济技 术开发区一期十号楼 (72)发明人 闫军　李孟迪　王伟　 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/30(2022.01) G06V 10/80(2022.01) (54)发明名称 一种双目相机数据与雷达数据融合方法及 系统 (57)摘要 本发明公开一种双目相机数据与雷达数据 融合方法及系统， 涉及路口智 能车辆管理领域， 包括： 在数据关联前， 将所述感兴趣区域中的双 目相机数据与雷达数据转换到极坐标系下， 并在 极坐标系中分别对所述感兴趣区域中的双目相 机数据与雷达数据进行距离域滤波和角度域滤 波， 并考虑雷达传感器和双目相机在角度向和距 离向的误差大小， 在在所述极坐标系下对距离域 滤波和角度域滤波后的双目相机数据与雷达数 据进行数据关联融合， 同时关联算法针对不同传 感器设置了不同权重， 从而提升了相机与雷达传 感器的数据融合效果， 同时在设备方位向具有较 高的分辨能力。 权利要求书2页 说明书8页 附图2页 CN 115359244 A 2022.11.18 CN 115359244 A 1.一种双目相机数据与雷达数据融合方法， 其特 征在于， 所述方法包括： 对双目相机数据与 雷达数据进行联合标定， 得到相同时空坐标系下的双目相机数据与 雷达数据； 从所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域； 将所述感兴趣区域中的双目相机数据与 雷达数据转换到极坐标系下， 并在 极坐标系中 分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和角度域滤波； 在所述极坐标系下对距离域滤波和角度域滤波后的双 目相机数据与雷达数据进行数 据关联融合。 2.根据权利要求1所述的一种双目相机数据与雷达数据融合方法， 其特征在于， 所述从 所述相同时空坐标系中选择与所述双目相机数据和雷达数据对应的感兴趣区域的步骤包 括： 根据所述雷达的检测距离和所述双目相机的基线长度选择与所述双目相机数据和雷 达数据对应的感兴趣区域。 3.根据权利要求1所述的一种双目相机数据与雷达数据融合方法， 其特征在于， 所述在 极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波的步骤 包括： 根据双目相机和雷达监控的目标在极坐标系中上一帧的距离、 运动参数信息、 相邻帧 的时间差、 以及高斯噪声的标准差， 在极坐标系中分别对所述感兴趣区域中的双目相 机数 据与雷达数据进行距离域滤波。 4.根据权利要求1所述的一种双目相机数据与雷达数据融合方法， 其特征在于， 所述根 在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行角度域滤波的步 骤包括： 根据双目相机和雷达监控的目标在极坐标系中上一帧的角度、 运动参数信息、 相邻帧 的时间差、 以及高斯噪声的标准差， 在极坐标系中分别对所述感兴趣区域中的双目相 机数 据与雷达数据进行角度域滤波。 5.根据权利要求1所述的一种双目相机数据与雷达数据融合方法， 其特征在于， 所述在 所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与雷达数据进行数据关联 融合的步骤 包括： 根据雷达的测量误差级别、 相机的测量误差级别、 以及双目相机与雷达在极坐标系下 的距离差值和角度差值， 在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据 与雷达数据进行 数据关联融合。 6.一种双目相机数据与雷达数据融合系统， 其特 征在于， 所述系统包括： 标定单元， 用于对双目相机数据与雷达数据进行联合标定， 得到相同时空坐标系下的 双目相机数据与雷达数据； 选择单元， 用于从所述相同时空坐标系中选择与 所述双目相机数据和雷达数据对应的 感兴趣区域； 滤波单元， 用于将所述感兴趣区域中的双目相机数据与雷达数据转换到极坐标系下， 并在极坐标系中分别对所述感兴趣区域中的双目相机数据与雷达数据进行距离域滤波和 角度域滤波；权　利　要　求　书 1/2 页 2 CN 115359244 A 2融合单元， 用于在所述极坐标系下对距离域滤波和角度域滤波后的双目相机数据与 雷 达数据进行 数据关联融合。 7.根据权利要求6所述的一种双目相机数据与雷达数据融合系统， 其特 征在于， 所述选择单元， 具体用于根据 所述雷达的检测距离和所述双目相机的基线长度选择与 所述双目相机数据和雷达数据对应的感兴趣区域。 8.根据权利要求7 所述的一种双目相机数据与雷达数据融合系统， 其特 征在于， 所述滤波单元， 具体用于根据双目相机和雷达监控的目标在极坐标系中上一帧的距 离、 运动参数信息、 相邻帧的时间差、 以及高斯噪声的标准差， 在极坐标系中分别对所述感 兴趣区域中的双目相机数据与雷达数据进行距离域滤波。 9.根据权利要求6所述的一种双目相机数据与雷达数据融合系统， 其特 征在于， 所述滤波单元， 具体还用于根据双目相机和雷达监控的目标在极坐标系中上一帧的角 度、 运动参数信息、 相邻帧的时间差、 以及高斯噪声的标准差， 在极坐标系中分别对所述感 兴趣区域中的双目相机数据与雷达数据进行角度域滤波。 10.根据权利要求6所述的一种双目相机数据与雷达数据融合系统， 其特 征在于， 所述融合单元， 具体用于根据 雷达的测量误差级别、 相机的测量误差级别、 以及双目相 机与雷达在极坐标系下的距离差值和角度差值， 在所述极坐标系下对距离域滤波和角度域 滤波后的双目相机数据与雷达数据进行 数据关联融合。权　利　要　求　书 2/2 页 3 CN 115359244 A 3