(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211081078.1 (22)申请日 2022.09.06 (71)申请人 苏州广目汽车 科技有限公司 地址 215000 江苏省苏州市姑苏区朱家湾 街8号5幢201-1 16室 (72)发明人 罗马思阳 　王利杰　万印康　 (74)专利代理 机构 苏州途正专利代理有限公司 32559 专利代理师 胡培培 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于多传感器融合的自主车辆前端检 测的方法 (57)摘要 本发明公开了一种基于多传感器融合的自 主车辆前端检测的方法， 包括三维激光雷达和单 目视觉传感器， 所述检测方法为以下步骤： S1、 确 认坐标系： 根据三维激光雷达和单目视觉传感器 的校准结果获得激光雷达坐标系和像素坐标系 之间的转换关系， 以及世界坐标系和像素坐标系 之间的相对关系； S2、 确定ROI： 基于栅格地 图的 障碍物检测技术可以提取障碍物最小外接矩形 的长度、 宽度和中心点等信息； 本发明根据标定 结果实现了多个传感器的空间数据融合， 建立级 联分类器， 并利用车辆样本和非车辆样本的类 Haar特征进行训练， 以识别感兴趣区域中的前 车。 实验结果表明， 多传感器融合算法可以有效、 快速地识别前方车辆 。 权利要求书3页 说明书8页 附图2页 CN 115457507 A 2022.12.09 CN 115457507 A 1.一种基于多传感器融合的自主车辆前端检测的方法， 其特征在于： 包括三维激光雷 达和单目视 觉传感器， 所述检测方法为以下步骤： S1、 确认坐标系： 根据三维激光雷达和单目视觉传感器的校准结果获得激光雷达坐标 系和像素坐标系之间的转换关系， 以及世界坐标系和像素坐标系之间的相对关系； S2、 确定ROI： 基于栅格地 图的障碍物检测技术可以提取障碍物最小外接矩形的长度、 宽度和中心点等信息， 从而可以在激光雷达坐标系中确定感兴趣区域的高度值、 四个顶点 的像素坐标值； S3、 目标识别： 采用积分图像的计算方法和类Haar矩形特征对车辆特征的提取， 由多层 强分类器构成的级联分类 器提高检测率， 配合离线训练和在线识别完成车辆目标识别。 2.根据权利要求1所述的一种基于多传感器融合的自主车辆前端检测的方法， 其特征 在于： 所述S1中定义激光雷达坐标系和车辆坐标系之间的转换关系， 转换关系可以表示 为： 其中， RL3行3列的旋转矩阵， TL是3行1列的平 移矩阵。 3.根据权利要求1所述的一种基于多传感器融合的自主车辆前端检测的方法， 其特征 在于： 所述单目视觉传感器校准模型的世界坐标系和像素坐标系之间的转换关系如下所 示： 式中， ax＝f/SX； ay＝f/Sy； RC是摄像机的旋转矩阵； TC是摄像机的平移矩阵； M1是内部参 数矩阵； M2是外部参数矩阵； XWYWZw是世界坐标系， XCYCZC是摄像机坐标系， XO1Y所在的平面是成像平面， XO1Y也称为 图像坐标系， UO0V称为像素坐标系， 点O是摄像机的中心点， 中心点O1和成像平面的点O之间 的距离是相机焦距f。 4.根据权利要求3所述的一种基于多传感器融合的自主车辆前端检测的方法， 其特征 在于： 通过将车辆坐标系定义为世界坐标系， 可以获得激光雷达坐标系和像素坐标系之间 的转换关系； 从而完成了两个传感器的空间数据融合； 世界中的某 一点P(XW， XW， ZW)具体融 合公式如下： 其中， M1是视觉传感器的内部参数矩阵； Rc是视觉传感器的外部参数旋转矩阵； T是融合 模型转换矩阵， 即T＝Tl+Tc。 5.根据权利要求1所述的一种基于多传感器融合的自主车辆前端检测的方法， 其特征 在于： 所述S2步骤中， 激光雷达的角度分辨 率和水平 距离分辨 率之间的关系为： 其中， d_res是 水平距离分辨 率， a_res是角度分辨 率， d是激光雷达的探测距离；权　利　要　求　书 1/3 页 2 CN 115457507 A 2采用最大和最小高度法确定网格属性， 确定每 个栅格的大小为20 cm×20cm。 6.根据权利要求5所述的一种基于多传感器融合的自主车辆前端检测的方法， 其特征 在于： 所述网格中有障碍点数据， 则保存这些点的反射强度和扫描角度， 以及最大高度 Z1max、 最小高度Z1min和高度差ΔH ＝Z1max‑Z1min， 设置高度差阈值TG来判断它是否为障碍点， 通 过等式(1)和(3)获得像素坐标处两端的坐标值(ul， vl)和(ur， vr)， 图像感兴趣区域的宽度 可以表示 为： WROI＝kf(ur‑ul)    (5) 其中， WROI是该区域的宽度； ul和ur是矩形底边左右端点的横坐标； kf是误差补偿系数。 7.根据权利要求1所述的一种基于多传感器融合的自主车辆前端检测的方法， 其特征 在于： 所述S2中需要确定感兴趣区域的高度值， 感兴趣区域的高度值为： HROI＝WROI/0.625＝ 1.6WROI 感兴趣区域的四个顶点的像素坐标值 为： 其中， (um， vm)是障碍物 矩形底边中点在像素坐标系中的坐标值。 8.根据权利要求1所述的一种基于多传感器融合的自主车辆前端检测的方法， 其特征 在于： 所述S3中通过单目视觉传感器的图像用于识别自主车辆前方的车辆， 采用了图像处 理和机器学习的方法进行 车辆识别， 方法包括以下步骤： 步骤一： 车辆特征的提取： 类Haar矩形特征是一种简单快速的特征提取方法， 它由两个 或多个颜色为 黑色或白色的矩形组成； 步骤二： 弱分类 器和强分类 器的构造： 弱分类 器的关键为确定阈值θ和参数p， 构造为 其中， h(xi)为分类结果： h(xi)＝1代表目标， h(xi)＝0代表非目标； xi是类Haar特征值； θ 是阈值； 选择p值 为±1， 其符号表示 不等式符号的方向； 通过弱分类器的加权组合获得强分类器， 强分类器是基于AdaBoost算法对弱分类器加 权求和而形成的； 步骤三： 级联分类器的构造： 为采用强分类器构建的决策树， 有n个节点， 每个节点代表 一个强分类 器， 误报率F和检测率D计算如下： 其中， K是级联分类器的层数； fi是第一层强分类器的误检率i； di是第一层强分类器的 检测率i； 步骤四： 车辆识别： 识别过程主 要分为两个模块： 离线训练和在线识别。 9.根据权利要求8所述的一种基于多传感器融合的自主车辆前端检测的方法， 其特征 在于： 所述AdaBo ost算法的主 要流程如下： 提供了一系列训练样本{(x1， y1)，…， (xn， yn)}， X是特征向量， X＝{x1， x2，…， xn}； X中的权　利　要　求　书 2/3 页 3 CN 115457507 A 3