(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210979374.7 (22)申请日 2022.08.16 (71)申请人 重庆大学 地址 400044 重庆市沙坪坝区沙正 街174号 (72)发明人 赵敏　孙棣华　庞思袁　 (74)专利代理 机构 北京汇泽知识产权代理有限 公司 11228 专利代理师 张瑾 (51)Int.Cl. G06V 20/58(2022.01) G01S 17/08(2006.01) G01S 17/86(2020.01) G01S 17/931(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06T 7/55(2017.01) G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的前向车辆识别与距离 检测方法 (57)摘要 本发明提供了一种基于深度学习的前向车 辆识别与距离检测方法， 包括以下步骤： 获取前 向车辆识别与距离检测所需的数据集， 并对数据 集进行预处理； 搭建骨干网络； 搭建目标检测子 网络； 搭建深度估计子网络； 基于深度学习的前 向车辆识别与距离检测网络的训练； 基于K ‑ Means优化前向车辆距离检测。 本发明一种基于 深度学习的前向车辆识别与距离检测方法， 从数 据集、 网络 结构设计、 模 型搭建、 损失函数设计和 目标测距特征点拟合五个方面来实现前向车辆 识别与距离 检测， 检测更准确， 定位 性能更佳。 权利要求书2页 说明书8页 附图1页 CN 115424237 A 2022.12.02 CN 115424237 A 1.一种基于深度学习的前向车辆识别与距离检测方法， 其特 征在于， 包括以下步骤： S1.获取前向车辆识别与距离检测所需的数据集， 并对数据集进行 预处理； S2.搭建骨干网络； S3.搭建目标检测子网络； S4.搭建深度估计子网络； S5.基于深度学习的前向车辆识别与距离检测网络的训练； S6.基于K ‑Means优化前向车辆距离检测。 2.根据权利要求1所述的一种基于深度学习的前向车辆识别与距离检测方法， 其特征 在于， 所述步骤S1的数据集为KITTI数据集， 所述KITTI数据集包括车辆训练图片、 标注文件 和点云文件。 3.根据权利要求2所述的一种基于深度学习的前向车辆识别与距离检测方法， 其特征 在于， 所述 步骤S1中， 数据集的预处 理步骤如下： S1.1将点云文件转换为深度图标签； S1.2对步骤S1.1处 理后的KIT TI数据集进行 数据清洗， 筛 选出标注有误的图片并剔除； S1.3采用K ‑means k均值聚类算法确定锚框个数和高宽比； S1.4将数据集90％的内容作为训练集， 剩下10％的内容作为测试集。 4.根据权利要求1所述的一种基于深度学习的前向车辆识别与距离检测方法， 其特征 在于， 所述 步骤S2中， 骨干网络的搭建步骤如下： S2.1引入以VGG ‑16为骨干的多任务注意力网络MTAN， 并构建目标检测任务和深度估计 任务； S2.2引入大核注意力机制LKA， 对步骤S2.1引入的MTAN注意力模块中的1 ×1卷积层、 B N 层和ReLu激活函数进行替换； S2.3提取步骤S2.2替换后的注意力模块对应共享网络Conv4 ‑3、 Conv7进行软注意力掩 码的输出Conv4‑3‑1、 Conv7‑1、 Conv4‑3‑2和Conv7 ‑2， 所述输 出Conv4‑3‑1、 Conv7‑1、 Conv4‑ 3‑2和Conv7‑2为后续任务的输入； S2.4将Conv4 ‑3‑1、 Conv4‑3‑2、 Conv7‑1和Conv7‑2上采样2倍后进行通道维度的拼接， 得到特征图ψ1、 ψ2。 5.根据权利要求1所述的一种基于深度学习的前向车辆识别与距离检测方法， 其特征 在于， 所述 步骤S3中， 目标检测子网络的搭建步骤如下： S3.1将 ψ1作为并联多尺度 感受野融合模块的输入， 所述多尺度 感受野融合模块并联有 ASPP模块， 所述ASPP模块的空洞率分别设置为1、 6、 12， 之后提取通过ASPP模块的特征图 φ1、 φ2和φ3； S3.2以特征图φ1、 φ2、 φ3为基准， 对每个特征图额外添加4组卷积， 第一组卷积为步长 为1的3×3卷积， 后面3组卷积为步长为2的3 ×3卷积组成， 提取添加卷积后的特征图构建特 征金字塔； S3.3从三个不同感受野尺度的金字塔中选取同分辨率大小的金字塔进行通道维度的 拼接， 然后引入SE模块进行 学习， 将最终得到的特 征金字塔作为目标检测网络的初检网络； S3.4在初检网络的基础上， 采用带权重的可变形卷积处理各尺度的特征图， 从而提高 检测框的回归精度。权　利　要　求　书 1/2 页 2 CN 115424237 A 26.根据权利要求1所述的一种基于深度学习的前向车辆识别与距离检测方法， 其特征 在于， 所述 步骤S4中， 深度估计子网络的搭建步骤如下： S4.1将 ψ2作为DORN深度估计任务的输入； S4.2增加一个场景理解模块， 所述场景理解模块包括全图像编码模块、 跨通道的信息 压缩模块和空洞空间卷积池化金字塔模块； S4.3利用序数回归 模块将离 散深度值 化分为多类。 7.根据权利要求1所述的一种基于深度学习的前向车辆识别与距离检测方法， 其特征 在于， 所述 步骤S5中， 训练步骤如下： S5.1设计总体损失函数Ltotal， 所述总体损失函数Ltotal包括目标检测损失函数Ldetect和 深度估计损失函数Ldepth； S5.2设置网络 输入图片大小、 初始学习率和迭代次数； S5.3采用损失函数自适应策略训练网络模型。 8.根据权利要求1所述的一种基于深度学习的前向车辆识别与距离检测方法， 其特征 在于， 所述 步骤S6中， 优化检测步骤如下： S6.1输入待预测图片， 得到车辆检测框坐标和图片中各个 像素点的深度值； S6.2根据车辆检测框坐标， 计算检测框的中心点坐标， 然后将中心点坐标作为深度提 取区域的中心点， 以检测框高宽的一半构建深度值 提取区域； S6.3引入K ‑Means聚类算法， 检测前向车辆目标距离 。权　利　要　求　书 2/2 页 3 CN 115424237 A 3