(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210938072.5 (22)申请日 2022.08.05 (71)申请人 厦门大学 地址 361005 福建省厦门市思明区思明南 路422号 (72)发明人 王靖瑶　肖宝平　郭景华　 (74)专利代理 机构 厦门南强之 路专利事务所 (普通合伙) 35200 专利代理师 马应森 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06N 3/063(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多任务学习的自动驾驶汽车道路 场景理解方法 (57)摘要 一种基于多任务学习的自动驾驶汽车道路 场景理解方法， 涉及汽车智能化与自动驾驶。 1： 设计自动驾驶汽车道路场景理解多任务模型 YOLO‑ODL的共享编码器； 2： 设计自动驾驶汽车道 路场景理解多任务模型YOLO ‑ODL的目标检测解 码器； 3： 采用语义分割方法设计多任务模型 YOLO‑ODL可行驶区域解码器和车道线 解码器； 4： 设计多任务损失函数， 定义总损失为3个任务的 损失加权和； 5： 采用Ten sorRT对多任 务模型加速 部署， 降低模型的计算复杂度； 6： 建立道路场景 理解数据集， 通过数据集完成多任务学习模型的 训练和评价。 实现交通目标、 可行驶区域和车道 线的联合检测， 节省计算资源、 降低过拟合风险 和提高网络 灵活性。 权利要求书2页 说明书6页 附图1页 CN 115294550 A 2022.11.04 CN 115294550 A 1.一种基于多任务学习的自动驾驶汽车道路场景理解方法， 其特征在于包括以下步 骤： 步骤1： 设计自动驾驶汽车道路场景理解多任务模型YOLO ‑ODL的共享编码器； 步骤2： 设计自动驾驶汽车道路场景理解多任务模型YOLO ‑ODL的目标检测解码器； 步骤3： 采用语义分割的方法设计多任务模型YOLO ‑ODL的可行驶区域解码器和车道线 解码器； 步骤4： 将多个任务的损失联系起来， 设计多任务损失函数， 定义总损失为3个任务的损 失加权和； 步骤5： 采用TensorRT对多任务模型进行加速 部署， 降低模型的计算复杂度； 步骤6： 建立道路场景理解数据集， 通过 数据集完成多任务学习模型的训练和评价。 2.如权利要求1所述一种基于多任务学习的自动驾驶汽车道路场景理解方法， 其特征 在于在步骤1中， 所述设计自动驾驶汽车道路场景理解多任务模型YOLO ‑ODL的共享编码器 的具体步骤 包括： 第一步： 采用YOLOv5s目标检测模型中的Backbone和FPN结构， Backbone提取场景中的 共有图像特 征， FPN融合 不同尺度的图像特 征； 第二步： 生成W/4 ×H/4×128、 W/8×H/8×64、 W/16×H/16×128三种尺度的特 征图。 3.如权利要求1所述一种基于多任务学习的自动驾驶汽车道路场景理解方法， 其特征 在于在步骤2 中， 所述设计自动驾驶汽车道路场景理解多任务模型YOLO ‑ODL的目标检测解 码器的具体步骤 包括： 第一步： 采用YOLOv5s目标检测模型 中PANet和Detection  Head结构， PANet进一步融合 不同尺度特 征， Detecti on Head采用卷积核大小为1 ×1， 步长为1的卷积层来调整通道数； 第二步： 加入浅层高分辨率特征160 ×96来替换初始的深层低分率特征20 ×12， 最终生 成160×96×18、 80×48×18、 40×24×18三种尺度的特 征图； 第三步： 每个网格负责3个先验框， 总共有61440个预测输出， 而每个预测输出包括4个 与预测框位置相关的参数、 1个置信度参数及1个车辆类别参数， 所以输出特征图有3 ×6＝ 18个通道。 4.如权利要求1所述一种基于多任务学习的自动驾驶汽车道路场景理解方法， 其特征 在于在步骤3中， 所述采用语义分割的方法设计多任务模型YOLO ‑ODL的可行驶区域解码器 和车道线解码器的具体步骤 包括： 第一步:可行驶区域 解码器和车道线解码器由2个CS PUp层、 CBS层和Sigmo id层组成； 第二步： 将W/4 ×H/4×128低分辨率特征图变换 回W×H×2高分辨率特征图， 2个通道对 应分类个数， 并进一步提取图像特征， 从而生成更密集的特征图， 最终通过Sigmoid层生成 可行驶区域和车道线分割的语义 概率输出； 第三步： 分别对三个Encoder端的输出进行后处 理， 并在原图上绘制后处 理结果。 5.如权利要求1所述一种基于多任务学习的自动驾驶汽车道路场景理解方法， 其特征 在于在步骤4中， 所述将多个任务的损失联系起来， 设计多任务损失函数， 定义总损失为3个 任务的损失加权和的具体步骤 包括： 第一步： 定义总损失为3个任务的损失加权和， 以使3个任务的损失尺度更接 近； 第二步： 引入同方差不确定性来平衡多个任务， 在每个任务的损 失中加入可学习的噪权　利　要　求　书 1/2 页 2 CN 115294550 A 2声参数， 使 多任务网络在训练期间能自动调整权 重参数。 6.如权利要求1所述一种基于多任务学习的自动驾驶汽车道路场景理解方法， 其特征 在于在步骤5中， 所述采用TensorRT对多任务模型进行加速 部署的具体步骤 包括： 第一步:采用FP16量化来加速部署多任务模型,将较高精度的数据压缩到较低精度的 数据， 从而提高模型的吞吐量， 同时降低模型的存 储体积和内存消耗； 第二步： 对网络模型的结构进行优化， 保证模型精度的前提下， 大幅度提高模型推理速 度。 7.如权利要求1所述一种基于多任务学习的自动驾驶汽车道路场景理解方法， 其特征 在于在步骤6中， 所述建立道路场景 理解数据集， 通过数据集完成多任务学习模 型的训练和 评价的具体步骤 包括： 第一步： 采集道路目标、 可行驶区域和车道线的数据集， 设置训练集、 验证集和测试集 的比列关系； 第二步： 采用查全率、 平均精度均 值来评价目标检测性能； 由MIoU来衡量可行驶区域检 测性能， 采用像素Ac curacy和I oU来衡量车道线检测性能； 第三步： 初始学习率设为0.001， 权重衰减为0.0005， 动量为0.937， 采用Adam优化器进 行优化训练。权　利　要　求　书 2/2 页 3 CN 115294550 A 3