(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211004182.0 (22)申请日 2022.08.22 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 戚玉涛　张浩东　杨锐　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 季海菊 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) (54)发明名称 一种基于深度学习的轻量级车辆 检测方法 (57)摘要 一种基于深度学习的轻量级车辆检测方法， 针对车辆检测任务， 对基于Anchor ‑Free的一阶 段目标检测算法架构的骨干网络， 特征融合层， 预测子网络分别进行了轻量化的改进， 实现了一 种基于深度学习的轻量级车辆检测方法； 首先建 立了一种轻量级骨干网络ResCSPNet ‑Tiny； 然后 建立了一种轻量级的特征融合网络LPANet； 最后 采用联合表示的方式建立了一种轻量级的多尺 度预测子网络； 同时， 为了提高算法的对车辆目 标的检测能力， 在训练期间采用了动态标签分配 方法， 以及广义的焦点损失函数和广义的交并比 损失函数， 最后在BDD车辆数据集上的实验结果 表明： 本发明的SFVD算法的速度能够达到 448FPS， mAP能够达到3 7.1％， 速度与精度都优于 已有的轻量级检测算法， 能够更好地处理驾驶场 景下的车辆 检测任务。 权利要求书4页 说明书9页 附图4页 CN 115359455 A 2022.11.18 CN 115359455 A 1.一种基于深度学习的轻量级车辆检测方法， 其特 征在于： 具体包括以下步骤： 步骤1.输入待检测的车 载视频图像数据； 步骤2.将步骤1输入的图像通过包括随机的翻转， 亮度增强， 对比度增强， 饱和度增强， 标准化， 尺度缩放， 拉伸方法进行 预处理； 步骤3.将步骤2预处理过的图像输入到轻量级骨干网络ResCSPNet ‑Tiny进行多次下采 样特征提取， 并输出 经过下采样特 征提取后的多尺度特 征Pi； 步骤4.通过轻量级的路径聚合网络LPANet对 步骤3得到的多尺度特征Pi进行融合， 并输 出融合之后的多尺度特 征Ci； 步骤5.通过多尺度的预测子网络对 步骤4得到的多尺度特征Ci进一步处理， 得到最终的 多尺度预测值Oi； 步骤6.对步骤5得到的多尺度预测值Oi进行解码， 得到预测的目标类别得分Score与位 置信息Prebox； 步骤7.进行正负样本标签划分， 计算获得正负样本的标签； 然后通过GFL和GIOU进行损 失计算， 采用反向传播 算法迭代更新模型参数， 最终完成算法模型的训练； 步骤8.在算法模型的实际使用阶段， 直接将步骤6得到的目标类别得分Score与 位置信 息Prebox通过NMS处 理过后输出 车辆检测的结果。 2.根据权利要求1所述的一种基于深度 学习的轻量级车辆检测方法， 其特征在于： 所述 步骤3具体为： 通过对 轻量级骨干网络ResCSPNet ‑Tiny的特征提取单元， 进行多次下采样特 征提取， 输出多尺度特 征Pi： 第一特征提取单元， 用于将输入图像依次经 过切片操作、 标准卷积层， 得到特 征图P1； 第二特征提取单元， 用于将第 一特征提取单元输出的特征图P1经过浅层残差模块和下 采样模块， 得到特 征图P2； 第三特征提取单元， 用于将第 二特征提取单元输出的特征图P2经过浅层残差模块和下 采样模块， 得到特 征图P3； 第四特征提取单元， 用于将第 三特征提取单元输出的特征图P3经过跨层级局部模块和 下采样模块， 得到特 征图P4； 第五特征提取单元， 用于将第四特征提取单元输出的特征图P4经过跨层级局部模块和 下采样模块， 得到特 征图P5。 3.根据权利要求1所述的一种基于深度 学习的轻量级车辆检测方法， 其特征在于： 所述 步骤4具体为： 将步骤3中得到的多尺度特 征图P3， P4， P5分别通过 卷积层， 变换通道维度； 构建自上而下的特征融合路径， 通过双线性插值的操作来完成对多尺度特征图P4， P5 的上采样， 通过相加操作来完成不同尺度特 征间的融合， 得到多尺度特 征图H3， H4， H5； 构建自下而上的特征融合路径， 通过双线性插值的操作来完成对多尺度特征图H3， H4 的下采样， 通过相加操作来完成不同尺度特 征间的融合， 得到多尺度特 征图C3， C4， C5。 4.根据权利要求1所述的一种基于深度 学习的轻量级车辆检测方法， 其特征在于： 所述 步骤5具体为： 对多尺度特征图C3， C4， C5依次通过卷积层、 批量归一化层、 激活函数层和卷积层后， 得 到最终的多尺度预测值O3， O4， O5。权　利　要　求　书 1/4 页 2 CN 115359455 A 25.根据权利要求1所述的一种基于深度 学习的轻量级车辆检测方法， 其特征在于： 所述 步骤7具体为： 1).自定义设置深度学习网络训练超参数样本集； 2).将步骤7第1)步训练样本集中batch张图像输入到构建的网络中进行前向传播， 得 到预测的多尺度特 征Oi； 3).解码步骤7第2)步得到的多尺度特 征Oi中的不同尺度特 征的预测信息： 3.1)对多尺度特征Oi在通道维度进行划分， 得到维度为N的质量预测值Precls和维度为 4*RegMax边框回归预测值Prebox； 3.2)对于一个S ×S尺寸的多尺度特征Oi， 将这S2个特征点映射回原图中， 得到预设锚点 A的坐标； 3.3)对于质量预测Precls， 在通道维度通过Sigmoid函数激活之后， 得到每一个锚点位 置对应类别的分类预测得分Score； 3.4)对于边框回归预测Prebox， 其值代表当前锚点Axy距离预测框4条边的距离(t,r,b, l)， 采用一个长度为RegMax的一维向量V来表示； 将每条边的距离向量V进行Softmax函数之 后， 每个位置的值就代表 其处在当前位置的概率， 最终实际的距离distance， 采用期望的方 式来计算； 4)进行正负 样本标签划分： 4.1)初始化质量预测的目标 标签labelcls， 边框回归的目标 标签labelreg； 4.2)通过步骤7第3.1)步得到的回归预测值Prebox得到距离向量(t,r,b,l)， 然后将其 与Pxy进行解码， 得到算法预测的目标框anc hor； 4 .3)选出所有中心点P落入GTbox内的P及其对应的anchor， 记为Pcandidate， anchorcandidate， 将Pcandidate的labelcls置为对应GTbox的GTlabel； 4.4)计算所有anchorcandidate与GTbox的iou， 记为scor eiou； 计算iou的代价costiou＝‑log (scoreiou)； 4.5)对于Pcandidate的label值与scoreiou相乘， 得到labelsoft， 并令labelcls＝labelsoft； 4.6)对于anc horcandidate， 计算其质量Score与labelsoft的交叉熵损失， 记为costcls； 4.7)计算anc horcandidate的代价矩阵M＝costcls+costiou； 4.8)根据设置的K值， 对每个GTbox选取scoreiou中前K个anchorcandidate， 记为anchork， 计 算anchork的scoreiou之和， 并且向下 取整， 得到 了每个GTbox应该分配锚框数n； 4.9)根据每个GTbox需要分配的数量n， 对每个GTbox选取M中前n小的anchorcandidate作为 正样本， 其 余视为负 样本， 根据正负 样本选择对labelreg进行填充； 4.10)如果存在一个anchorcandidate被多个GTbox选择的情 况， 选择M中最小值对应的GTbox 作为其目标， 其 他GTbox舍去； 4.11)返回划分的样本标签labelcls,labelreg； 5)定义广义焦点损失函数GFL， 计算预测框与对应样本的损失值： 5.1)对于多尺度预测值Oi中的分类预测值， 采用QFL进行分类质 量预测的损失计算， 其计算方式如公式(1.1)所示； losscls＝lossQFL lossQFL( σ )＝‑|y‑σ |β((1‑y)log(1‑σ )+ylog( σ ))权　利　要　求　书 2/4 页 3 CN 115359455 A 3