(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210894051.8 (22)申请日 2022.07.27 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 王蓉芳　李智远　朱孟达　慕彩红　 郝红侠　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 季海菊 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/32(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于YOLO深度网络的课堂环境下人脸 检测方法及其检测系统 (57)摘要 本发明公开了一种基于YOLO深度网络的课 堂环境下人脸检测方法及其检测系统， 在原始 YOLOX算法上改进， 在网络的空间金字塔池化结 构中使用更小的池化核， 能够帮助模 型更轻松地 检测到课堂环境下的小尺度人脸并提高整体的 人脸检测性能； 在网络中加入混合注意力模块， 让模型学习抑制无用的背景信息， 提升检测精 度； 在网络中加入自适应空间特征融合操作， 解 决PAFPN结构中存在的不一致问题； 使用EIOU损 失函数代替IOU损失函数， 使真实框与预测框的 宽度差和高度差最小， 能加快收敛速度； 使用迁 移学习预训练操作解决数据不足的问题， 提升模 型在课堂环境下人脸检测的精度； 划分模块， 将 课堂环境下采集的人脸检测数据集划分为训练 集、 验证集和 测试集。 权利要求书3页 说明书12页 附图5页 CN 115240259 A 2022.10.25 CN 115240259 A 1.一种基于YOLO深度网络的课堂环境下人脸检测方法， 其特征在于： 具体包括以下步 骤： S1、 将课堂环境下 人脸检测数据集划分为训练集、 验证集和 测试集； S2、 读取步骤S1划分的训练集和验证集中的图像， 将其转换为RGB格式并对图像的大小 进行调整， 再对步骤S1划分的训练集进行 数据增强； S3、 构建基于YOLOX深度网络的课堂环境下人脸检测卷积神经网络， 将其命名为 YOLOXs‑face； S4、 使用EIOU损失函数和交叉熵损失函数构建损失函数； S5、 使用预训练数据集对YOLOXs ‑face网络进行训练， 获得 预训练模型； S6、 使用步骤S2处理后的训练集在步骤S5中得到的预训练模型基础上继续训练 YOLOXs‑face网络， 使用步骤S2处理后的验证集进行验证， 保存验证集上表现最优的网络模 型； S7、 使用步骤S1划分的测试集在步骤S6保存的网络模型上测试， 得到课堂环境下人脸 检测结果； S8、 对步骤S7中得到的检测结果， 利用F1系数与平均精度对网络模型的检测性能进行 量化评价。 2.根据权利要求1所述的一种基于YOLO深度网络的课堂环境下人脸检测方法， 其特征 在于： 所述步骤S1 中， 将课堂环境下人脸检测数据集中的样本进行随机划分， 按照11:4:5的 比例划分为训练集、 验证集和 测试集。 3.根据权利要求1所述的一种基于YOLO深度网络的课堂环境下人脸检测方法， 其特征 在于： 所述 步骤S2具体方法为： S201、 对步骤S1划分的验证集中的图像进行预处理， 首先将图像转换成RGB格式， 再使 用双线性插值方法将验证集和测试集的图像大小等比缩放， 最后通过给图像加灰条的方法 统一图像的大小； S202、 对步骤S1划分的训练集中的图像进行预处理， 首先将图像转换成RGB格式， 然后 对图像进行等比缩放， 再对图片的宽高比进行随机缩放； 通过给图像加灰条 的方法统一图 像的大小， 并依照概率对图片进 行水平翻转， 最后对图像的色调、 饱和度和亮度进 行随机的 改变， 实现数据增强； S203、 对步骤S201预处理后的验证集， 和步骤S202预处理后的训练集， 分别进行真实框 调整。 4.根据权利要求1所述的一种基于YOLO深度网络的课堂环境下人脸检测方法， 其特征 在于： 所述 步骤S3具体方法为： S301、 构建基于YOLO深度网络的课堂环境下人脸检测网络， 命名为YOLOXs ‑face； YOLOXs‑face网络包 含特征提取模块、 特 征加强模块和特 征点预测模块； S302、 构建包 含卷积层、 批归一 化层和Si LU非线性激活层的CBS模块； S303、 构建包 含卷积层、 批归一 化层和Si LU非线性激活层的残差模块； S304、 基于步骤S302的CBS模块构建Focus模块， 该模块首先会对输入的图像进行切片 处理， 将输入由三 通道扩充到 十二通道， 再使用一个CBS模块对特 征层进行 卷积操作； S305、 基于步骤S3 02的CBS模块构建S PP模块， 该模块由CBS模块和最大池化操作组成；权　利　要　求　书 1/3 页 2 CN 115240259 A 2S306、 基于步骤S302的CBS模块和 步骤S303的残差模块构建CSP_N模块和CSP2_N模块， CSP_N模块包含主干支路和残差支路， 其主干支路包含一个CBS模块和N个残差模块， 残差支 路上包含一个CBS模块， 将数据分别输入主干支路和残差支路中， 得到大小相同的特征层， 将特征层 进行堆叠后再经过CBS模块得到输出； CSP2_N模块包含主干支路和残差支路， 其主 干支路包含一个CBS模块和N个去除残差边的残差模块， 残差支路上包含一个CBS模块， 将数 据分别输入主干支路和残差支路中， 得到大小相同的特征层， 将特征层进行堆叠后再经过 CBS模块得到 输出； S307、 基于步骤S302的CBS模块、 步骤S304的Focus模块、 步骤S305的SPP模块以及步骤 S306的CSP_N模块和CSP2_N模块构建步骤S301人脸检测网络YOLOXs ‑face的特征提取模块 CSPDarkNet网络， 该结构会对输入的数据进行特征提取操作； 将步骤S2经过数据增强的训 练集中的数据输入CSPDarkNet网络， 在CSPDarkNet结构的中间层、 中下层和底层共获得三 个有效特 征层； S308、 构建步骤S301人脸检测网络YOLOXs ‑face的特征加强模块Attention网络， 该网 络由三个CBAM注 意力模块组成； 将步骤S 307得到的三个有效特征层分别输入到三个CBAM注 意力模块中， 得到三个混合注意力特 征层； S309、 基于步骤S302的CBS模块和 步骤S306的CSP2_N模块构建步骤S301人脸检测网络 YOLOXs‑face的特征加强模块PAFPN网络， 该网络由FPN和PAN网络组成； 将步骤S308得到的 三个混合注意力特征层输入PAFPN网络中， 先在FPN网络中通过上采样的方式进 行特征传递 融合， 再在FAN网络中通过 下采样融合方式得到三个加强特 征层； S310、 构建步骤S301人脸检测网络YOLOXs ‑face的特征加强模块ASFF网络， 该网络由三 个自适应空间特征融合模块组成； 将步骤S309得到的三个加强特征层输入ASFF网络中， 让 不同的特 征层自适应地融合， 得到三个融合特 征层； S311、 基于步骤S302的CBS模块构建步骤S301人脸检测网络YOLOXs ‑face的特征点预测 Yolo Head网络， 该网络由Yolo  Head模块组成； 将步骤S310得到的三个融合特征层输入 Yolo Head网络中， 对特 征层进行分类与回归操作， 得到三个不同尺度的预测结果； S312、 将步骤S31 1得到的预测结果进行整合， 得到最终的课 堂环境下 人脸检测结果。 5.根据权利要求4所述的一种基于YOLO深度网络的课堂环境下人脸检测方法， 其特征 在于： 所述步骤301中， 特征提取模块由CSPDarkNet网络组成， 特征加强模块由Attention网 络、 PAFAN网络和ASFF网络组成， 特征点预测由Yolo  Head网络组成； 所述步骤S307中， CSPDarkNet网络中依次包括Focus模块、 CBS模块、 CSP_1模块、 CBS模块、 CSP_3模块、 CBS模 块、 CSP_3模块、 CBS模块、 SPP模块和CSP2_1模块， 两个CSP_3模块和CSP2_1模块的输出作为 有效特征层。 6.根据权利要求4所述的一种基于YOLO深度网络的课堂环境下人脸检测方法， 其特征 在于所述： 步骤S305中构建的SPP模块， 包含两个CBS模块和三个池化核大小分别为7 ×7， 5 ×5和3×3的最大池化操作组成。 7.根据权利要求4所述的一种基于YOLO深度网络的课堂环境下人脸检测方法， 其特征 在于： 所述步骤S311中， Yolo  Head模块先使用卷积操作调整输入特征层的通道数， 再将调 整后的特征层分别输入分类支路和回归支路， 其中， 分类支路先使用两个CBS模块对特征进 行提取， 再使用卷积操作预测 类别， 回归支路先使用两个CBS模块对特征进行提取， 分别使权　利　要　求　书 2/3 页 3 CN 115240259 A 3