(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210978901.2 (22)申请日 2022.08.15 (71)申请人 天津仁爱学院 地址 300000 天津市 静海区团泊新城博学 苑 (72)发明人 袁铁彪　潘牧　何颖　陈淑鑫　 张鑫怡　 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于三分支卷积神经网络的表情识别 方法 (57)摘要 本发明创造提供了一种基于三分支卷积神 经网络的表情识别方法， 包括： S01： 获取面部表 情图像数据集； S1： 对表情图像进行预处理， 通过 人脸检测算法分别获取表情图像的面部区域图 像、 眼眉区域图像和嘴巴区域图像后进行图像数 据增强； S2： 将所述面部区域图像送入基于卷积 核均值控制的卷积神经网络训练， 将所述眼眉区 域图像和所述嘴巴区域图像送入基于卷积核方 差控制的卷积神经网络训练， 形成三分支卷积神 经网络并行训练， 且卷积神经网络中的卷积层对 输入的表情图像进行深度提取； S3： 对输出特征 采用三分支融合技术得到最终输出特征， 将最终 输出特征送入SoftMax分类器中进行分类， 得到 分类结果。 本发 明创造能够更精确的对驾驶员开 车状态进行情态分析。 权利要求书2页 说明书6页 附图3页 CN 115393930 A 2022.11.25 CN 115393930 A 1.一种基于三分支卷积神经网络的表情识别方法， 其特 征在于， 包括： S1： 通过人脸检测算法分别获取表情图像的面部区域图像、 眼眉区域图像和嘴巴区域 图像后进行图像数据增强； S2： 基于LeNet ‑5卷积神经网络， 建立三分支卷积神经网络， 包括面部卷积神经网络、 眼 眉卷积神经网络和嘴巴卷积神经网络， 将增强后的面部区域图像送入大于均值阈值Rm的卷 积核控制的面部卷积神经网络训练， 将增强后的眼眉区域图像送入大于方差阈值Rs的卷积 核控制的眼眉卷积神经网络训练， 将增强后的嘴巴区域图像送入大于方差阈值Rs的卷积核 控制的嘴巴卷积神经网络训练， 其中， 所述三分支卷积神经网络中的卷积层对输入的表情 图像进行 特征提取； S3： 得到所述三分支卷积神经网络训练后输出层的输出特征， 对所述输出特征采用三 分支融合技术得到最 终输出特征， 将所述最终输出特征送入SoftMax分类器中进 行分类， 得 到分类结果。 2.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法， 其特征在于， 三分 支卷积神经网络的每条 卷积神经网络均由一个输入层、 两个卷积层和两个池化层构成： 面部卷积神经网络的输入层是28 ×28的人脸区域像素矩阵， 眼眉卷积神经网络的输入 层是24×60的眼眉区域像素矩阵， 嘴巴卷积神经网络的输入层是2 4×28的嘴巴区域像素矩 阵； 第一层卷积层采用6个5 ×5的卷积核进行卷积操作后获得6个24 ×24， 20×56， 20×24 的卷积特征图， 第二层池化层使用2 ×2的滑动窗口进行最大池化后获得6个12 ×12， 10× 28， 10×12的下采样特征图， 第三层卷积层采用16个5 ×5的卷积核进行卷积操作后获得16 个8×8， 6×24， 6×8的卷积特征图， 第四层池化层使用2 ×2的滑动窗口进行最大池化后获 得16个4×4， 3×12， 3×4的下采样特 征图。 3.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法， 其特征在于， 在步 骤S1之前， 还 包括： 获取面部表情图像数据集后对表情图像数据进行 预处理。 4.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法， 其特征在于， 步骤 S2中， 卷积层对输入的表情图像进行深度提取： 式中， 表示第l层的第m个特征图， 表示l层图像中卷积区域M中的元素， Wl表示第l 层的卷积核中的元素， bl表示第l层的偏置项， f( ·)表示Rectified  Linear Units激活函 数。 5.根据权利要求3所述的基于三分支卷积神经网络的表情识别方法， 其特征在于， 获取 面部表情图像数据集的方法包括行车记录仪采集驾驶员的面部表情， 或者是驾驶员通过穿 戴能够记录驾驶员面部表情以及驾驶姿态变化的设备识别自身表情。 6.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法， 其特征在于， 步骤 S1中， 将所述面部区域图像、 所述眼眉区域图像和所述嘴巴区域图像通过随机水平翻转、 亮 度调节变化和椒盐噪声随机添加进行 数据增强。权　利　要　求　书 1/2 页 2 CN 115393930 A 27.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法， 其特征在于， 步骤 S2中， 面部卷积神经网络通过控制卷积核的均值， 利用均值大于均值阈值Rm的卷积核提取 面部区域图像的低频信号， 从而用于全脸表情特征 的提取； 眼眉卷积神经网络和嘴巴卷积 神经网络利用方差大于方差阈值Rs的卷积核提取眼眉区域图像和嘴巴区域图像的高频信 号， 从而用于提取眼睛、 眉毛和嘴巴的局部表情特 征。 8.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法， 其特征在于， 步骤 S3中， 将三分支卷积神经网络的每个分支输出 的特征向量合并串联， 得到融合后的特征向 量FV， 将每个分支训练好的权值向量合并串 联， 得到融合后权值向量FW， 将 每个分支训练好 的三组偏置向量 合并串联， 得到融合后偏置向量FB， 最终得到 输出特征FO＝FW×FV+FB。 9.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法， 其特征在于， 步骤 S3中， 分类结果中将人脸表情分为愤怒、 厌 恶、 恐惧、 高兴、 悲伤、 惊讶和中性七类。 10.根据权利要求3所述的基于三分支卷积神经网络的表情识别方法， 其特征在于， 面 部卷积神经网络、 眼眉卷积神经网络和嘴巴卷积神经网络训练后得到面部卷积神经网络的 列特征向量FVFCNN、 行权值向量FWFCNN和列偏置向量FBFCNN， 眼眉卷积神经网络的列特征向量 FVECNN、 行权值向量FWECNN和列偏置向量FBECNN， 嘴巴卷积神经网络的列特征向量FVMCNN、 行权 值向量FWMCNN和列偏置向量FBMCNN， 将三组列特征向量进行合并串联得到 融合后的列特征向 量FV， 将三组权值向量进行合并串联得到融合后行权值向量FW， 将三组偏置向量进行合并 串联得到融合后列偏置向量FB。权　利　要　求　书 2/2 页 3 CN 115393930 A 3