(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210919634.1 (22)申请日 2022.08.02 (71)申请人 武汉烽火技术服务有限公司 地址 430205 湖北省武汉市东湖开发区关 山二路附4号 申请人 湖北工业大 学 (72)发明人 徐爱波　周艳　王春枝　赵明明　 李海涛　张磊　胡记伟　严灵毓　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 向彬 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于混合注意力机制的人脸表情识别 方法和装置 (57)摘要 本发明公开了一种基于混合注意力机制的 人脸表情识别方法和装置。 包括： 通过三维特征 图像， 获取三维特征参数和各连接层通道的二维 特征向量； 利用注意力模块对所述三维特征参数 和各连接层的通道二维特征向量进行编码， 获取 各连接层的通道权重向量， 通过点乘映射到原来 的维度， 得到通道注意力特征图像； 利用卷积层 对三维特征图像进行降维和特征提取操作， 获取 空间特征信息， 将空间特征信息扩展到与三维特 征图像相同大小， 得到空间注意力特征图像； 将 通道注意力特征图像与空间注意力特征图像融 合， 输出融合特征图像。 本发明利将通道注意力 与空间注 意力结合起来， 有效的避免了网络层数 的增加， 提高了识别表情的效率与精度。 权利要求书2页 说明书7页 附图2页 CN 115240261 A 2022.10.25 CN 115240261 A 1.一种基于混合注意力机制的人脸表情识别方法， 其特 征在于， 包括： 通过目标对象的三维特征图像， 获取目标对象的三维特征参数和各连接层通道的二维 特征向量； 利用注意力模块对所述三维特征参数和各连接层的通道二维特征向量进行编码， 获取 各连接层的通道权重 向量， 并通过点乘的方式映射到原来的维度， 得到权重与各连接层的 通道相融合的通道 注意力特 征图像； 利用卷积层对所述目标对象的三维特征图像进行降维和特征提取操作， 获取空间特征 信息， 并将所述空间特征信息扩展到与所述 目标对象的三维特征图像大小， 得到空间注意 力特征图像； 将通道注意力特 征图像与空间注意力特 征图像融合， 输出融合特 征图像。 2.根据权利要求1所述的基于混合注意力 机制的人脸表情识别方法， 其特征在于， 所述 目标对象的三维特 征参数包括 三维特征图像的高和宽 。 3.根据权利要求2所述的基于混合注意力 机制的人脸表情识别方法， 其特征在于， 所述 利用注意力模块对所述三 维特征参数和各连接层通道的二维特征向量进 行编码， 得到权重 与各连接层的通道相融合的通道 注意力特 征图像， 具体包括： 使用全局平均池化对各连接层通道的二维特征向量进行压缩处理， 获取各连接层通道 的二维特 征向量下的挤压函数； 利用挤压函数， 获取目标对象当前状态下的压缩数据； 通过激活函数对压缩数据进行特征选择， 获取重要的特征信息并保留所占权重， 并通 过训练各 特征的权重， 获取各连接层的通道权 重向量； 将通道权 重向量通过点乘的方式映射到原来的维度,得到通道 注意力图像。 4.根据权利要求3所述的基于混合注意力 机制的人脸表情识别方法， 其特征在于， 所述 挤压函数 Fsq(uc)为： 其中， H， G 分别表示 三维特征图像U的宽和高， uc表示的是在C通道中U的二维特 征向量。 5.根据权利要求3所述的基于混合注意力 机制的人脸表情识别方法， 其特征在于， 所述 获取重要的特 征信息并保留所占权 重， 相应的权 重的函数表达式为： n＝Fex(s,w)＝σ(g(s,w) )＝σ(W2σ(W1s)) 其中， s表示目标对象当前状态下的压缩数据， w表示的是三维特征U高， σ(x)表示的是 sigmoid函数， W1是连接第一个全连接层的权重， W2是连接前全连接层与后一个全连接层的 权重。 6.根据权利要求3所述的基于混合注意力 机制的人脸表情识别方法， 其特征在于， 所述 的通道注意力特 征图像具体为： Uc＝Fscale(uc,nc)＝nc·uc 其中， uc表示的是在C通道中U的二维特征向量， nc表示C通道在三维特征图像中所占的 权重， Fscale(uc,nc)表示维度映射到原 始维度。 7.根据权利要求1所述的基于混合注意力 机制的人脸表情识别方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115240261 A 2利用卷积层 对所述目标对象的三 维特征图像进 行降维和特征提取操作， 获取空间特征信息 的过程中， 包括至少利用第一卷积层、 第二卷积层、 第三卷积层和 第四卷积层对目标对象进 行了处理， 具体包括： 利用第一卷积层对目标对象的三维特征图像进行降维操作， 获取各个单通道的空间特 征信息； 利用第二卷积层和对第 三卷积层各个单个通道的三维特征图像进行特征提取， 获取关 键的特征位置信息； 再利用第四卷积层对关键的特征位置信 息进行降维操作， 获取关键的特征位置对应的 空间特征信息； 最后将关键的特征位置对应的空间特征信息扩展到与目标对象的三维特征图像相同 大小， 得到空间注意力图像。 8.根据权利要求1所述的基于混合注意力 机制的人脸表情识别方法， 其特征在于， 通过 采取并联的方式将所述 通道注意力特 征图像与空间注意力特 征图像融合， 具体包括： 将目标对象的三维特征图像输入注意力模块内， 获取通道特征通道注意力特征图像和 空间注意力特 征图像； 采取并联的方式将通道特征通道注意力特征图像和空间注意力特征图像融合， 获取融 合后的特 征图像进行输出。 9.根据权利要求1所述的基于混合注意力 机制的人脸表情识别方法， 其特征在于， 所述 融合特征图像为： 其中， c表示的是通道数， Xi,Yi表示的是在i通道中， 需要融合的两个特征值， Ki表示的 是i通道中的卷积核,Ki+c表示的是i+c通道中的卷积核。 10.一种基于混合注意力机制的人脸表情识别装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器； 其中， 所述至少一个处理器以及所述至少一个存储器相互通信连接， 所述至少一个存 储器存储有可被所述至少一个处理器执行 的指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理器能够执行本发明权利要求1 ‑9任一项权利要求所提供的基于 混合 注意力机制的人脸表情识别方法。权　利　要　求　书 2/2 页 3 CN 115240261 A 3