(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210772281.7 (22)申请日 2022.06.30 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 王昊　杨明川　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 李建忠 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 多模态情感分析方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种多模态情感分析方法、 装 置、 电子设备及计算机存储介质， 涉及情感分析 技术领域。 该方法包括： 获取音频模态序列、 视频 模态序列的交互特征序列矩阵； 将交互特征序列 矩阵与文本模态序列融合生成融合特征序列矩 阵及情感分析模 型； 将融合特征序列矩阵分别与 音频模态序列、 视频模态序列及 文本模态序列进 行损失学习， 优化情感分析模型， 以便待识别的 数据输入至情感分析模型， 输出情感分类结果。 本公开实施例能够捕获模态间的互补特征， 并对 模态序列进行损失学习， 更有效地融合多模态的 信息， 指导情感分析， 提高多模态情感分析的效 率。 权利要求书2页 说明书13页 附图4页 CN 115019237 A 2022.09.06 CN 115019237 A 1.一种多模态情感分析 方法， 其特 征在于， 包括： 获取音频模态序列、 视频模态序列的交 互特征序列矩阵； 将所述交互特征序列矩阵与文本模态序列融合生成融合特征序列矩阵及情感分析模 型； 将所述融合特征序列矩阵分别与 所述音频模态序列、 所述视频模态序列及所述文本模 态序列进行损失学习， 优化所述情感分析模型， 以便待识别的数据输入至所述情感分析模 型， 输出情感分类结果。 2.根据权利要求1所述的多模态情感分析方法， 其特征在于， 还包括： 所述交互特征序 列矩阵为音频隐藏状态序列、 视频隐藏状态序列的交 互特征序列矩阵。 3.根据权利要求1所述的多模态情 感分析方法， 其特征在于， 所述将所述交互特征序列 矩阵与文本模态序列融合 生成融合特 征序列矩阵及情感分析模型包括： 将所述交 互特征序列矩阵与文本模态序列融合得到 权重向量； 根据所述权 重向量， 生成所述融合特 征序列矩阵。 4.根据权利要求1所述的多模态情 感分析方法， 其特征在于， 所述将所述融合特征序列 矩阵分别与所述音频模态序列、 所述视频模态序列及所述文本模态序列进行损失学习， 优 化所述情感分析模型包括： 根据所述融合特征序列矩阵分别与 所述音频模态序列、 所述视频模态序列及所述文本 模态序列进行损失学习， 通过任务损失和对比损失的加权求和优化所述情感分析模型。 5.根据权利要求1所述的多模态情感分析 方法， 其特 征在于， 还 包括： 基于BERT方法， 对文本信息进行编码， 生成文本模态序列； 基于LSTM网络， 对音频信息进行编码， 生成音频模态序列； 基于LSTM网络， 对视频信息进行编码， 生成视频模态序列。 6.根据权利要求2所述的多模态情感分析 方法， 其特 征在于， 还 包括： 通过采样函数， 将音频模态序列压缩成音频隐藏状态序列； 其中， 音频模态序列是键值向量， 音频隐藏状态序列为 查询向量； 通过采样函数， 将视频模态序列压缩成视频隐藏状态序列； 其中， 视频模态序列是键值向量， 视频隐藏状态序列是查询向量。 7.根据权利要求6所述的多模态情 感分析方法， 其特征在于， 所述采样函数包括滑动采 样函数、 周期采样函数、 随机采样函数。 8.一种多模态情感分析装置， 其特 征在于， 包括： 交互特征序列矩阵生成模块， 基于稀疏注意力 机制， 获取音频模态序列、 视频模态序列 的交互特征序列矩阵； 融合特征序列矩阵生成模块， 将所述交互特征序列矩阵与文本模态序列融合生成融合 特征序列矩阵及情感分析模型； 情感分析模型优化模块， 将所述融合特征序列矩阵分别与所述音频模态序列、 所述视 频模态序列及所述文本模态序列进行损失学习， 优化所述情感分析模型， 以便待识别的数 据输入至所述情感分析模型， 输出情感分类结果。 9.一种多模态情感分析系统， 其特 征在于， 包括： 模态编码模块， 对输入的多模态序列进行编码；权　利　要　求　书 1/2 页 2 CN 115019237 A 2稀疏注意力模块， 对多音频模态序列与视频模态序列， 或音频隐藏状态序列与视频隐 藏状态序列进行选择性注意力操作； 交叉注意力模块， 将模态序列融合 生成融合特 征序列矩阵； 损失函数模块， 捕获模态之间的模态不变性和模态特异性， 使用对比预测编码损 失来 加强信息熵差异。 10.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 用于存 储所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所 述多模态情感分析 方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1～7中任意 一项所述的多模态情感分析 方法。权　利　要　求　书 2/2 页 3 CN 115019237 A 3