(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210632058.2 (22)申请日 2022.06.07 (71)申请人 首都体育学院 地址 100191 北京市海淀区北三环西路1 1 号高德楼 201 (72)发明人 王秋睿　王子朴　周志雄　 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/33(2019.01) G06F 40/216(2020.01) G06F 40/289(2020.01) G06N 5/02(2006.01) G06V 40/20(2022.01) (54)发明名称 一种多模态健身知识图谱理解与构建方法 (57)摘要 本发明专利提供了一种多模态健身知识图 谱理解与 构建方法， 其特征在于： (1)采用健身视 频和健身对应的解说文字作为多模态模型的输 入， 构建了一种基于深度神经网络的健身动作示 范动作语义理解与提取的标准知识图谱三元组 提取方法。 该方法基于视频特征的提取识别动作 种类， 基于解说文字的词向量特征的提取识别动 作名称， 基于视频特征与词向量特征的提取与融 合匹配两者是否对应， 若一致则建立 “运动动作 名称： 包含： 对应演示动作视 频”三元组。 (2)基于 健身知识图谱库的 “学科——运动种类——运动 项目——运动动作名称 ”的传统知识图谱架构， 实现了对知识 图谱的运动动作名 称进一步添加 “运动动作名称： 包含： 对应演示动作视频 ”这种 三元组的方法， 实现了一种多模态的健身知 识图 谱的构建。 权利要求书1页 说明书2页 附图1页 CN 114969374 A 2022.08.30 CN 114969374 A 1.本发明专利提供了一种 多模态健身知识图谱理解与构建方法， 其特征在于： (1)采用 健身视频和健身对应的解说文字作为多模态模型的输入， 构建了一种基于深度神经网络的 健身动作示范动作语义理解与提取的标准知识图谱三元组提取方法。 该方法基于视频特征 的提取识别动作种类， 基于解说文字的词向量特征 的提取识别动作名称， 基于视频特征与 词向量特征的提取与融合匹配两者是否对应， 若一致则建立 “运动动作名称： 包含： 对应演 示动作视频 ”三元组。 (2)基于健身知识图谱库的 “学科——运动种类——运动项目——运 动动作名称 ”的传统知识图谱架构， 实现了对知识图谱的运动动作名称进一步添加 “运动动 作名称： 包含： 对应演示动作视频 ”这种三元组的方法， 实现了一种多模态的健身知识图谱 的构建。权　利　要　求　书 1/1 页 2 CN 114969374 A 2一种多模 态健身知识图谱理解与构建 方法 一、 技术领域 [0001]知识图谱、 自然语言处 理、 计算机 视觉、 人工智能 二、 背景技术 [0002]2.1通用技 术方法介绍 [0003]知识图谱(Knowledge  Graph)是人工智能的重要分支技术， 它是结构化的语义知 识库， 用于以符号形式描述物理世界中的概念及其相互关系， 其基本组成单位是 “实体‑关 系‑实体”三元组， 以及实体及其相关属性 ‑值对， 实体间通过关系相互联结， 构成树状的知 识结构。 [0004]长短期记忆网络(LSTM， Long  Short‑Term Memory)是一种时间循环神经网络， 是 为了解决一般的循环神经网络存在的长期依赖问题而专门设计出来的， 所有的循环神经网 络都具有一种重复神经网络模块的链式形式。 [0005]卷积运算是深度卷积神经网络的重要模块， 其本质是类似于神经元输出功能的一 个权值共享的节点， 用于提取特征。 其中， 一 维卷积是仅对特征的某一个维度进 行卷积的卷 积运算。 [0006]2.2相似方法介绍 [0007]一种人体运动知识图谱构建方法及系统(申请号： 202210085083.3)[1]是一种和 本申请类似的体育知识图谱构建的方法。 [0008]本方法与其不同之处在于： (1)文献[1]采用人体骨骼关键点方法识别关键帧的人 体姿态， 并由一些列姿态构成动作， 而本方法用基于I3D方法[2]的视频特征提取并直接对 动作进行分类； (2)在生成知识图谱三元组数据的过程中， 文献[1]采用杰拉德相 似度度量 的方法判断一个三元组是否已经存在于图谱中， 而本方法采用了分级的知识谱图构建方 式， 即学科——运动种类——运动项目——运动动作名称——动作视频， 动作视频仅在动 作名——动作视频这一层 级进行图谱的构建， 若已经存在， 则不构建， 保证了体育知识谱图 结构的唯一 性。 三、 发明内容 [0009]本发明专利提供了一种多模态健身知识图谱理解与构建方法， 其采用健身视频和 健身对应的解说文字作为多模态模型的输入， 构建了一种基于深度神经网络的健身动作示 范动作语义理解与提取的标准知识图谱三元组提取方法。 该方法基于视频特征的提取识别 动作种类， 基于解说文字的词向量特征 的提取识别动作名称， 基于视频特征与词向量特征 的提取与融合匹配两者是否对应， 若一致则建立 “运动动作名称： 包含： 对应演示动作视频 ” 三元组。 基于健身知识图谱库的 “学科——运动种类——运动项目——运动动作名称 ”的传 统知识图谱架构， 实现了对知识图谱的运动动作名称进一步添加 “运动动作名称： 包含： 对 应演示动作视频 ”这种三元组的方法， 实现了一种多模态的健身知识图谱的构建。说　明　书 1/2 页 3 CN 114969374 A 3