(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210343488.2 (22)申请日 2022.04.02 (71)申请人 中译语通科技股份有限公司 地址 100131 北京市石景山区石景山路20 号中铁建 设大厦16层 (72)发明人 徐芳　曲笑辰　蔡超　武学敏　 杨万征　王雪　 (74)专利代理 机构 北京兴智翔达知识产权代理 有限公司 1 1768 专利代理师 郭卫芹 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06F 40/205(2020.01) G06F 40/279(2020.01) (54)发明名称 融合知识图谱的模型预训练方法、 系统、 设 备及存储介质 (57)摘要 本发明实施例提供一种融合知识图谱的模 型预训练方法、 系统、 设备及存储介质， 该方法包 括： 获取针对需要实体识别的各种实体 之间的知 识图谱； 对所述知识图谱进行子图提取， 得到提 取到的子图； 对提取到的子图进行向量化， 得到 向量化后的子图； 分别根据训练集中的任意两个 实体之间生成文本向量， 将文本向量和向量化后 的子图导入并构建实体关系抽取预训练模型， 对 所述实体关系抽取预训练模型进行训练， 得到训 练好的实体关系抽取预训练模型； 将待验证两个 实体之间对实体关系输入训练好的实体关系抽 取预训练模型， 预测出该两个实体之间的关系。 使得下游任务可以基于该大规模知识图谱预训 练模型进行微调自动构建比较高质量的知识图 谱。 权利要求书2页 说明书6页 附图3页 CN 114676270 A 2022.06.28 CN 114676270 A 1.一种融合知识图谱的模型 预训练方法， 其特 征在于， 包括 获取针对需要实体识别的各种实体之间的知识图谱； 对所述知识图谱进行子图提取， 得到提取到的子图； 对提取到的子图进行向量 化， 得到向量 化后的子图； 分别根据训练集中的任意两个实体之间生成文本向量， 将文本向量和向量化后的子图 导入并构建实体关系抽取预训练模型， 对所述实体关系抽取预训练模型进行训练， 得到训 练好的实体关系抽取 预训练模型； 将待验证两个实体之间对实体关系输入训练好的实体关系抽取预训练模型， 预测出该 两个实体之间的关系。 2.根据权利要求1所述的融合知识图谱的模型预训练方法， 其特征在于， 所述对所述知 识图谱进行子图提取， 得到提取到的子图， 包括： 在所述知识图谱中以节点作为中心， 其一跳范围内的邻 接节点和本身节点构 成一个子 图， 一跳指的是邻接节点和当前节点 通过一条边连接 。 3.根据权利要求2所述的融合知识图谱的模型预训练方法， 其特征在于， 所述对提取到 的子图进行向量 化， 得到向量 化后的子图， 包括： 对图结构进行向量化、 对节点进行向量化和对边进行向量化， 得到向量化后的子图， 其 中， 图结构的向量化采用GCN进行建模， 而节点的向量和边的向量化采用预训练语言模型， 对于未知的词和边采用随机初始 化的形式， 通过对边的向量进行归一化的形式得到边的权 重。 4.根据权利要求1所述的融合知识图谱的模型预训练方法， 其特征在于， 所述对所述实 体关系抽取 预训练模型进行训练， 得到训练好的实体关系抽取 预训练模型， 包括： 通过以一定比例随机掩码掉节点或者边的信 息， 在训练过程中节点向量和边向量都会 根据反向传播进行动态调整， 最终会得到动态的边向量、 节 点向量以及子图的图结构向量， 得到训练好的实体关系抽取 预训练模型。 5.根据权利要求1所述的融合知识图谱的模型预训练方法， 其特征在于， 所述对所述实 体关系抽取 预训练模型进行训练， 得到训练好的实体关系抽取 预训练模型， 包括： 通过预测当前子图边缘边的连通子图的方式， 在训练过程中节点向量和边向量都会根 据反向传播进 行动态调整， 最 终会得到动态的边向量、 节点向量以及子图的图结构向量， 得 到训练好的实体关系抽取 预训练模型。 6.一种融合知识图谱的模型 预训练系统， 其特 征在于， 包括 图谱模块， 用于获取针对需要实体识别的各种实体之间的知识图谱； 子图模块， 用于对所述知识图谱进行子图提取， 得到提取到的子图； 向量化模块， 用于对提取到的子图进行向量 化， 得到向量 化后的子图； 训练模块， 用于分别根据训练集中的任意两个实体之间生成文本向量， 将文本向量和 向量化后的子图导入并构建实体关系抽取预训练模型， 对所述实体关系抽取预训练模型进 行训练， 得到训练好的实体关系抽取 预训练模型； 预测模块， 用于将待验证两个实体之间对实体关系输入训练好的实体关系抽取预训练 模型， 预测出 该两个实体之间的关系。 7.一种电子设备， 其特征在于， 包括存储器、 处理器及存储在存储器上并可在处理器上权　利　要　求　书 1/2 页 2 CN 114676270 A 2运行的计算机程序， 处理器执行程序时实现如权利要求 1至7任一所述的融合知识图谱的模 型预训练方法。 8.一种非暂态计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 该计算机程 序被处理器执行时实现如权利要求1至7任一所述的融合知识图谱的模型 预训练方法。权　利　要　求　书 2/2 页 3 CN 114676270 A 3