(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111499402.7 (22)申请日 2021.12.09 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 刘权　王永超　郭武　陈志刚　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 代理人 郑立明　韩珂 (51)Int.Cl. G06F 40/58(2020.01) G06F 40/295(2020.01) G06F 40/211(2020.01) G06F 40/30(2020.01) G06N 20/00(2019.01) (54)发明名称 一种用于NER迁移学习的方法、 系统、 设备及 存储介质 (57)摘要 本发明公开了一种用于NER迁移学习的方 法、 系统、 设备及存储介质， 它是针对当前多语种 NER迁移学习领域遇到无法进行源语言知识 迁移 到目标语言的问题， 提出的一种新的迁移学习方 案， 将原先训练好的源语言知识辅助目标语言进 行学习， 提升在不需要人为进行训练语料标注的 情况下， 达到与有训练语料标注更好的效果。 权利要求书2页 说明书6页 附图3页 CN 114169348 A 2022.03.11 CN 114169348 A 1.一种用于NER迁移学习的方法， 所述 NER表示命名实体识别， 其特 征在于， 包括： 获取已标注的源语言训练语料； 利用翻译模型将已标注的源语言训练语料翻译为目标语言训练语料； 将已标注的源语言训练语料与目标语言训练语料输入至多语种预训练模型， 通过对比 学习的方式进行源语言训练语料与目标语言训练语料之间对齐， 通过跨越注意力的方法， 将源语言训练语料的知识迁移到目标语言训练语料； 利用对比学习的损失与跨越注意力的 方法的损失构建损失函数对所述多语种预训练模型进行训练。 2.根据权利要求1所述的一种用于NER迁移学习的方法， 其特征在于， 所述已标注的源 语言训练语料包括： 源语言的NER标注数据。 3.根据权利要求1所述的一种用于NER迁移学习的方法， 其特征在于， 所述利用翻译模 型将已标注的源语言训练语料翻译为目标语言训练语料包括： 利用翻译模型先将源语言训练语料转换为训练句式， 再根据训练句式结合设定字典进 行回填映射， 获得目标语言训练语料。 4.根据权利要求1所述的一种用于NER迁移学习的方法， 其特征在于， 所述通过对比学 习的方式进行源语言训练语料与目标语言训练语料之间对齐包括： 将源语言训练语料和目标语言训练语料中对应的句子分别记为si与 句子si与 的 语义相同， 同时， 设置语义与句子si不同的目标语言句子， 记为 将多语种预训练模型中的to ken平均用于表示 一个句子的语义表示向量， 表示 为： ci＝mean(Mber t(si)) 其中， Mbert()表示获取到一个句子的每一个token的嵌入向量， token表示一个词， mean表示对所有to ken取平均， ci、 与 分别表示句子si、 与 的语义表示向量； 在每一批数据中， 使用对比学习损失进行跨语种间的对齐， 表示 为： 其中， 表示ci与 的相似度， e表示自然常数， τ表示温度系数， i、 j均表示句 子的序号， N表示 一批数据中句子数量。 5.根据权利要求1所述的一种NER迁移学习的方法， 其特征在于， 所述通过跨越注意力 的方法， 将源语言训练语料的知识迁移到目标语言训练语料包括： 将源语言训练语料和目标语言训练语料中对应的句子串联， 并加入源语言训练语料中 相应句子对应的标签， 对所述多语种预训练模型进 行训练， 训练 时， 逐渐剔除源语 言训练语 料； 跨越注意力的方法的损失记为 lossmul_cros s。 6.根据权利要求1所述的一种NER迁移学习的方法， 其特征在于， 该方法还包括： 引入多 语种预训练模型自身的预训练任务目标的损失， 即掩码损失， 表示 为： lossLM＝LMMbert(P(wi|w1， ...， wi‑1， wi+1， ...， wn)) 其中， w表示一个词， 角标表示词的序号， n表示句子中的词数目； 所述掩码损失的定义 为： 句子中第i个词的预测需要考虑句子中其 余n‑1个词的权 重；权　利　要　求　书 1/2 页 2 CN 114169348 A 2训练总损失函数为： loss＝lossCE+lossmul_cros s+lossLM 其中， lossCE、 lossmul_cros s分别为对比学习的损失、 跨越注意力的方法的损失。 7.一种用于NER迁移学习的系统， 其特征在于， 用于实现权利要求1～6任一项所述的方 法， 该系统包括： 已标注的源语言训练语料 单元， 用于获取已标注的源语言训练语料； 翻译单元， 用于利用翻译模型将已标注的源语言训练语料翻译为目标语言训练语料； 模型训练单元， 用于将已标注的源语言训练语料与目标语言训练语料输入至多语种预 训练模型， 通过对比学习的方式进行源语言训练语料与目标语言训练语料之间对齐， 通过 跨越注意力的方法， 将源语言训练语料 的知识迁移到目标语言训练语料； 利用对比学习的 损失与跨越注意力的方法的损失构建损失函数对所述多语种预训练模型进行训练。 8.一种处理设备， 其特征在于， 包括： 一个或多个处理器； 存储器， 用于存储一个或多个 程序； 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现如权利要求1～6任一项所述的方法。 9.一种可读存储介质， 存储有计算机程序， 其特征在于， 当计算机程序被处理器执行时 实现如权利要求1～6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114169348 A 3