(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210883003.9 (22)申请日 2022.07.26 (71)申请人 上海航空工业(集团)有限公司 地址 200232 上海市徐汇区云锦路5号 申请人 商飞软件 有限公司 (72)发明人 陆赟韬　韩超　吴娜　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 刘凤 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/295(2020.01) G06F 40/242(2020.01) G06F 40/289(2020.01) G06F 40/117(2020.01)G06F 40/216(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种模型训练的方法、 装置、 电子设备及存 储介质 (57)摘要 本申请提供了一种模型训练的方法、 装置、 电子设备及存储介质， 该方法包括： 通过预设的 实体字典对初始训练数据进行标注， 得到第一已 标注数据和第一未标注数据； 将第一未标注数据 输入到第一语 言模型中， 得到第一语 言模型输出 的第二已标注数据和第二已标注数据对应的置 信度； 根据第二已标注数据对应的置信度， 根据 置信度从第二已标注数据中， 选出目标第二已标 注数据； 使用第一已标注数据和目标第二已标注 数据对第一语 言模型再次进行训练， 得到第二语 言模型。 本申请提高了数据标注的效率； 使用第 一语言模型对第一未标注数据进行再次标注， 使 用第一已标注数据和目标第二已标注数据对第 一语言模型进行训练， 提高了第二语 言模型处理 数据的精度。 权利要求书2页 说明书10页 附图3页 CN 115238093 A 2022.10.25 CN 115238093 A 1.一种模型训练的方法， 其特 征在于， 所述方法包括： 通过预设的实体字典对初始训练数据进行标注， 得到第 一已标注数据和第 一未标注数 据； 将所述第一未标注数据输入到通过第 一已标注数据进行训练的第 一语言模型中， 得到 所述第一语言模型输出的第二已标注数据和所述第二已标注数据对应的置信度； 根据所述第二已标注数据对应的置信度， 从所述第二已标注数据中， 选出置信度大于 预设置信度阈值的目标第二已标注数据； 使用所述第一已标注数据和所述目标第二已标注数据对所述第一语言模型再次进行 训练， 得到训练后的第二语言模型， 所述第二语言模型用于对待处 理数据进行处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述方法还包括： 将所述第一未标注数据 输入到通过第一已标注数据进 行训练的第一语言模型中， 得到所述第一语言模型输出的第 二未标注数据； 若所述第二语言模型不满足预设的训练要求， 将所述第 二未标注数据输入到第 二语言 模型中， 得到所述第二语言模型输出的第四已标注数据和所述第四已标注数据对应的置信 度； 根据所述第四 已标注数据对应的置信度， 从所述第 四已标注数据中， 选出置信度大于 预设置信度阈值的目标第四已标注数据； 使用所述第 一已标注数据、 所述目标第 二已标注数据和所述目标第四已标注数据对所 述第二语言模型再次进行训练， 得到训练后的第三语言模型， 所述第二语言模型用于对待 处理数据进行处 理。 3.根据权利要求1所述的方法， 其特 征在于， 所述第一语言模型通过以下 方式得到： 使用通用训练数据对基础语言模型进行训练， 得到训练后的初始语言模型； 使用与待处理数据相同领域的专用训练数据对初始语言模型再次进行随机掩码训练、 关键词掩码预测训练、 专业术语掩码预测训练和上下句预测训练， 得到训练后的第一语言 模型。 4.根据权利要求1所述的方法， 其特征在于， 所述通过预设的实体字典对初始训练数据 进行标注， 得到第一已标注数据和第一未 标注数据， 包括： 根据对所述待处理数据的处理需求， 选取能够满足所述处理需求的实体， 构建所述实 体字典； 对所述初始训练数据进行分词处 理， 得到该初始训练数据包 含的多个分词； 通过所述初始训练数据包含的多个分词与 所述实体字典包含的实体进行对比， 对所述 初始训练数据进行 标注。 5.根据权利要求4所述的方法， 其特征在于， 所述通过所述初始训练数据包含的多个分 词与所述实体字典包 含的实体进行对比， 对所述初始训练数据进行 标注， 包括： 通过所述初始训练数据包含的多个分词与 所述实体字典包含的实体进行对比， 得到所 述分词与所述实体的相似度； 若所述分词与 所述实体的相似度大于等于预设相似度阈值， 对包含该分词的初始训练 数据进行 标注。 6.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/2 页 2 CN 115238093 A 2将所述待处理数据输入到所述第 二语言模型中， 得到所述第 二语言模型输出的处理结 果； 根据所述处 理结果构建 关于所述待处 理数据的知识图谱。 7.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 若所述第三语言模型不满足预设的训练要求， 根据 所述第二语言模型输出的第四未标 注数据， 再次对所述第三语言模型进行训练， 直至所述第三语言模型满足预设的训练要求。 8.一种模型训练的装置， 其特 征在于， 所述装置包括： 标注模块， 用于通过预设的实体字典对初始训练数据进行标注， 得到第一已标注数据 和第一未 标注数据； 第一训练模块， 用于将所述第 一未标注数据输入到通过第 一已标注数据进行训练的第 一语言模型中， 得到所述第一语言模型输出的第二已标注数据和所述第二已标注数据对应 的置信度； 筛选模块， 用于根据 所述第二已标注数据对应的置信度， 从所述第二已标注数据中， 选 出置信度大于预设置信度阈值的目标第二已标注数据； 第二训练模块， 用于使用所述第 一已标注数据和所述目标第 二已标注数据对所述第 一 语言模型再次进行训练， 得到训练后的第二语言模型， 所述第二语言模型用于对待处理数 据进行处 理。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述处 理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过总线 通信， 所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的模型训练的 方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处理器运行时执行如权利要求1至7任一所述的模型训练的方法的步 骤。权　利　要　求　书 2/2 页 3 CN 115238093 A 3