(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210848785.2 (22)申请日 2022.07.19 (71)申请人 中国民航大 学 地址 300000 天津市东 丽区津北公路2898 号 (72)发明人 冯小荣　赵新阳　冯兴杰　蒋逸凡　 (74)专利代理 机构 天津心知意达知识产权代理 事务所(普通 合伙) 12260 专利代理师 赵雪红 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 16/36(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于软参数共享的民航不安全事件联 合抽取方法 (57)摘要 本发明公开了一种基于软参数共享的民航 不安全事件 联合抽取方法， 主要对民航领域中非 结构化的不安全事件文本中的事件信息包括事 件触发词、 事件类型、 事件论元、 论元角色进行抽 取， 形成结构化的数据形式。 事件抽取包括两个 子任务分别是事件识别任务和论元角色分类任 务， 本发明构建了一个基于软参数共享的联合抽 取模型， 该模 型明确地分离了共享参数和任务特 定参数， 并通过双层门控网络增强模 型提取和筛 选语义知识的能力， 使模型能同时为两个任务学 习到合适的特征表示， 实现了更高效的信息共享 和联合表 示学习， 并解决两个任务由于任务差异 性导致共享同一编码层时无法同时受益的现象， 显著提高了事 件抽取的整体效果。 权利要求书2页 说明书8页 附图3页 CN 115114409 A 2022.09.27 CN 115114409 A 1.一种基于软参数共享的民航 不安全事件联合抽取 方法， 其特 征在于： 包括如下步骤： S1： 收集民航领域的不安全事件文本数据， 对这些数据进行预处理， 用于构建事件抽取 数据集， 数据集格式为处理为Json格式的数据文件， 并且按照8:1:1比例划分为训练集、 验 证集和测试集； S2： 对划分好的数据集中的每条Json格式的事件数据进行处理得到模型所需要的输入 格式和对应的标签数据； S3： 建立基于软参数共享的 民航不安全事件联合抽取模型， 包括嵌入层， 编码层， 解码 预测层； S4： 将处理好的输入模型的数据按照batchsize大小批量随机送入构建好的基于软参 数共享的民航不安全事件联合抽取模型中进行迭代训练， 并每训练一个epoch用验证集验 证模型的效果， 评测指标为准确率， 召回率和F1值， 若事件识别和论元角色分类F1值同时大 于上一轮训练的F1值时， 则保存模型， 并设置早停， 若迭代一定次数F1值都不在上升时， 则 停止训练， 保存 验证集上的最优 模型； S5： 将最终保存的最优模型作为目标模型， 将测试集样本批量送入目标模型中， 输出与 保存抽取的结果。 2.根据权利要求1所述的一种基于软参数共享的民航不安全事件联合抽取方法， 其特 征在于： 所述S1中， 具体包括 S11： 将收集到民航不安全事件文本按照预先定义好的事件类型， 对文本中包含这些事 件类型句子标注具体的事 件类型； S12： 根据对不同事 件类型定义 好事件框架对其中的论元角色和论元进行 标注； S13： 最终数据集格式为处理后的Json格式的数据文件， 并且按照8:1:1比例划 分为训 练集、 验证集和测试集； 数据集每条 处理后的数据包括原始事件句， 事件类型， 触发词， 触发 词起始位置索引， 论元， 论元起始位置索引， 论元角色类型。 3.根据权利要求1所述的一种基于软参数共享的民航不安全事件联合抽取方法， 其特 征在于： 所述S2中， 具体包括 S21： 分别将训练集， 验证集， 测试集处理为事件识别的tsv格 式文件和用于论元角色分 类的tsv格式文件； S22： 对tsv格式文件进行处理为预训练模型所需要 的输入格式和对应的标签数据。 得 到模型所需的输入数据的处理步骤包括： 对输入句子切分为字符级的序列， 并通过 tokenzier方法处理， 处理为包含input _ids， token_type_ids， attention_mask的输入数据 和处理后标签数据一 起送入模型。 4.根据权利要求1所述的一种基于软参数共享的民航不安全事件联合抽取方法， 其特 征在于： 所述S3中基于软参数共享的民航 不安全事件联合抽取模型的实现过程如下： S31： 将输入的事 件句通过嵌入层映射 为字级别的嵌入向量表示； S32： 将该向量表示分别输入到编码层中的共享网络， 私有网络， 门控网络中， 进行特征 提取与特 征融合， 得到 两个任务各自的特 征表示； S33： 分别输入到两个任务的解码预测层， 通过条件随机场(Conditional  Random  Field,CRF)进 行解码， 从所有可能的序列标签中选择出句子级别的全局最佳标签序列作为 最终输出。权　利　要　求　书 1/2 页 2 CN 115114409 A 25.根据权利要求4所述的一种基于软参数共享的民航不安全事件联合抽取方法， 其特 征在于： 所述S 3中， 嵌入层采用ChineseBERT作为预训练模 型用于获得输入序列的字符集的 嵌入向量表示， 通过ChineseBERT获取输入文本的字符向量表示， 作为编码层的特征输入； 通过ChineseBERT获取每 个事件句的字符向量表示， 作为编码层的特 征输入。 6.根据权利要求4所述的一种基于软参数共享的民航不安全事件联合抽取方法， 其特 征在于： 所述S3中， 编码层包括共享网络、 私有网络和门控网络， 并根据门控网络将编码层 分为共享网络层， 私有 ‑共享网络层； 共享网络由一组全连接网络作为其子网络构成， 将嵌 入层获取 的字符级的嵌入向量作为输入， 分别输入到每个子网络中， 用于获取两个任务的 共享知识， 两个任务的通过各自第一层的门控网络对这组共享网络学习到的知识进行筛选 然后作为各自任务学习到的共享知识， 私有层为两个任务独享的网络层， 分别将BiGRU网络 作为两个任务的私有网络， 提取到的特征向量表 示和第一层共享网络提取到的特征向量表 示通过第二层门控网络来进行有选择的特征融合， 最 终作为每个任务编码层的输出的特征 表示， 输出到下一层的解码预测层。 7.根据权利要求6所述的一种基于软参数共享的民航不安全事件联合抽取方法， 其特 征在于： 所述S 3中的门控网络是通过线性变化和softmax层来计算权重向量的加权函数， 基 于嵌入层的输入第一层学习共享网络每一个子网络输出特征的权重值， 第二层学习私有网 络输出特征和共享网络层的输出 特征的权重值。 8.根据权利要求4所述的一种基于软参数共享的民航不安全事件联合抽取方法， 其特 征在于： 所述S3中的解码预测层包括全连接网络和CRF网络， 两个任务均采用序列标注方 式， 在解码预测阶段， 采用Viterbi动态规划算法求解总得分最高的标签序列作为最优序 列。 9.根据权利要求1所述的一种基于软参数共享的民航不安全事件联合抽取方法， 其特 征在于： 所述S4中， 迭代训练过程采用动态加权的方式为两个任务在每一轮训练分配新的 损失权重， 该通过考虑损失的变化率来学习每个任务的权重值， 最后再将加权后的任务损 失相加作为总损失。 10.根据权利要求1所述的一种基于软参数共享的民航不安全事件联合抽取方法， 其特 征在于： 所述S5中， 具体包括 S51： 将测试集中的事件句批量输入到保存的最优模型中， 分别输出为事件识别任务预 测的最优序列和为 论元角色 分类预测的最优序列， 均为Jso n格式文件； S52： 将两个结果进行合并处 理得到包 含着完整的结构化形式的事 件知识文件。权　利　要　求　书 2/2 页 3 CN 115114409 A 3