(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210885006.6 (22)申请日 2022.07.26 (71)申请人 华南师范大学 地址 528225 广东省佛山市南海区狮山 南 海软件园华 南师范大学软件学院 申请人 广东农工商职业 技术学院 (72)发明人 曾碧卿　丁明浩　邓会敏　蔡剑　 李砚龙　 (74)专利代理 机构 广州骏思知识产权代理有限 公司 44425 专利代理师 吴静芝 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/36(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种对话回复生成方法及一种对话回复生 成模型 (57)摘要 本发明涉及一种对话回复生成方法， 其包括 步骤： S11： 根据外部知识构建知识图谱； S12： 对 知识图谱进行编码获得保留时间维度特征的知 识表征向量； S13： 对对话历史进行编码获得对话 历史隐藏状态向量； S21： 根据对话历史隐藏状态 向量和上一时刻 的生成词解码得到当前时刻 的 对话回复隐藏状态向量； S22： 根据该对话回复隐 藏状态向量计算 当前时刻的词表生成概率； S31： 计算该对话回复隐藏状态向量对知识表征向量 的注意力权重； S32： 根据该注意力权重计算 当前 时刻的知识选择概率； S40： 根据知识表征向量、 该注意力权重和该对话回复隐藏状态向量计算 当前时刻的生成指针； S50： 利用该生成指针平衡 知识选择概率和词表生成概率， 获得当前时刻的 最终生成概 率。 权利要求书2页 说明书12页 附图3页 CN 115357694 A 2022.11.18 CN 115357694 A 1.一种对话回复生成方法， 其特 征在于， 包括 步骤： S11： 根据外 部知识构建知识图谱； S12： 对所述知识图谱进行编码， 获得保留时间维度特 征的知识 表征向量； S13： 对对话历史进行编码， 获得对话历史隐藏状态向量； 其中， 步骤S13与步骤S11或步 骤S12同时执 行， 或者， 步骤S13在步骤S1 1之前或步骤S12之后执 行； S21： 根据所述对话历史隐藏状态向量和上一时刻的生成词解码得到当前时刻的对话 回复隐藏状态向量； S22： 根据当前时刻的所述对话回复隐藏状态向量计算当前时刻的词表生成概 率； S31： 计算当前时刻的所述对话回复隐藏状态向量对所述知识表征向量的注意力权重； 其中， 步骤S31在步骤S21后执 行； S32： 根据当前时刻的所述注意力权 重计算当前时刻的知识选择概 率； S40： 根据 所述知识表征向量、 当前时刻的所述注意力 权重和当前时刻的所述对话 回复 隐藏状态向量计算当前时刻的生成指针； 其中， 步骤S40在步骤S31之后执 行； S50： 利用当前时刻的所述生成指针平衡当前时刻的所述知识选择概率和当前时刻的 所述词表生成概 率， 获得当前时刻的最终生成概 率。 2.根据权利要求1所述的对话回复生成方法， 其特 征在于， 步骤S12具体为： 对所述知识图谱进行词嵌入， 获得节点嵌入向量和关系嵌入向量； 通过序列图嵌入机 制对所述节点嵌入向量进行编码， 获得保留时间维度特征 的节点集隐藏状态向量， 以及通 过双向门控循环单元对所述关系嵌入向量进行编码， 获得边集隐藏状态向量， 然后将所述 节点集隐藏状态向量和所述 边集隐藏状态向量进行拼接， 获得 所述知识 表征向量。 3.根据权利要求2所述的对话回复生成方法， 其特 征在于： 所述序列图嵌入机制执 行步骤： S121： 通过循环神经网络由所述节点嵌入向量计算得到节点中间向量， 然后根据所述 节点中间向量计算得到节点隐藏状态向量； S122： 判断所述节点隐藏状态向量的计算次数是否达到预设循环次数， 若否， 将所述节 点隐藏状态向量作为所述节点嵌入向量， 返回步骤S21， 若是， 将所有节点的节点隐藏状态 向量组成所述节点集隐藏状态向量并输出； 其中， 所述预设循环次数设为op， 且op为正整 数。 4.根据权利要求3所述的对话回复生成方法， 其特 征在于， 步骤S13具体为： 通过双向门控循环单 元对所述对话历史进行编码， 获得 所述对话历史隐藏状态向量。 5.根据权利要求 4所述的对话回复生成方法， 其特 征在于， 步骤S21具体为： 利用门控循环单元， 根据所述对话历史隐藏状态向量和上一 时刻的所述生成词 进行解 码， 获得当前时刻的所述对话回复隐藏状态向量。 6.根据权利要求5所述的对话回复生成方法， 其特 征在于， 步骤S40具体为： 根据当前时刻的所述注意力 权重计算当前时刻的注意力加权求和向量， 将当前时刻的 所述对话回复隐藏状态向量和当前时刻的所述注意力加权求和向量进行拼接， 然后通过 sigmoid激活函数计算得到当前时刻的所述 生成指针。 7.根据权利要求6所述的对话回复生成方法， 其特 征在于， 还 包括步骤： S60： 选择当前时刻的所述 最终生成概 率中概率值最大的词作为当前时刻的生成词；权　利　要　求　书 1/2 页 2 CN 115357694 A 2S70： 判断当前时刻的所述生成词是否为结束符， 若是， 执行步骤S80， 若否， 执行步骤 S21； S80： 将所有时刻的生成词组成一文本序列 作为对话回复 并输出。 8.根据权利要求1～7任一条所述的对话回复生成方法， 其特征在于， 还包括参数优化 步骤： S91： 初始化步骤S11～S50的网络参数， 将训练集中的样本随机分为多个批次， 按批次 对所述训练集的样本执行步骤S11～S 50来优化所述网络参数， 并采用总损失函数进 行损失 计算， 所述总损失函数的表达式为： Loss＝LossNLL+LossKL    (20) 式中， Loss为所述总损失函数， LossNLL为负对数似然损失函数， LossKL为相对熵损失函 数； S92： 每次迭代后， 对测试集的样本执行步骤S11～S50来进行性能测试， 重复多个迭代 直至性能不再提升 。 9.一种对话回复生成模型， 其特 征在于， 包括： 构图模块， 根据外 部知识构建知识图谱； 知识图谱编码模块， 根据知识图谱编码得到保留时间维度特 征的知识 表征向量； 对话历史编码模块， 根据对话历史编码得到对话历史隐藏状态向量； 对话回复解码模块， 根据所述对话历史隐藏状态向量和上一 时刻的生成词计算当前时 刻的对话回复隐藏状态向量； 词表生成概率计算模块， 根据当前时刻的所述对话 回复隐藏状态向量计算当前时刻的 词表生成概 率； 注意力机制模块， 计算当前时刻的对话 回复隐藏状态向量对所述知识表征向量的注意 力权重； 知识选择概率计算模块， 根据当前时刻的所述注意力 权重计算当前时刻的知识选择概 率； 生成指针计算模块， 根据所述知识表征向量、 当前时刻的所述注意力权重和当前时刻 的所述对话回复隐藏状态向量计算当前时刻的生成指针； 最终生成概率计算模块， 利用当前时刻的所述生成指针平衡当前时刻的所述知识选择 概率和当前时刻的所述词表生成概 率， 获得当前时刻的最终生成概 率。 10.根据权利要求9所述的对话回复生成模型， 其特征在于， 所述知识图谱编码模块还 包括： 词嵌入单 元， 对所述知识图谱进行词嵌入， 获得节点嵌入向量和关系嵌入向量； 节点集编码单元， 采用序列图嵌入机制对所述节点嵌入向量进行编码， 获得保留时间 维度特征的节点 集隐藏状态向量； 边集编码单元， 通过双 向门控循环单元对所述关系嵌入向量进行编码， 获得边集 隐藏 状态向量； 知识表征单元， 将所述节点集 隐藏状态向量和所述边集 隐藏状态向量进行拼接， 获得 知识表征向量。权　利　要　求　书 2/2 页 3 CN 115357694 A 3