(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210983826.9 (22)申请日 2022.08.17 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区(西区) 西源大道 2006号 (72)发明人 周帆　余柳　钟婷　徐增　匡平　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 李蜜 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) G06Q 30/02(2012.01) G06Q 50/00(2012.01) (54)发明名称 基于Transformer增强霍克斯过程的信息级 联预测系统及方法 (57)摘要 本发明公开了一种基于Tran sformer增强霍 克斯过程的信息级联预测系统及方法， 包括用户 嵌入模块、 全局依赖模块、 局部依 赖模块、 强度函 数获取模块和流行度预测模块， 首先获取用户 position ‑wise嵌入和时间编码作为用户嵌入， 然后以拓扑结构 的视角， 引入路径感知假设， 并 从全局嵌入和局部模式两个角度设计两层注意 力层， 参数化霍克斯过程的强度函数， 并结合霍 克斯过程、 全局嵌入和局部模式， 学习信息级联 扩散过程耦合的时间和拓扑随机特性， 以进行流 行度预测； 本发明扩展了传统的霍克斯过程， 并 有效地从连续时间域中获取知识， 提升流行度预 测准确性。 权利要求书3页 说明书16页 附图3页 CN 115409155 A 2022.11.29 CN 115409155 A 1.一种基于Transformer增强霍克斯过程的信息级联 预测系统， 其特 征在于， 包括： 用户嵌入模块， 用于获取用户position ‑wise嵌入和时间编码， 并以用户position ‑ wise嵌入和时间编码作为用户嵌入； 全局依赖模块， 用于对用户嵌入中每个用户节点， 区分所有前驱节点为主路径节点和 非主路径节点， 并获取主路径节点和非主路径节点的注意力概率矩阵， 进而获取每个节点 的全局依赖， 再 经全连接得到所有节点的全局嵌入； 局部依赖模块， 用于依据设定的时间片窗口， 获取每个节点的局部模式， 然后对每个节 点的局部模式进行池化操作得到每个节点的池化表示； 最后基于掩码注意力机制， 生成每 个节点局部模式的隐藏向量； 强度函数获取模块， 用于依据全局嵌入和局部模式隐藏向量来参数化霍克斯过程的强 度函数； 流行度预测模块， 用于结合霍克斯过程的积分， 以及全局嵌入和局部模式隐藏向量的 全连接处 理结果生成流行度预测结果。 2.根据权利要求1所述的基于Transformer增强霍克斯过程的信息级联预测系统， 其特 征在于， 所述用户嵌入 模块包括Positi on‑wise嵌入获取子模块和时间编码获取子模块； 所述Position ‑wise嵌入获取子模块， 包括共享矩阵U， 在一个级联中， 对于第j次转发 的用户uj， 让vj代表它在共享矩阵U上的one ‑hot索引向量， 那么用户uj的position ‑wise嵌 入就由Uvj索引得到， 其中V代表所有用户嵌入的one ‑hot索引集合； 所述Position ‑wise嵌 入获取子模块得到的用户Positi on‑wise嵌入为UV； 时间编码获取子模块利用时间编码z来表征序列位置， 定义如下： 其中 是时间编码， D是时间编码的维度， [z(tj)]i代表编码第i个维度的值， 是时间编码的集 合； 用户嵌入最终记为： X＝UV+Z。 3.根据权利要求1所述的基于Transformer增强霍克斯过程的信息级联预测系统， 其特 征在于， 所述全局依赖模块包括： 路径感知注意力层， 用于对用户嵌入中每个用户节点， 区分所有前驱节点为主路径节 点和非主路径节点， 并获取主路径节点和非主路径节点的长期依赖注意力 分数， 构建主路 径和非主路径的注意力概率矩阵； 再依据每个节点的主路径和非主路径的注意力概率矩 阵， 获取其全局依赖； 第一输出网络， 用于对每个节点的全局依赖进行全连接处理， 得到所有节点的全局嵌 入。 4.根据权利要求3所述的基于Transformer增强霍克斯过程的信息级联预测系统， 其特 征在于， 首先， 基于路径感知注意力层， 通过以下公式计算出当前节点分别在主路径、 非主 路径上的注意力分数： Pscore＝(WPX)T(WKX)⊙MP权　利　要　求　书 1/3 页 2 CN 115409155 A 2Nscore＝(WNX)T(WKX)⊙MN 其中MP， 分别用来保 留主路径和非主路径上节点的注意力分数的one ‑hot矩 阵， 如果 表示主路径节点集合， 则元素 相应的， 如果 表示 非主路径 节点集合， 最终， 主路径和非主路径的注意力概 率矩阵推导 为： 其中， D是输入嵌入的维数； 掩码矩阵 用来防止系统偷窥未来的数据， 如果i< j， Mi,j＝0， 否则Mi,j＝‑∞； 矩阵A中的每个列向量代表uj对其先驱节点 的注意力， 包括主路 径 和非主路径上的节点 然后， 通过用户全局依赖提取子模块得到每 个节点全局依赖的矩阵形式： E＝(WVX)A； 通过第一输出网络对E进行全连接， 得到所有 级联中节点的全局嵌入： h(tj)＝H(:,j) 其中， 是神经网络的参数； h(tj)是 中的第j列， 代 表用户uj的长期依赖表示。 5.根据权利要求1至4任一项所述的基于Transformer增强霍克斯过程的信息级联预测 系统， 其特 征在于， 所述局部依赖模块包括： 局部模式获取子模块， 用于依据设定的时间片窗口， 从全局依赖中截取位于每个节点 之前的部分， 得到每 个节点的局部模式； 池化子模块， 用于对每 个节点的局部模式进行池化操作得到每 个节点的池化表示； 掩码注意力层， 用于动态聚合每个节点和与其之前节点的局部模式池化表示， 生成每 个节点局部模式的隐藏向量。 6.根据权利要求5所述的基于Transformer增强霍克斯过程的信息级联预测系统， 其特 征在于， 利用掩码注意力层动态聚合当前时间tj之前所有的局部模式嵌入， 生成一个隐藏 向量来概括所有先 前模式的演化过程： g(·)是一个线性变换函数， γ＝{v(t0),v(t1),…,v(tj),…,v(tL)}是演化速率的局部 依赖的集 合； 相似函数f( ·,·)指定为： 7.根据权利要求6所述的基于Transformer增强霍克斯过程的信息级联预测系统， 其特 征在于， 强度函数获取模块使用以下 条件强度函数对级联扩散的连续动态进行建模： 其中， Θ代表模型的参数， 转发时间t定义在 区间[tj,tj+1)， 其中f(x)＝β lg(1+exp(x/权　利　要　求　书 2/3 页 3 CN 115409155 A 3