(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210666129.0 (22)申请日 2022.06.14 (71)申请人 厦门大学 地址 361000 福建省厦门市思明南路42 2号 (72)发明人 林元国　林凡　张志宏　张伟　 游环宇　柳蕴轩　陈鸿　 (74)专利代理 机构 厦门市精诚新创知识产权代 理有限公司 3 5218 专利代理师 赵薇 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/36(2019.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种慕课可解释推荐 方法、 终端设备及存储 介质 (57)摘要 本发明涉及一种慕课可解释 推荐方法、 终端 设备及存储介质， 该方法中包括： 根据学习者历 史选课记录中实体和实体之间的关系构建三元 组数据集； 基于三元组数据集构建知识图谱， 通 过TransE模型对知识图谱中的实体和关系进行 向量化表示， 其中， 分别通过粗粒度的课程表示 方法和细粒度的概念表示方法表示学习者和课 程； 构建基于自监督强化学习方法的学习路径推 理模型， 用于指导推荐智能体在知识图谱上从学 习者至目标课程的学习路径推理； 采用执行者 ‑ 评论家算法训练学习路径推理模 型； 通过训练后 的学习路径推理模型进行学习者至目标课程之 间的学习路径推理。 本发明不仅可以在知识图谱 中构建显性信息和隐性反馈， 而且还通过深度强 化学习进行慕 课可解释推荐。 权利要求书2页 说明书9页 附图2页 CN 115238169 A 2022.10.25 CN 115238169 A 1.一种慕课可解释推荐方法， 其特 征在于， 包括以下步骤： S1： 采集学习者的历史选课记录， 从历史选课记录中提取学习者、 课程、 课程概念和学 科分类作为实体， 并提取实体之间的关系， 基于实体和实体之间的关系构建三元组数据集； S2： 基于三元组数据集构建知识图谱， 通过TransE模型对知识图谱中的实体和关系进 行向量化表示， 其中， 将学习者的嵌入向量通过粗粒度的课程表示方法进 行表示， 将课程的 嵌入向量 通过细粒度的概念表示方法进行表示； S3： 构建基于自监督强化学习方法的学习路径推理模型， 用于指导推荐智能体在知识 图谱上从学习者至目标课程的学习路径推理； 学习路径推理模型包括执行者网络和路径判别器， 执行者网络首先生成路径， 然后路 径判别器将专家演示路径与生成的路径区分开来， 而 执行者网络试图通过模仿专家演示路 径来欺骗路径判别器； S4： 采用执行者 ‑评论家算法训练学习路径推理模型， 其中， 执行者网络根据评论家网 络的价值函数学习路径推理策略， 评论家网络利用时序差分方法来单步更新 价值函数； S5： 通过训练后的学习路径推理模型进行 学习者至目标课程之间的学习路径推理。 2.根据权利要求1所述的慕课可解释推荐方法， 其特征在于： 将学习者的嵌入向量通过 粗粒度的课程表示方法进行表示的方法为： 对学习者u的历史选课记录按时间顺序进行排 序后， 将学习者的嵌入向量表示为： 其中， 表示学习者u在t时刻选 修的课程， 1, …,t,…,tu表示从远至 近的时刻。 3.根据权利要求1所述的慕课可解释推荐方法， 其特征在于： 将课程的嵌入向量通过细 粒度的概念表示方法进行表示的方法为： 将课程的嵌入向量表示 为ct： ct＝{(k,w)| （ki,wj),n＞i＞0,j＞0} 其中， n表示课程包含的课程概念的数量， i表示课程概念的序号， j表示课程概念包含 的词的序号， ki表示课程的第i个课程概念的嵌入向量， wj表示嵌入向量ki中第j个词的嵌入 向量， k表示课程中所有概念的嵌入向量， w表示课程中所有词的嵌入向量。 4.根据权利要求1所述的慕课可解释推荐方法， 其特征在于： 步骤S3中将路径推理问题 表述为马尔科夫决策过程， 智能体通过在知识图谱上执行多跳路径推理来为学习者推荐 学 习者至目标课程的学习路径； 在马尔科夫决策过程中设定初始状态为s0＝， t时刻的状态为 根据状态st， 智能体按照策略执行相关动作 来预测实体et可行的输出边， 动作空间 其中ε表示实体集合， 表 示一个知识图谱； 通过终端收益Re,T衡量智能体是否生 成了一条从学习者u开始并以目标课 程 结束的多跳路径； 其中， u表示学习者， r表示关系， e表示实体， rt表示t时刻的关系向 量， et表示t时刻的实体向量， t＝{1,2, …,t‑1,t,t+1}， 表示收益 函数。 5.根据权利要求1所述的慕课可解释推荐方法， 其特征在于： 在马尔科夫 决策过程中通 过加权动作路径来保留有潜力的输出边， 路径中每条边的权 重设定为： 权　利　要　求　书 1/2 页 2 CN 115238169 A 2其中， 表示相对于三元组 的路径权重,V表示头部实体的向量 et与头部实体et与尾部实体 之间关系rt的关系向量rt之和， 表示尾部实体的向量 ‖. ‖表示L1范数。 6.根据权利要求1所述的慕课可解释推荐方法， 其特征在于： 专家演示路径的获取方法 为： 针对所有的学习者u和目标课程 基于加权动作 路径， 使用Dijkstra算法在加权图上 生成学习者u和目标课程 之间的最短路径， 得到一系列演示路径 从演示路径 中随机采样得到专 家演示路径。 7.根据权利要求1所述的慕课可解释推荐方法， 其特征在于： 路径判别器Dp(st,at)表示 关于状态st在t时刻的动作at， 具体定义 为： 其中， 为中间变量， 表示状态st的嵌入向量， 是在判别器Dp中动 作ap,t的嵌入向量， tanh( ·)表示双曲正切函数， σ( ·)表示logistic  sigmoid函数， 和 均为被学习的参数， da表示执行者网络中动作嵌入的维 度， ds表示状态嵌入的维度， dd表示路径判别器中动作嵌入的维度。 8.一种慕课可解释推荐终端设备， 其特征在于： 包括处理器、 存储器以及存储在所述存 储器中并在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权 利要求1～7中任一所述方法的步骤。 9.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于： 所述计算机程序被处 理器执行时实现如权利要求1～7中任一所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115238169 A 3