(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111502028.1 (22)申请日 2021.12.09 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 邓贤君　夏云芝　易灵芝　杨天若　 朱晨露　杨静　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 代理人 向彬 (51)Int.Cl. G06F 21/57(2013.01) G06N 20/00(2019.01) (54)发明名称 一种基于强化学习的物联网覆盖漏洞修复 方法 (57)摘要 本发明公开了一种基于强化学习的物联网 覆盖漏洞修复方法： (1)根据目标区域监测覆盖 需求， 建立网络模型； (2)通过可信信息覆 盖模型 建立网络覆 盖模型， 计算覆盖率； (3)采用漏洞重 建点与可移动节点最小最短坐标距离双向选择 法确定漏洞区域的指向性修复节点； (4)采用Q ‑ Learning方法， 对指向性修复节点M ‑node进行训 练， 对漏洞子网格进行修复， 直到覆盖率满足要 求或迭代次数达到设定上限。 本发 明方法修复后 全局覆盖率高， 该发明全面地 从信息协同的角度 挖掘覆盖目标区域监测重建点的空间相关性， 并 基于强化学习的方法利用奖励机制指导指向性 修复节点的移动， 完成覆盖漏洞修复， 节约能耗 和修复时长， 提高覆盖率。 权利要求书4页 说明书10页 附图6页 CN 114168971 A 2022.03.11 CN 114168971 A 1.一种基于强化学习的物联网覆盖漏洞修复方法， 其特 征在于， 包括以下步骤： (1)根据目标区域 监测覆盖需求， 建立网络模型； (1.1)根据检测目标的空间相关性， 设定变程和估计均方根误差阈值， 并对目标覆盖区 域按照变程进行区域子网格划分； (1.2)根据传感器节点分布， 记录传感器节点编号i， 根据划分的覆盖子 网格， 以子网格 中心点为重建点， 表示 为p； (2)通过可信信息覆盖模型建立网络覆盖模型， 计算覆盖率； (3)采用漏洞重建点与可移动节点最小最短坐标距离双向选择法确定漏洞区域的指向 性修复节点； (4)采用Q ‑Learning方法， 对指向性修复节点M ‑node进行训练， 对漏洞子网格进行修 复， 直到覆盖率满足要求或迭代次数达 到设定上限。 2.如权利要求1所述的基于强化学习的物联网覆盖漏洞修复方法， 其特征在于， 所述步 骤(2)具体包括如下子步骤： (2.1)在可信信息覆盖模型中， 对于未被采样的空间点， 采用普通克里金插值函数来计 算重建点环境变量的估计值， 即采用重建邻域Z(p)内 的传感器节点τi的测量值的加权平均 来计算环境变量估计值； 邻域内传感器节点的插值权重系数λi满足 n为重建邻域 Z(p)内的传感器节点 τi的数量； (2.2)结合普通克里金插值函数计算重建点p的均方根误差Φ(p)， 计算表达式为： 其中 和μ(p)通过步骤(2.1.1)和 (2.1.2)求 解； (2.3)根据可信信息覆盖模型的定义， 若Φ(p)＞ε0， 即均方根误差大于设定的覆盖阈 值， 则该子网格被覆盖， 否则未被覆盖； 记录被覆盖的重建点编号j'， 均方根误差小于阈值 ε0的漏洞重建点编号 为j”； (2.4)计算目标区域的覆盖率。 3.如权利要求2所述的基于强化学习的物联网覆盖漏洞修复方法， 其特征在于， 所述步 骤(2.4)中覆盖率的计算公式如下： 其中， S为覆盖区域的总面积， j'为被覆盖的重建点编号， Sj'为被覆盖的重建点j'所在 子网格面积， m为被覆盖 重建点的总数。 4.如权利要求2或3所述的基于强化学习的物联网覆盖漏洞修复方法， 其特征在于， 所 述步骤(2.1)包括如下子步骤： (2.1.1)插值权重系数λi通过最小克里金方差得到一组最优解； 引入拉格朗日乘数器 μ (p)产生带有n+1个未知数的n+1个方程组组成的线性克里金系统， 求解后得到插值权重系权　利　要　求　书 1/4 页 2 CN 114168971 A 2数 λi； 其中， γ( τi, τj)和γ( τi,p)通过变差函数计算得到； (2.1.2)计算步骤(2.1.1)中 的γ( τi, τj)和γ( τi,p)； 选用高斯变差函数为环境变量的 变差函数， 用于描述传感器节点 τi采集数据之间的空间相关性； 高斯变差函数的公式为： 其中， dτp为传感器节点τi和重建点p的欧氏距离， 为传感器节点τi和τj的欧氏距 离， C0和C是常数。 5.如权利要求1或2所述的基于强化学习的物联网覆盖漏洞修复方法， 其特征在于， 所 述步骤(3)具体包括如下子步骤： (3.1)从未损坏的传感器节点中选择固定节点和可移动节点； 为已覆盖子网格选择固 定节点， 固定节点将不再移动， 以保障已覆盖子网格的覆盖； 计算每个已覆盖子网格重 建点 变程范围内的传感器节点与重 建点的欧氏距离， 选择一个离覆盖重 建点欧氏距离最小的传 感器节点为该覆盖网格的固定节点， 记为F ‑node， 其他传感器节点为可移动节点， 记为R ‑ node； (3.2)为每 个漏洞重建点确定指向性 修复节点。 6.如权利要求5所述的基于强化学习的物联网覆盖漏洞修复方法， 其特征在于， 所述步 骤(3.2)具体包括如下子步骤： (3.2.1)计算R ‑node到漏洞重建点j ”的最短坐标距离； 根据最短坐标距离， 为每个漏洞 重建点j”从R‑node中选择一个意向修复节点； (3.2.2)若一个R ‑node只被一个漏洞重建点选择作为意向修复节点， 则建立双向选择， 该意向修复节 点即为对应漏洞重 建点的指向性修复节点； 若同一个R ‑node被多个漏洞重 建 点选择作为意向修复节点， 则该意向修复节点将选择距其最小的最短坐标距离的漏洞重建 点作为目标修复重建点， 该意向修复节点为其所选的目标修复重建点的指向性修复节点；权　利　要　求　书 2/4 页 3 CN 114168971 A 3