(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211265171.8 (22)申请日 2022.10.17 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市江北新区宁六 路219号 (72)发明人 李涛　李亚梅　姜琛　谈钱辉　 朱亚楠　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 颜盈静 (51)Int.Cl. H04L 41/142(2022.01) G06F 17/18(2006.01) G06F 17/16(2006.01) (54)发明名称 一种多联盟非合作博弈的多智能体状态控 制方法 (57)摘要 本发明涉及了一种多联盟非合作博弈的多 智能体状态控制方法， 构建多智能体系统的多 联 盟非合作博弈模 型， 仅在动态事件触发条件被触 发时， 输出联盟的伪梯度之和估计和所有联盟的 状态信息估计； 根据每个联盟的伪梯度之和估计 和所有联盟的状态信息估计， 采用广义纳什均衡 寻求策略， 寻找得到联盟内所有智能体的广义纳 什均衡， 完成基于动态事件触发的分布式多 联盟 非合作博弈； 本发明能够实现具有耦合约束的联 盟间存在博弈时寻找到系统的广义纳什均衡， 并 设置了动态事件触发机制， 使智能体和联盟只允 许在满足触发条件时与邻居交换信息， 从而降低 通信频率， 减轻了系统的计算成本 。 权利要求书5页 说明书19页 附图5页 CN 115333956 A 2022.11.11 CN 115333956 A 1.一种多联盟非合作博 弈的多智能体 状态控制方法， 其特 征在于： 包括以下步骤： 步骤1： 构建由多个联盟组成的多联盟非合作博弈模型； 多个联盟之间存在等式耦合约 束； 所述等式耦合约束表示 为： 所有联盟的决策变量之和等于期望目标值； 在每个所述联盟内部均设有多个智能体， 并指定其中一个智能体作为通讯智能体， 用 于与邻居联盟通信； 在每个所述智能体内部设置有动态事 件触发条件； 当任意一智能体的动态事件触发条件被满足时， 对于任意一联盟内部， 各智能体之间 的通信关系被触发， 以此来 获取触发时刻邻居智能体对其所在联盟内其他智能体的伪 梯度 之和的估计， 和向邻居智能体传递触发时刻自身对其所在联盟内其他智能体的伪 梯度之和 的估计； 所述邻居智能体对其所在联盟内其他智能体的伪 梯度之和的估计为邻居智能体的 代价函数对其所在联盟内其他智能体的决策变量的估计求偏导后进行求和得到； 同时各联 盟之间的通信关系被触发， 通过联盟中的通讯智能体来 获取触发时刻邻居联盟对多联盟非 合作博弈模型中其他联盟的决策变量的估计和触发时刻邻居联盟对多联盟非合作博弈模 型中其他联盟的等式耦合约束相应的全局拉格朗日乘子的估计， 以及联盟中的通讯智能体 向邻居联盟传递触发时刻自身对多联盟非合作博弈模型中其他联盟的决策变量的估计和 触发时刻自身对多联盟非合作博弈模型中其他联盟的等式耦合约束相 应的全局拉格朗日 乘子的估计； 采用通信拓扑有向图 来表示各联盟之间的通信关系， 其中 表示 个联盟组成的集合； 为边集合， 表示联盟之间的通信链路； 是 权重邻接矩阵， 表示两个联盟构成的边的权 重； 当没有智能体的动态事件触发条件被满足时， 对于任意一智能体， 根据上一触发时刻 得到的邻居智能体对其所在联盟内其他智能体的伪梯度之和的估计更新自身对所在联盟 内其他智能体的伪梯度之和的估计； 对于任意一联盟， 根据上一触发时刻得到的邻居联盟 对多联盟非合作博弈模型中其他联盟的决策变量的估计更新自身对多联盟非合作博弈模 型中其他联盟的决策变量的估计， 以及上一触发时刻得到的邻居联盟对多联盟非合作博弈 模型中其他联盟的等式耦合约束相 应的全局拉格朗日乘子的估计更新自身对多联盟非合 作博弈模型中其 他联盟的等式耦合约束相应的全局拉格朗日乘子的估计； 步骤2： 判断多联盟非合作博弈模型中是否存在动态事件触发条件被满足的联盟， 若存 在， 则在动态事件触发条件被满足的联盟内部， 各智能体间的通信关系被触发， 利用获取到 的当前触发时刻邻居智能体对其所在联盟内其他智能体的伪梯度之和的估计， 得到所在联 盟的伪梯度之和的估计； 同时， 各联盟之间的通信关系被触发， 利用获取到的当前触发时刻 邻居联盟对其他联盟的决策变量的估计、 当前触发时刻邻居联盟对其他联盟的等式耦合约 束相应的全局拉格朗日乘子的估计和每个联盟的伪 梯度之和的估计， 得到自身对其他联盟 的决策变量的估计和自身对其他联盟的等式耦合约束相应的全局拉格朗日乘子的估计， 转 入步骤3； 若不存在， 则各智能体更新自身对所在联盟内其他智能体的伪梯度之和进行估计， 各 联盟更新自身对其他联盟的决策变量进行估计和对其他联盟的等式耦合约束相 应的全局权　利　要　求　书 1/5 页 2 CN 115333956 A 2拉格朗日乘子进行估计， 并重新执 行步骤2； 步骤3： 根据步骤2得到的所在联盟的伪梯度之和的估计、 自身对其他联盟的决策变量 的估计和自身对其他联盟的等式耦合约束相应的全局拉格朗日乘子的估计， 用广义纳什均 衡寻求策略， 寻找得到所有智能体的广义纳什均衡解； 步骤4： 依据所有智能体的广义纳什均衡解， 控制各智能体。 2.根据权利要求1所述的一种多联盟非合作博弈的多智能体状态控制方法， 其特征在 于： 所述的内部的各智能体之间的通信关系， 包括： 采用通信子图 来表示联盟 中智能体 与其它智能体之间的通信； ， 表示联盟 中智能体的个数， 表示联盟 中的智能体集 合。 3.根据权利要求2所述的一种多联盟非合作博弈的多智能体状态控制方法， 其特征在 于： 所述的通信子图 按照以下步骤生成： 采用通信拓扑 无向图 表示联盟 内部智能体之间的通信关系， ， 表示 个联盟组成的集 合； 引入干扰图 来描述联盟 内部各智能体之间的交 互； 获取在干扰图 中不是智能体 的邻居的节点， 记为该类节点； 从通信拓扑无向图 中删除该类节点， 保留其余节点及其边， 生成联盟 中智能体 的通信子图 。 4.根据权利要求3所述的一种多联盟非合作博弈的多智能体状态控制方法， 其特征在 于： 所述的利用获取到的当前触发时刻邻居智能体对其所在联盟内其他智能体的伪梯度之 和的估计， 得到多联盟非合作博 弈模型中每 个联盟的伪梯度之和的估计， 包括： 每个联盟内部均执 行以下操作步骤为： 采用下式示出的估计算法， 使用获取到的当前触发时刻邻居智能体对其所在联盟 内其 他智能体的伪梯度之和的估计， 对其所在联盟的伪梯度之和进行估计：               （5）                （6） 式中： 表示联盟 中智能体 对智能体 的伪梯度之和的估计； 表示联盟 中智能体 对智能体 的第二辅助变量； 表示联盟 中智能体 的通信子图中的邻居个数；权　利　要　求　书 2/5 页 3 CN 115333956 A 3