(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210917631.4 (22)申请日 2022.08.01 (71)申请人 南昌大学 地址 330000 江西省南昌市红谷滩新区学 府大道999号 (72)发明人 邱志斌　周志彪　李俊轩　童志鹏　 吴睿文　张润　余沿臻　朱轩　 (74)专利代理 机构 南昌金轩知识产权代理有限 公司 36129 专利代理师 夏军 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/40(2022.01)G06V 10/80(2022.01) G06T 7/136(2017.01) G06T 5/30(2006.01) G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/00(2012.01) G06Q 50/06(2012.01) (54)发明名称 一种基于多网络特征融合的输电线路悬挂 异物检测方法 (57)摘要 本发明公开了一种基于多网络特征融合的 输电线路悬挂异物检测方法， 首先构建输电线路 悬挂异物图像数据集； 其次对输电线路悬挂异物 图像融合特征提取； 再构建与训练基于贝叶斯优 化的随机森 林输电线路悬挂异物分类识别模型； 输电线路悬挂异物分类识别： 利用测试集的融合 特征X对随机森林分类模型中M棵CART决策树进 行测试， 得到预测类别{C1(X)、 C2(X)、 Cm(X)}； 对 于测试得到的分类结果进行投票， 选择在M棵 CART决策树分类结果中出现频率最高的作为最 终的分类结果； 本发明具有较好的检测精度和检 测速度， 且更有利于实际应用， 可为电网运维人 员开展输电线路悬挂异 物清障工作提供参 考。 权利要求书2页 说明书5页 附图2页 CN 115359286 A 2022.11.18 CN 115359286 A 1.一种基于多网络特征融合的输电线路悬挂异物检测方法， 其特征在于， 包括如下步 骤： S1、 构建输电线路悬挂异物图像数据集： 针对电网人工巡检与无人机巡检拍摄的输电 线路悬挂异物图像， 采用Otus最大类间方差阈值分割法与形态学方法提取异物目标区域， 运用泊松融合算法将输电线路真实背 景与异物目标区域进 行融合， 生成虚拟的异物图像扩 充图像样本， 构建包含N种输电线路悬挂异物图像数据集， 并按照一定的比例划分为训练集 与测试集； S2、 输电线路悬挂异物图像融合特征提取： 搭建GoogLeNet、 DarkNet ‑53、 VGG‑19、 ResNet‑50、 Xception卷积神经网络模型， 采用大规模数据集MS  COCO进行预训练， 对预训练 的5个网络模型结构进 行微调， 并利用扩充后的异物图像训练集重新训练微调后的5个网络 模型； 利用重新训练好的5个网络模型分别对输电线路悬挂异物图像数据集进行特征提取， 采用特征可视化Grad ‑CAM++算法生 成每个网络模 型特征提取层 对应的类激活热力图， 获得 每个特征层的决策区域， 据此挑选出每个网络模型 的最佳特征提取层； 并对最佳特征提取 层的决策区域进行分析， 挑取具有互补性的特征进行级联融合， 获得最佳的异物图像融合 特征； S3、 构建与训练基于贝叶斯优化的随机森林输电线路悬挂异物分类识别模型： 采用 Bootstrap重采样的方法对训练集的融合特征Z进行M次 随机有放回的采样， 生 成M个样本集 用于训练M棵CART决策树， 同时控制每个样 本集的样 本数量相同； 定义训练集的融合特征变 量为S， 随机地在S 个特征变量里面选择s个特征变量组成该节点的分裂特征变量子集， 根据 基尼系数选择最优分裂特征变量和最优分裂值， 生成包含M棵CART决策树的随机森林分类 模型， 同时使用贝叶斯优化随机森林的超参数， 通过5倍交叉验证对模型进行训练， 以平均 均方根误差(RMSE)作为控制函数， 寻找最优 超参数： 式中： n为样本数目； yi为第i个样本的真实值； 为第ith个样本的预测值； S4、 输电线路悬挂异物分类识别： 利用测试集的融合特征X对随机森林分类模型中M棵 CART决策树进行测试， 得到预测类别 {C1(X)、 C2(X)、…、 Cm(X)}； 对于测试得到的分类结果进 行投票， 选择在M棵CART决策树分类结果中出现频率 最高的作为 最终的分类结果： 式中： fRF(x)为分类结果， fl(x)为第l棵CART决策树对样本x的分类结果， M为CART决策 树的数量， c为异 物分类类别数， i 为c类中的某一类， I( ·)代表分类结果 为i时的情况。 2.根据权利要求1所述的一种基于多网络特征融合的输电线路悬挂异物检测方法， 其 特征在于， 步骤S1中， 结合泊松 融合和Otsu最大类间方差阈值分割法与形态学方法对异物 图像进行扩充： 将输入大小为W ×H的异物图像进行灰度化， 并将灰度值的范围G＝{0， 1， 2，…， L‑1}， 灰度值为i(i∈G)的个数设置为ni， 灰度值i出现的概率为pi＝ni/W×H； 设置初 始阈值T为0， 将[0， T]灰度值区间的像素归为目标区域， [T+1， L ‑1]灰度值区间的像素归为权　利　要　求　书 1/2 页 2 CN 115359286 A 2背景区域， 通过改变T的取值使得计算目标区域和背 景区域的类间方差最大化， 求出最佳分 割阈值， 实现图像分割； 对分割 得到的二值图像进行开操作， 先进行腐蚀再进行膨胀操作， 获得连通区域并对不同区域进行着色， 基于最大连通区域求其质心和外接矩形， 最后通过 裁剪提取目标区域Z； 设置提取目标区域Z为目标场景， 输电线路真实图像为背景场景K， v为引导场， 分别计 算目标场景Z和背 景场景K的梯度场， 将Z的梯度场和K的梯度场进 行融合得到融合场景的梯 度场； 通过构建带狄利克雷边界条件的泊松方程求解融合场景的梯度场与引导场之 间的最 小值， 完成异 物目标区域与输电线路真实图像真实背景的泊松融合过程。 3.根据权利要求1所述的一种基于多网络特征融合的输电线路悬挂异物检测方法， 其 特征在于， 步骤S2中， 对预训练的5个网络模型结构进行微调， 将GoogLeNet、 DarkNet ‑53、 VGG‑19、 ResNet ‑50、 Xception的全连接层的维数由1000调整为N， 并将最后的分类输出层调 整为N分类； 利用S1中划分好的训练集重新训练微调后的5个网络模型， 采用批量梯度下降 法对损失函数进行优化， 寻 求网络模型最优参数。 4.根据权利要求1所述的一种基于多网络特征融合的输电线路悬挂异物检测方法， 其 特征在于， 步骤S2中， 利用重新训练后的5个卷积神经网络模型对输电线路悬挂异物图像数 据集进行特征提取， 利用特征可视化Grad ‑CAM++算法决策出将GoogLeNet、 DarkNet ‑53、 ResNet‑50和Xception的全局平均池化层和VGG ‑19的最后一个dropout层作为特征提取层； 将GoogLeNet、 DarkNet ‑53、 VGG‑19、 ResNet ‑50、 Xception提取得到的特征分别命名为FG、 FD、 FV、 FR、 FX， 并对每个卷积神经网络的分类决策区域进行分析后， 最终确定通过公式(2)将FG、 FD和FX进行级联融合， 获得最佳的异 物图像融合特 征F； F＝Concatenate(FG,FD,FX)                          (3)权　利　要　求　书 2/2 页 3 CN 115359286 A 3