(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210949876.5 (22)申请日 2022.08.09 (71)申请人 上海钦方机电科技发展 有限公司 地址 201401 上海市奉贤区大叶公路6758 号4幢150室 (72)发明人 张学荣　覃善西　 (74)专利代理 机构 上海海贝律师事务所 313 01 专利代理师 朱震林 (51)Int.Cl. G06T 17/20(2006.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06V 10/46(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于深度学习的变电站开关室操作机 器人末端定位方法 (57)摘要 本发明涉及变电站开关室操作机器人末端 定位技术领域， 具体地说是一种基于深度学习的 变电站开关室操作机器人末端定位方法， 包括末 端识别算法， 输入任务参数， 车体位置调整， 末端 姿态调整和操作目标定位， 同现有技术相比， 本 发明通过SuperPoint+ASIFT相结合的匹配算法 提升图像匹配算法精度， 利用点 云深度图调平算 法消除操作 目标平面与机械臂末端姿态偏差对 操作的干扰， 在待识别图像上提取操作目标的位 置和角度满足定位精度， 实现了提高了末端定位 的精度， 提高安全操作系数， 保障电网企业对社 会供电的稳定性， 同时保证电网及其设备的安全 性。 权利要求书1页 说明书5页 附图4页 CN 115311433 A 2022.11.08 CN 115311433 A 1.一种基于深度学习的变电站开关室操作机器人末端定位方法， 其特征在于， 包括末 端识别算法， 输入 任务参数， 车体位置调整， 末端 姿态调整和操作目标定位； 所述末端识别算法的目的是得到操作机器人和识别目标之间的大概位置， 具体包括以 下步骤： S1： 控制台输入到要识别的目标， 末端识别算法进行请求的解析， 同时打开相机加载相 机并拍照； S2： 采用深度学习的Yolo系列的yolov5算法进行目标检测， 截取目标框， 检测中心点， 获取检测框四个坐标平均深度值； S3： 计算图像 中心与操作孔实际偏差距离值， 并把实际距离值与机械臂外参值叠加， 返 回识别目标的深度值和定位 位置； 所述输入任务参数是人为定义一些任务参数， 并同步到控制端和操作台。 操作机器人 工作时， 输入 对应的操作参数； 所述车体位置调整为采用图像匹配的方法得到目标物体的位置和姿态， 根据得到的信 息进行车体位置调整， 通过ASIFT算法解决SIFT、 ORB、 SURF特征描述算子倾斜匹配， 通过 SuperPoint对多尺度、 多单应性的方法来提高特征点检测的重复性和执行跨域自适应， 具 体为首先输入带匹配图像， 然后对图像进 行缩放， 提取特征点和特征描述子， 并过滤错误匹 配点， 最后输出匹配的坐标信息， 根据得到的信息进行 车体位置调整； 所述末端姿态调整为在所述车体位置调 整后的基础上， 进一步对末端机械臂的姿态进 行调整， 使得末端机器臂与要操作的目标位置一致， 采用点云匹配的方式输入Y与X轴的角 度， 保证相机平面和实际物体的平面保持平行， 具体包括以下步骤： S10： 获取匹配物体的深度点云图； S20： 对深度点云图进行深度值滤波、 点云降采样及其 他点云预处 理操作； S30： 对点云平面进行分割， 分割采用的是HRNet系列的网络， HRNet系列的网络通过并 行连接高分辨率到低分辨率卷积来保持 高分辨率表示， 并通过重复跨并行卷积执行多尺度 融合来增强高分辨 率表示； S40： 对平面模型计算， 输出Y与X轴角度； 所述操作目标定位为在所述末端姿态调 整的基础上， 已完成操作机器人的末端机械臂 与操作目标处于平行 的关系， 再次利用分割网络得到操作目标的准确 位置， 最后根据输入 的指令进行对应的操作。 2.根据权利要求1所述的一种基于深度学习的变电站开关室操作机器人末端定位方 法， 其特征在于， 所述识别目标包括紧急分闸、 手车孔、 按键面板、 旋钮 姿态和地刀。 3.根据权利要求1所述的一种基于深度学习的变电站开关室操作机器人末端定位方 法， 其特征在于， 所述任务 参数包括机器人移动、 车体位置调整、 末端 姿态调整及其 他参数。权　利　要　求　书 1/1 页 2 CN 115311433 A 2一种基于深度学习的变电站开关室操作机 器人末端定位方 法 技术领域 [0001]本发明涉及变电站开关室操作机器人末端定位技术领域， 具体地说是一种基于深 度学习的变电站开关 室操作机器人末端定位方法。 背景技术 [0002]电气设备的生产企业由于开关面板每一个配件的大小、 结构都不一样， 装配 的过 程中需要精准的定位以及适当的力度， 安装精度要求较高， 因此社会上开关室面板的装配 仍然以手工装配为主。 [0003]随着电网规模的逐渐增大， 对设备需求也与日俱增， 要想合理管理电网设备， 不能 仅仅将开关室人员数量增多和巡视时间加强作为主要的解决办法， 且对工作人员来说， 在 电力设备的操作过程中， 本来 就存在一定的危险性， 这使得安全隐患进一 步增加。 [0004]随着传感器、 单片机、 机器学习、 机器人等技术的兴起和发展， 配电开关柜开始引 入先进的机器人， 利用一个功能完善、 操作灵活的机器人操作配电柜， 既能够提高配电开关 柜控制精准程度， 又可以提高安全操作系数， 用来替代工作人员的人力操作， 保障电网企业 对社会供电的稳定性， 同时保证电网及其设备的安全性。 [0005]现有的开关室操作机器人操作目标作业对工具端的角度有着极高的精度要求， 通 常以深度相 机为载体， 结合参照物识别与深度图距离信息， 根据算法计算出末端工具欧拉 角差偏差值， 对末端工具进行多次调整， 实现末端工具与操作目标姿态矫正。 利用手眼标定 算法， 计算操作目标与末端工具坐标位置关系， 引导末端工具达 到操作目标。 [0006]然而现有变电站开关室操作机器人末端定位方法存在一些局限性和不足： 传统视 频摄像头以安防为主， 无法准确、 清晰看到设备状态； 在开关柜设备中， 其设备现状复杂异 常， 所以机器人末端的机械臂在操作过程中， 必须要提前知晓设备在定位方面的信息， 才能 促使其精准控制目标 的形成， 以及实际场景中并不是所有目标都贴有辅助定位信息， 如果 仅采用辅助定位获取姿态信息， 影响操作对象美观， 不 适用与开关 室操作机器人。 [0007]因此， 基于以上原因， 本发明设计了一种基于深度学习的变电站开关室操作机器 人末端定位方法， 结合计算机视觉领域和深度学习模型， 解决当前开关室操作机器人无法 准确清晰看清设备状态， 导 致定位精度差或无法定位的问题。 发明内容 [0008]本发明的目的是克服现有技术的不足， 提供一种基于深度学习的变电站开关室操 作机器人末端定位方法， 结合计算机视觉领域和深度学习模型， 解决当前开关室操作机器 人无法准确清晰看清设备状态， 导 致定位精度差或无法定位的问题。 [0009]为了达到上述目的， 本发明提供一种基于深度学习的变电站开关室操作机器人末 端定位方法， 包括末端识别算法， 输入任务参数， 车体位置调整， 末端姿态调整和操作目标 定位； [0010]末端识别算法的目的是得到操作机器人和识别目标之间的大概位置， 具体包括以说　明　书 1/5 页 3 CN 115311433 A 3