(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210751778.0 (22)申请日 2022.06.29 (71)申请人 国网西藏电力有限公司电力科 学研 究院 地址 850000 西藏自治区拉萨市 色拉路17 号 (72)发明人 吕明利　岳嵩　李峰　金俊祥　 韩刚　于勃　李积芳　杨浩　 鲁小华　马文善　 (74)专利代理 机构 北京远大卓悦知识产权代理 有限公司 1 1369 专利代理师 吴朝阳 (51)Int.Cl. G06T 7/73(2017.01) G06T 17/00(2006.01)G06T 19/00(2011.01) (54)发明名称 基于变电站三维模型的人员实时定位方法 (57)摘要 本发明公开了一种基于变电站三维模型的 人员实时定位方法， 包括以下步骤： S1、 构建变电 站的三维点云图； S2、 从获取的行人视频图像中 提取行人各关节点的二维像素坐标， 并输出主关 节点的二维像素坐标及置信度； S3、 基于行人主 关节点的二维像素坐标及置信度， 推算出行人中 心点在地面的二维投影坐标； S4、 依据摄像头内 参、 外参， 三维点云图， 行人中心点在地面的二维 投影坐标得到三维坐标。 本发明具有对变电站人 员进行实时无感定位的有益效果。 权利要求书2页 说明书8页 附图2页 CN 115511957 A 2022.12.23 CN 115511957 A 1.基于变电站三维模型的人员实时定位方法， 其特 征在于， 包括以下步骤： S1、 构建变电站的三维点云图； S2、 从获取的行人视频图像中提取行人各关节点的二维像素坐标， 并输出主关节点的 二维像素坐标及置信度； S3、 基于行人主关节点的二维像素坐标及置信度， 推算出行人中心点在地面的二维投 影坐标； S4、 依据摄像头内参、 外参， 三维点云图， 行人中心点在地面的二维投影坐标得到三维 坐标。 2.如权利要求1所述的基于变电站三维模型的人员实时定位方法， 其特征在于， 步骤S2 包括以下步骤： S2a、 对行人视频图像进行行人检测， 输出二维检测框及二维检测框范围内的裁剪图 片； S2b、 依据裁剪图片获得行人抠图， 依据行人抠图、 二维检测框提取行人各关节点的二 维像素坐标， 并输出主关节点的二 维像素坐标及置信度， 其中， 行人主关节点包括多个特征 点组， 按照优先级由先至后， 多个特征点组包括左右脚跟、 左右脚踝、 左右膝、 左右胯、 左右 肩、 颈部、 鼻。 3.如权利要求2所述的基于变电站三维模型的人员实时定位方法， 其特征在于， 步骤S3 包括以下步骤： S3a1、 确定行 人的人体比例； S3a2、 确定二维线段， 具体为： 按照优先级， 依次遍历多个优先权不大于左右脚踝的特 征点组， 确定是否存在一组特征点组的二 维像素坐标的置信度大于第一阈值， 若 是， 定义该 特征点组为第一关键组， 连接第一关键组的二维像素坐标得到二维线段且转入步骤S3a3， 若否， 转入步骤S3a4； S3a3、 按照优先级， 以左右胯为起点， 依次遍历多个特征点组， 确定是否存在一组特征 点组的二维像素坐标的置信度大于第一阈值， 若是， 定义该特征点组为第二关键组， 若否， 判断为无效提取； 依据第二关键组获得行人中心点坐标， 将行人中心点坐标垂直向下投影到二维线段 上， 得到行 人中心点在二维线段 上的投影点 坐标， 其中： 当第一关键组为左右脚跟时， 投影点 坐标即为行 人中心点在地 面的二维投影坐标； 当第一关键组为左右脚踝时， 确定左右膝的二维像素坐标中是否存在一个关节点的置 信度大于第一阈值， 若是， 计算膝和脚 踝的间关节距离， 根据该距离结合行人 的人体比例， 计算第一关键组对应关节点距离地面的高度H1， 将投影点坐标减去高度H1， 得到行人中心 点在地面的二维投影坐标； S3a4、 按照优先级， 以左右胯为起点， 依次遍历多个特征点组， 确定是否存在两组特征 点组的二维像素坐标的置信度大于第一阈值； 若否， 判断为无效提取： 若是， 按照优先级大小依次定义为第三关键组、 第 四关键组， 计算第三关键组、 第 四关 键组间距离X2； 根据距离X2结合行人的人体比例， 计算优先级高的特征点组距离地面的高 度H2； 依据第三关键组获得行人中心 点坐标， 将行人中心 点坐标减去高度H2， 得到行人中心权　利　要　求　书 1/2 页 2 CN 115511957 A 2点在二维线段 上的投影点 坐标。 4.如权利要求3所述的基于变电站三维模型的人员实时定位方法， 其特征在于， 按照优 先级， 多个特征点组位于左右脚跟、 左右脚间还包括左右小脚趾、 左右大脚趾， 其中， 步骤 S3a3具体为当第一关键组为左右脚跟、 左右小脚趾或左右大脚趾时， 投影点坐标即为行人 中心点在地 面的二维投影坐标。 5.如权利要求4所述的基于变电站三维模型的人员实时定位方法， 其特征在于， 步骤S3 还包括确定行 人相对于相机坐标的朝向三维矢量， 包括以下步骤： 判断左右胯、 左右肩的置信度 是否均大于第一阈值， 若是， 确定行人上半身中心点在相 机坐标原 点且人体朝向为指向相机前方时， 左右胯、 左右肩的三 维像素坐标， 以该坐标为参 比坐标， 依据摄像头内参、 相 机畸变参数、 参比坐标、 行人视频图像中提取的左右胯和左右 肩二维像素坐标， 采用solv e pnp的方式推算相对于相机坐标的行人相机朝向三维矢量， 其 中， 其中， 当行人相机朝向三维矢量与相机的前向矢量的夹角为75 ‑105°时， 依据位于行人 同侧且均大于第一阈值的小脚趾、 大脚趾中的一个及脚跟的二维像素坐标， 计算脚尖方向 二维矢量， 若行人相 机三维朝向矢量的x、 y轴 方向的二维矢量与脚尖方向二维矢量之间的 夹角为锐角， 不改变行人相机朝向三 维矢量， 若 呈钝角， 则改变行人相机朝向三维矢量为反 向。 6.如权利要求5所述的基于变电站三维模型的人员实时定位方法， 其特征在于， 步骤S4 还包括将相机朝向三维矢量 转换为三维点云图上的行 人三维朝向矢量。 7.如权利要求1所述的基于变电站三维模型的人员实时定位方法， 其特征在于， 步骤S4 包括以下步骤： 依据三维点云图获取地 面三维点云， 生成三维坐标图像； 依据摄像头内参、 外参， 将行人在地面的二维投影坐标以摄像头光心为原点投影到地 面三维点云上， 确定是否找到对应的三 维坐标， 若 是， 得到三 维坐标； 若否， 间隔向下移动二 维投影坐标一行至找到对应的三维坐标。 8.如权利要求4所述的基于变电站三维模型的人员实时定位方法， 其特征在于， 行人个 关节点还 包括左右眼、 左右耳、 左右 肘、 左右手腕、 中心部 。 9.如权利要求8所述的基于变电站三维模型的人员实时定位方法， 其特征在于， 步骤S2 还包括S2c、 计算行人全部 关节点的二维像素坐标的置信度 平均值， 判断置信度 平均值是否 大于第二阈值， 若是， 输出该行人的主关节点的二维像素坐标和置信度， 若否， 判定为无效 提取， 其中， 第二阈值大于第一阈值。权　利　要　求　书 2/2 页 3 CN 115511957 A 3