(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210905343.7 (22)申请日 2022.07.29 (71)申请人 大连宗益科技发展 有限公司 地址 116001 辽宁省大连市高新 技术产业 园凌秀路6 0号 (72)发明人 杨磊刚　王浩　王鹏程　张灵　 丁绍志　薛继英　白絮　赵宪通　 (74)专利代理 机构 沈阳天赢专利代理有限公司 21251 专利代理师 尹思雪 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) (54)发明名称 一种关联点和体素的3D点云单目标跟踪方 法及相关装置 (57)摘要 本发明涉及一种关联点和体素的3D点云单 目标跟踪方法及相关装置， 包括S1： 读取点云数 据， 确定跟踪对象为模板点云， 确定搜索区域； S2： 分别对模板点云和搜索区域点云进行体素量 化， 得到各自体素化索引和体素化特征； S3： 对模 板点云和搜索区域点云进行点云下采样以及特 征提取， 得到种子点的三维坐标以及种子点的特 征向量； S4： 对模板种子点和搜索区域种子点进 行特征融合， 将模板信息嵌入到搜索区域种子点 特征， 更新搜索区域种子点特征； S5： 将更新后的 搜索区域种子点特征和坐标送入霍夫投票， 寻找 聚类中心并进行投票， 确定目标中心位置和包围 框的偏转角。 本发明通过改变特征提取主干网络 和融合形状和语义的方式提升跟踪质量。 权利要求书3页 说明书9页 附图4页 CN 115375731 A 2022.11.22 CN 115375731 A 1.一种关联点和体素的3D点云单目标跟踪方法， 其特 征在于， 该 方法包括以下步骤： 步骤S1： 读取点云数据， 确定跟踪对象为模板点云， 并确定搜索区域， 搜索区域内的点 为搜索区域 点云； 步骤S2： 分别对模板点云和搜索区域点云进行体素量化， 得到各自体素化索引和体素 化特征； 步骤S3： 对模板点云和搜索区域点云进行点云下采样以及特征提取， 得到种子点的三 维坐标以及种子点的特 征向量； 步骤S4： 对模板种子点和搜索区域种子点进行特征融合， 将模板信息嵌入到搜索区域 种子点特 征， 更新搜索区域种子点特 征； 步骤S5： 将更新后的搜索区域种子点特征和坐标送入霍夫投票， 寻找聚类中心并进行 投票， 确定目标中心位置和包围框的偏转角。 2.根据权利要求1所述的一种关联点和体素的3D点云单目标跟踪方法， 其特征在于， 所 述步骤S1包括以下步骤： 步骤S11： 指定点云跟踪对象， 其目标框大小作为目标的尺寸， 目标框内的点为模板点 云； 步骤S12： 根据 上一帧点云跟踪对象的目标框在世界坐标系下的位置， 对当前帧进行搜 索区域的选取， 将跟踪对象在上一帧的目标框进行膨胀， 作为搜索区域。 3.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法， 其特征在 于， 所述步骤S2包括以下步骤： 步骤S21： 将模板点云送入ME.utils.sparse_quantize函数， 进行体素量化， 使用 ME.utils.sparse_collate函数进行体素特征提取， 生成模板点云的体素化坐标、 体素化特 征及体素化索引； 步骤S22： 将搜索区域点云送入ME.utils.sparse_quantize函数， 进行体素量化， 使用 ME.utils.sparse_collate函数进行体素特征提取， 生成搜索区域点云的体素化坐标、 体素 化特征及体素化索引。 4.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法， 其特征在 于， 所述步骤S3包括以下步骤： 步骤S31： 将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积， 并进行点 云下采样， 采样方式为最远点采样， 分别得到模板点云和搜索区域点云的种子点 并进行特征学习； 最终得到种子点的位置 和种子点的特征 其中， i＝t,s分别表示模板区域点云和搜索 区域点云， Ni表示种子点的数量， N表示种子点特 征的维度。 5.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法， 其特征在 于， 所述步骤S4包括以下步骤： 步骤S41： 计算模板种子点与模板目标框的八个顶点及中心点的九个距离 将搜索区域种子点的特征 送入 预测网络MLP,预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离权　利　要　求　书 1/3 页 2 CN 115375731 A 2计算dt和ds之间逐点的欧氏距离， 作为模板种子点和搜索区 域种子点的相似度距离度量； 步骤S42： 进行点级特征融合， 对每个搜索区域种子点依据步骤S41得到的相似度距离 度量寻找k近邻， 每个搜索区域种子点与k个模板区域种子点配对， 将搜索区域种子点特征 分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接， 形成尺 寸为(B,N +N+3+ 9,k,Ns)的张量， 并使用Mi ni‑PointNet进行 特征聚合得到(B,N,Ns)的张量； 步骤S43： 执行体素级特征融合模块， 以每个搜索区域种子点为中心生成体素网格， 找 出体素网格内的模板点的点集， 将各搜索区域种子点对应的点集中每个模板点的由步骤 S41得到相似度距离度量进行聚合， 使搜索区域 点云更具模板语义； 步骤S44： 将搜索区域种子点， 点级特征和体素级特征进行连接， 得到最终融合后的特 征。 6.根据权利要求1、 2或5所述的一种关联点和体素的3D点云单目标跟踪方法， 其特征在 于， 所述步骤S5包括以下步骤： 步骤S51： 将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送 入霍夫投票； 步骤S52： 对搜索区域种子点应用MLP回归分类得分Score＝sc1,sc2…scj， 用以判断种 子点为目标点或非目标点； 其中， j表示搜索区域种子点的索引； 步骤S53： 投票网络使用MLP回归每个种子点到潜在目标中心的坐标偏移 每个种 子点ps,j对应一个潜在目标中心Cj； 同时， 预测种子点特征到潜在目标中心特征的残差 潜在目标中心的位置和特 征分别表示 为： 步骤S54： 对所有潜在目标中心使用球聚类， 得到K个聚类 中心， 聚类簇为球邻域内潜在 目标中心的集合， 潜在目标中心特征为 其中， j表示种子点的索 引， sj、 分别表示第j个种子点对应的潜在目标中心的分类得分、 三维坐标以及特 征向量； 步骤S55： 对K个聚类簇应用MLP ‑Maxpool‑MLP得到目标提案、 潜在目标中心到目标中心 的偏移量、 目标包围盒的旋转偏移量以及目标的置信度得分； 步骤S56： 选择置信度得分最高的结果， 得到目标跟踪对象中心在当前帧的位置， 将模 板点云跟踪对象的包围框对照中心 点应用到当前帧， 并使用预测到的目标包围盒的旋转偏 移量对包围框进行偏移， 得到当前帧跟踪目标的位置和包围框 。 7.一种关联点和体素的3D点云单目标跟踪装置， 其特 征在于， 包括： 第一确定模块(100)， 用于读取点云数据， 确定点云跟踪对象为模板点云， 并确定搜索 区域， 搜索区域内的点 为搜索区域 点云； 处理模块(200)， 用于分别 对模板点云和搜索区域点云进行体素化， 得到各自体素化索 引和体素化特 征； 提取模块(300)， 用于对模板点云和搜索区域点云进行点云下采样以及特征提取， 得到 种子点的三维坐标以及种子点的特 征向量；权　利　要　求　书 2/3 页 3 CN 115375731 A 3