(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211116427.9 (22)申请日 2022.09.14 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 张新钰　王力　张皓明　谢涛　 李骏　吴新刚　李金伦　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 张建纲 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于注意力机制的点云特征提取方法 及装置 (57)摘要 本申请提供了一种基于注意力机制的点云 特征提取方法及装置， 涉及智 能驾驶技术领域， 该方法包括： 利用预先训练完成的编码器对点云 数据进行逐层下采样及升维处理， 得到第一特征 金字塔； 利用预先训练完成的解码器对第二特征 金字塔的第T层点云特征数据分别进行两次上采 样处理， 得到上采样数据及第二特征金字塔的初 始第T‑1层点云特征数据； 向下逐层进行处理， 直 至得到第二特征金字塔的初始第零层点云特征 数据； 对第一特征金字塔的第零层点云特征数 据、 第二特征金字塔的初始第零层点云特征数据 和上采样数据进行交叉注意力机制处理， 得到最 终的点云特征数据。 本申请能够降低点云特征上 采样时的语义信息损失， 提高主干网络的点云特 征提取性能。 权利要求书4页 说明书10页 附图2页 CN 115375910 A 2022.11.22 CN 115375910 A 1.一种基于注意力机制的点云特 征提取方法， 其特 征在于， 所述方法包括： 对原始点云数据进行采样处 理， 得到包 含预设点云数量的点云数据； 利用预先训练完成的编码器对点云数据进行逐层下采样及升维处理， 得到第 一特征金 字塔， 所述第一特 征金字塔包括T+1层点云特 征数据； 利用预先训练完成的解码器对第 二特征金字塔的第T层点云特征数据分别进行两次上 采样处理， 得到上采样数据及第二特征金字塔的初始第T ‑1层点云特征数据， 其中第二特征 金字塔的第T层点云特征数据和 第一特征金字塔的第T层点云特征数据相同； 将第一特征金 字塔的第T ‑1层点云特征数据和第二特征金字塔的初始第T ‑1层点云特征数据进 行拼接后， 再进行降维处理， 得到第二特征金字塔的第T ‑1层点云特征数据， 对第二特征金字塔的第T ‑ 1层点云特征数据进 行上采样得到第二特征金字塔的初始第T ‑2层点云特征数据； 向下逐层 进行处理， 直至得到第二特征金字塔的初始第零层点云特征数据； 对第一特征金字塔的第 零层点云特征数据、 第二特征金字塔的初始第零层点云特征数据和上采样数据进 行交叉注 意力机制处 理， 得到原 始点云数据的点云特 征数据。 2.根据权利要求1所述的基于注意力 机制的点云特征提取方法， 其特征在于， 所述编码 器包括T个依 次连接的局部融合层； 利用预先训练完成的编码器对点云数据进行逐层下采 样及升维处 理， 得到第一特 征金字塔； 包括： 获取点云数据 其点云个数为 维度为 则第一特征金字塔的第零层点云特 征数据为 利用第t个局部融合层对第一特征金字塔的第t ‑1层点云特征数据 进行处理， 得到 第t层点云特 征数据 其第i个点云的特 征 为： 其中， 1≤t≤T； 第t ‑1层数据 的点云个数为 维度为 为 的 第j个点云的特征， N(i)为第i个点 云的邻居 点云的集合； Δpij为第i个点 云与第j个点云的相对坐标,Δpij＝pi‑pj,pi为第i个点云的空间位置坐标， pk为第j个点云 的空间位置坐标； G( ·,·)为编码函数； R( ·)为归约函数； S( ·)表示降采样函数； 则第一特征金字塔包括： 第零层点云特征数据 第一层点云特征数据 …、 第T‑1 层点云特 征数据 和第T层点云特 征数据 3.根据权利要求2所述的基于注意力 机制的点云特征提取方法， 其特征在于， 利用预先 训练完成的解码器对第二特征金字塔的第T层点云特征数据分别进行两次上采样处理， 得 到上采样数据及第二特 征金字塔的初始第T ‑1层点云特 征数据； 包括: 将第一特征金字塔的第T层点云特征数据 作为第二层特征金字塔的第T层点云特征 数据 对第二特征金字塔 的第T层点云特征数据 进行上采样处理， 得到上采样数据 权　利　要　求　书 1/4 页 2 CN 115375910 A 2点云个数为 维度为 对第二特征金字塔的第T层点云特征数据 进行上采样处理， 得到第 二特征金字塔的 初始第T‑1层点云特 征数据 点云个数为 维度为 4.根据权利要求2所述的基于注意力 机制的点云特征提取方法， 其特征在于， 将第 一特 征金字塔的第T ‑1层点云特征数据和第二特征金字塔的初始第T ‑1层点云特征数据进行点 数拼接后， 再进行降维处理， 得到第二特征金字塔的第T ‑1层点云特征数据， 对第二特征金 字塔的第T ‑1层数据进行 上采样得到第二特 征金字塔的初始第T ‑2层点云特 征数据； 包括： 将第一特征金字塔的第T ‑1层点云特征数据 和第二特征金字塔的初始第T ‑1层点 云特征数据 进行维度拼接， 得到拼接后的点云特征数据， 点云个数为 维度 为 利用多层感知机对拼接后的点云特征数据进行降维处理， 得到第二特征金字塔的第T ‑ 1层点云特征数据 点云个数及维度与第一特征金字塔的第T ‑1层点云特征数据 相同； 对第二特征金字塔的第T ‑1层点云特征数据 进行上采样， 得到点数减半且维度不 变的第二特 征金字塔的初始第T ‑2层点云特 征数据 5.根据权利要求4所述的基于注意力 机制的点云特征提取方法， 其特征在于， 对第 一特 征金字塔的第零层数据、 第二特征金字塔的初始第零层数据和上采样数据进 行交叉注意力 机制处理， 得到原 始点云数据的点云特 征数据； 包括： 将上采样数据 按照维度分解 为： 维度均为 将第二特征金字塔的初始第零层点云特征数据 分解为： 和 维度均为 分别对： 和 的维度取最大值， 得到 和 利用线性投影矩阵WQ、 WK和WV进行如下变换， 得到矩阵Q、 矩阵K和矩阵V： 其中， stack( ·)表示点数拼接； 计算交叉注意力矩阵at ten：权　利　要　求　书 2/4 页 3 CN 115375910 A 3