(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210670964.1 (22)申请日 2022.06.15 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 王宏升　陈光　 (74)专利代理 机构 北京志霖恒远知识产权代理 事务所(普通 合伙) 11435 专利代理师 奚丽萍 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/00(2011.01) G06T 15/55(2011.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于神经辐射场 的行人重识别三维数据集 构建方法和装置 (57)摘要 本发明公开了一种基于神经辐射场 的行人 重识别三维数据集构建方法和装置， 包括如下步 骤： S1： 通过一组不同视角的相机对待录入行人 进行图像采集； S2： 通过场景中的相机射线， 采样 生成一个三维空间位置点集， 将所述三维空间位 置点集所对应相机的观察方向转换为三维笛卡 尔单位向量； S3： 将所述三维空间位置点集及其 转换为三维笛卡尔单位向量的观察方向输入多 层感知器， 输出对应的密度和颜色； 本发明一种 基于神经辐射场的行人重识别三维数据集构建 方法和装置， 给出了一种全新的行人重识别数据 集构建的方法， 提供了数据集构建的新思路。 相 比于传统的数据集构建方法， 通过多设备所采集 的图像和空间位置， 获取数据方式更加直接明 了。 权利要求书2页 说明书7页 附图2页 CN 114758081 A 2022.07.15 CN 114758081 A 1.一种基于神经辐射场的行人重识别三维数据集构建方法， 其特征在于： 包括如下步 骤： S1： 通过一组不同视角的相机对待录入行 人进行图像采集； S2： 通过场景中的相机射线， 采样生成一个三维空间位置点集， 将所述三维空间位置点 集所对应相机的观察方向转换为 三维笛卡尔单位向量； S3： 将所述三维空间位置点集及其转换为三维笛卡尔单位向量的观察方向输入多层感 知器， 输出对应的密度和颜色； S4： 使用神经体渲染方法， 将经过每个像素的射线颜色累积到步骤S1中采集的图像中， 子步骤如下： S41： 用连续积分定义相机射线的累计透明率， 并据此生成射线颜色的定义； S42： 采用求积法对射线颜色进行估计， 将射线 的近边界到远边界划分为N个间隔均匀 的区间， 并用分层抽样的方法均匀选取离 散点； S5： 引用位置编码、 多层级采样以提 高步骤S4中射线颜色累计所生成图像的质量， 具体 为： S51： 引入位置编码： 对点的空间位置进行编码， 将输入神经网络的三维向量转化为指 定维数， 增 加生成图像的精度； S52： 引入多层级采样： 首先采用分层抽样采集一组点， 并对神经网络进行初步评估， 基 于这个初步评估的神经网络的输出， 生成概率密度函数， 然后 沿着每条射线以该概率密度 函数进行采集， 再 结合两次采样的点， 对神经网络进行 更精确的评估； S6： 将生成图像打上 标签， 存入数据集。 2.如权利要求1所述的基于神经辐射场的行人重识别三维数据集构建方法， 其特征在 于： 所述步骤S2中所述三维空间位置点集指所述相机所在的三维空间位置 ， 所述三 维空间位置点 集所对应相机的观察方向为 ， 可将其转化为三维笛卡尔单位向量。 3.如权利要求1所述的基于神经辐射场的行人重识别三维数据集构建方法， 其特征在 于： 所述步骤S3的具体过程为： 采用一个多层感知器， 输入相机的空间位置和观察方向 ， 输出点的颜色和密度 ， 其中 为空间位置 ， 为观察方向所转化 成的三维笛卡尔单位向量， 表示颜色， 为体积密度。 4.如权利要求1所述的基于神经辐射场的行人重识别三维数据集构建方法， 其特征在 于： 所述步骤S4中神经体渲 染方法具体如下： 追踪场景的光线， 并对规定长度的光线进 行积 分来生成图像或者视频， 在从三维标量数据生成图像的中， 渲染通过场景 的任何一条射线 的颜色以渲染成为图像。 5.如权利要求1所述的基于神经辐射场的行人重识别三维数据集构建方法， 其特征在 于： 所述步骤S41的具体过程为： 将相机射线标记为 ， 为射线原点， 为观察 方向， t指相机射线经 过的空间某点的位置， 射线颜色的具体定义如下： ； 其中 和 是射线的近边界和远边界， 表示颜色， 表示体积密度， 是射线从权　利　要　求　书 1/2 页 2 CN 114758081 A 2到 这一段路径上的累积透明度， 即这条射线从 到t路径上没有击中任何粒子的概率， 具体为： 。 6.如权利要求5所述的基于神经辐射场的行人重识别三维数据集构建方法， 其特征在 于： 所述步骤S42具体为： 将射线的近边界 和 远边界之间的距离 分成N个间隔 均匀的区间， 然后从每 个区间中随机抽取一个样本， 即 服从均匀分布： ； 则可将射线颜色 的积分公式简化 为： ； 其中 ， 表示体积密度， 表示颜色。 7.如权利要求1所述的基于神经辐射场的行人重识别三维数据集构建方法， 其特征在 于： 所述步骤S51中引入位置编码的具体方法为： 对空间位置 和观察方向 进行标准化， 并对空间位置和观察方向中的每一个坐标值进行如下编码： 。 8.如权利要求6所述的基于神经辐射场的行人重识别三维数据集构建方法， 其特征在 于： 所述步骤S52中引入多层级采样的具体子步骤如下： 步骤一： 采用分层抽样在射线上采集 个点； 步骤二： 输入 采样点， 并在所述采样点 位置用求积法对神经网络进行初步评估； 步骤三： 通过归一 化处理， 生成概 率密度函数； 将所述 步骤S42中积分公式重写为： ； 其中 ， 再将 进行归一化 ， 从而生成一个分 段常数的概 率密度函数； 步骤四： 基于上述 概率密度函数， 沿着每条射线采集 个点； 步骤五： 使用上述采集的 个点来对神经网络进行更精确的评估， 更好地渲染 射线颜色。 9.一种基于神经辐射场的行人重识别三维数据集构建装置， 其特征在于： 所述装置包 括存储器和一个或多个处理器， 所述存储器中存储有可执行代码， 所述一个或多个处理器 执行所述可执行代码时， 用于实现权利要求1 ‑8任一项所述基于神经辐射场的行人重识别 三维数据集构建方法。权　利　要　求　书 2/2 页 3 CN 114758081 A 3