(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210684494.4 (22)申请日 2022.06.17 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 王雁刚　黄步真　束愿　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 张天哲 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/10(2017.01) G06T 7/73(2017.01) G06T 7/90(2017.01) G06N 3/04(2006.01)G06V 10/774(2022.01) (54)发明名称 基于自监督时空运动先验的单视角遮挡人 体运动重建方法 (57)摘要 本发明提供了一种基于自监督时空运动先 验的遮挡人体运动序列重建方法， 包括以下步 骤： S1.人体运动合成与表示； S2.遮挡人体时空 先验网络构建； S3.遮挡人体时空先验网络训练； S4.三维运动重建网络构建； S5.三维运动重建网 络训练； S6.全局位置估计； S7.实时单视角遮挡 人体运动重建。 本发明可以快速合成大量遮挡数 据， 且不影响模型在真实数据上的泛化能力， 解 决了现有方法对真实遮挡人体数据的强烈依赖 。 权利要求书4页 说明书8页 附图3页 CN 114926594 A 2022.08.19 CN 114926594 A 1.一种基于自监督时空运动先验的单视角遮挡人体运动重建方法， 其特征在于， 包括 以下步骤： S1.人体运动合成与表示： 提出二维遮挡人体运动的关节点图表示和人体遮挡数据生 成方法快速合成大量遮挡 数据； 通过在 网络视频中使用实例分割获取遮挡物， 并将遮挡物 随机覆盖在不带遮挡的人体数据集中的图片上实现合成遮挡， 在二 维完整人体运动的关节 点图上生成二维遮挡人体运动的关节点图， 用于网络训练； S2.遮挡人体时空先验网络构建： 构造一个包含局部关节点层面时空特征提取网络和 全局运动层面时空特征提取网络的编 码器分别提取不同层面的时空特征； 此外构建一个由 全连接网络组成的编码器， 从编码器估计的编码中回归二维完整人体运动的关节点图； S3.遮挡人体时空先验网络训练： 将合成的二维遮挡人体运动的关节点图作为输入， 与 之对应的不带遮挡的二 维完整人体运动的关节点图作为监督， 以自监督的方式训练步骤S2 构建的遮挡 人体时空先验网络； 自监督训练此神经网络直至 收敛， 学习遮挡二维人体运动 的先验知识； S4.三维运动重建网络构建： 构建与步骤S2中遮挡人体时空先验网络编码器相同的网 络作为编码 器， 以全连接层和两个Transformer模块作为解码 器， 用于从二维遮挡人体运动 的关节点图中估计三维完整人体运动图； S5.三维运动重建网络训练： 将步骤S3中训练完成的遮挡人体时空先验网络编码器的 参数作为预训练参数， 赋值给步骤S4构建的三位运动重建网络的编码器， 使得三维运动重 建网络获得遮挡二维人体运动的先验知识； 进一步将合成的二维遮挡人体运动的关节点图 作为输入， 三维完整人体运动图作为监督， 进行网络训练； 训练过程中， 同时对编码器参数 进行微调； 训练直至收敛； S6.全局位置估计： 从步骤S4中估计得到的三维完整人体运动图中采样得到三维人体 运动序列； 由于采样得到的三维人体运动序列处于局部坐标系， 为了获取带有绝对位置的 三维人体运动序列， 使用三 维人体序列骨架的关节点位置和输入的遮挡二维关节点位置构 建最小二乘函数， 估计全局平 移； 并将估计得到的平 移应用于三维人体运动序列； S7.实时单视角遮挡人体运动重建： 完成网络训练后， 利用单个RGB相机构建单视角运 动捕捉系统， 输入一段单视角相 机采集到的人体运动视频序列， 使用现有开源的二维关节 点检测方法对每 帧图片检测关节点位置及其置信度， 得到二维遮挡 人体运动的关节点图； 通过三维运动重 建网络估计三 维完整人体运动图， 并利用步骤S6中的方法获取带绝对位置 的三维人体运动序列， 实现单视角遮挡 人体三维运动重建， 全局人体运动序列进行进一步 蒙皮， 获得 带形变的人体网络模型。 2.根据权利要求1所述的一种基于自监督时空运动先验的单视角遮挡人体运动重建方 法， 其特征在于， 所述 步骤S1具体包括： S11.随机遮挡物获取： 通过Mask ‑RCNN在网络视频中使用实例分割 获取遮挡物掩膜和 RGB图片， 用于模拟遮挡； S12.二维完整人体运动的关节点图获取： 从人体数据集中提取人体二维运动序列， 其 中每帧的人体二维运动用K个人体关节点的坐标表示； 对于F帧具有K个关节点的人体二维 运动序列， 对所有关节点坐标(x,y)首先减去根节点坐标(xroot,yroot)再除以骨架包围框大权　利　要　求　书 1/4 页 2 CN 114926594 A 2小w×h来实现归一化， 并将归一化后的点坐标 存储在一张二维关节点图I2d ∈RF×K×2中； 图中每一行代 表某一帧所有关节点归一 化后的位置； S13.二维遮挡人体运动的关节点图获取： 通过在非遮挡的人体图片上添加遮挡物得到 遮挡的人体运动数据； 计算骨架包围框和S11中获得的遮挡物之间的交并比， 并使交并比在 X1到X2之间， 实现不同遮挡比例的遮挡； 对于遮挡物的掩模图， 通过规定位于掩模图内部关 节点的值为0， 位于掩模图外部的关节点的值为1， 将生成一张置信度图Ic∈RF×K×1； 将置信 度图和二维关节点图相乘得到二维遮挡人体运动的关节点图 S14.三维完整人体运动图获取： 从现有人体数据集提取人体三维运动序列， 其中每帧 的人体三维运动用一个骨架 蒙皮的三 维人体模型进 行表示； 对于F帧具有N个关节点的人体 三维运动序列， 三维人体模型 的骨架姿态使用关节点旋转表示， 通过关节点旋转驱动人体 网格变形， 存储在三维完整人体运动图I3d∈RF×N×6中。 3.根据权利要求1所述的一种基于自监督时空运动先验的单视角遮挡人体运动重建方 法， 其特征在于， 所述 步骤S2具体包括： S21.由于在不同的阶段分别考虑时序关系和空间关系会导致信息的丢失， 因此构建的 编码器包含2个模块： 局部关节点层面时空特征提取网络， 全局运动层面时空特征提取网 络， 来分别提取不同层面的时空特征； 局部时空关系模块用于建模局部时空特征， 其包含4 个卷积层， 其中前3个卷积层分别是3个膨胀系数为 1， 2， 5的卷积层； 将三个膨胀卷积层得输 出进行拼接后经 过最后一层卷积层融合时空特 征； S22.由于卷积层在时序 连续性方面的性能有限， 进一步构建全局运动层面时空特征提 取网络来建模全局时空特征； 全局运动层面时空特征提取网络包括全局空间关系模块和全 局时序关系模块， 并采用Tr ansformer网络结构； 对第一个模块的输出添加空间嵌入， 对第 二个模块的输出 添加时序嵌入； S23.构建一个由全连接网络组成的编码器， 从编码器估计的编码中回归二维完整人体 运动的关节点图。 4.根据权利要求1所述的一种基于自监督时空运动先验的单视角遮挡人体运动重建方 法， 其特征在于， 所述 步骤S3具体包括： S31.为了增强网络的泛化性能， 对训练数据进行数据增广， 具体策略包括： 1)镜像翻 转； 由于人体具有左右对称性， 通过将对称关节的旋转角度互换实现人体数据的倍增； 2)以 不同的速率采样； 通过对原始人体运动序列用不同的采样速率采样获得新的人体运动序 列； 3)倒序采样； 颠倒原 始人体运动序列的先后顺序作为 新的运动序列； S32.将合成的二维遮挡人体运动的关节点图作为输入， 通过遮挡人体时空先验网络输 出二维完整人体运动的关节点图； 对遮挡人体时空先验网络输出的二维完整 人体运动的关 节点图使用二维完整人体运动的关节点图的真值进行监 督； L1损失作为约束， 公式如下： 其中I2d和 分别表示重构的二维完整人体运动的关节点图和二维完整人体运动的关 节点图的真值， ‖ ·‖1表示一范数， L2d表示输出的二维完整 人体运动的关节 点图和对应真值 的L1损失；权　利　要　求　书 2/4 页 3 CN 114926594 A 3