(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210908816.9 (22)申请日 2022.07.29 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 张伟　吉晨钟　陈云芳　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 王慧 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种动作识别中基于通道分组的时空特征 分离提取方法 (57)摘要 本发明公开了一种动作识别中基于通道分 组的时空特征分离提取方法， 首先对视频进行稀 疏采样， 使用ResNet网络作为骨干网络对采样得 到的帧序列提取基本特征， 得到各帧的特征图； 再通过对特征图的通道分组， 将每一帧特征图的 通道分成两组， 一组使用可学习的通道移位操作 赋予2D卷积学习时间特征的能力； 另一组通过减 少时间特征增加空间通道的方式使其关注空间 特征的学习； 最后对时间特征提取分支和空间特 征提取分支得到的特征进行时间对齐后堆叠融 合， 得到时空特征的聚合表达。 本发明解决了现 有技术中视频动作识别中2D卷积神经网络难以 提取视频时间特征的问题， 使得动作识别效率和 准确性兼顾。 权利要求书2页 说明书5页 附图2页 CN 115331140 A 2022.11.11 CN 115331140 A 1.一种动作识别中基于通道分组的时空特征分离提取方法， 其特征在于， 包括如下步 骤： S1， 对视频进行稀疏采样， 使用ResNet网络作为骨干网络对采样得到的帧序列提取基 本特征， 得到各帧的特 征图； S2， 在ResNet网络的每个残差块的残差分支中， 每一帧的特征图经过通道注意力 模块， 得到特征图各通道的权重； 然后依据权重值将各帧的特征图的通道分成两组， 权重不小于 阈值的通道分入第一组， 权重小于阈值的通道分入第二组； 组内的通道顺序遵从原特征图 的通道顺序； S3， 第一组通道组成的特征图送入时间特征提取分支中， 将可学习的通道平移操作作 用于特征图所有通道， 使得各帧特征图拥有与相邻帧特征图动态交互的能力， 学习时间特 征； 第二组通道组成的特征图送入在空间特征提取分支中， 保持特征总数量不变的前提 下， 在特征图时间维度下采样的同时通过 卷积操作增加各帧特 征图空间通道数量。 S4， 对时间特征提取分支和空间特征提取分支得到的特征进行时间对齐后堆叠融合， 得到时空特 征的聚合表达 。 2.根据权利要求1所述的动作识别中基于通道分组的时空特征分离提取方法， 其特征 在于， 所述步骤S1中， 将动作视频平均分为T份， 在每一份中随机抽取一帧图片， 然后经过 ResNet网络提取基础特 征， 得到对应的特 征图组为： X＝{x1,x2,…,xT} 其中,T是输入网络的视频帧数， 是第t帧的特征图， C是通道 数量， H和W是空间维度大小。 3.根据权利要求1所述的动作识别中基于通道分组的时空特征分离提取方法， 其特征 在于， 所述步骤S2中， 每一 帧的特征图经过通道注意力模块， 得到特征图各通道的权重； 然 后依据权 重值将各帧的特 征图的通道分成两组的实现步骤如下： S21， 在空间维度对各帧的特 征图xt进行平均池化， 得到 S22， 对所有池化后时间相邻的特征图 和 分别进行2D卷积运算后逐元素相减， 相 减得到的结果 为st： 其中， Wθ和 为卷积参数， Co nv()为卷积运 算； S23， 对st进行2D卷积运 算得到 然后采用sigmo id函数运 算， 记为 其中， σ 是 sigmoid函数， 是卷积参数， C onv()为卷积运算； 中每个元素的 范围都在0 到1之间， C是通道数量； S24， 根据 将特征图xt的通道划分成两组： 第一组选取 中值不小于阈值ζ 的对应的xt通道， 记为 其通道数量记为ρ( ζ )； 第二组选取 中值小于阈值ζ 的对应的xt通道， 记为 其通道数量记为C ‑ρ( ζ )。权　利　要　求　书 1/2 页 2 CN 115331140 A 24.根据权利要求3所述的动作识别中基于通道分组的时空特征分离提取方法， 其特征 在于， 所述步骤S 3中， 将可学习的通道移 位操作作用于特征图所有通道， 使 得各通道拥有与 相邻通道交 互的能力的实现步骤如下： 对第一组特征图 组 在每个通道上采 用 channel‑wise 1D卷积， 得到 其中T是时间维度大 小,H和W是空间维度大小， ρ( ζ )是通道维度数量； 对第二组特征图组 在时间维度上采用 Temporal ‑wise 1D卷积， 使得特征图组的时间维度由T降低至 α 为变化幅度； 然后采用2D 卷 积 使 得 特 征 图 组 中 各 特 征 图 的 通 道 增 加 到α( C ‑ρ(ζ) ) ，最 后 得 到 5.根据权利要求1所述的动作识别中基于通道分组的时空特征分离提取方法， 其特征 在于， 所述步骤S4中， 将对时间特征提取分支和空间特征提取分支得到的特征进行融合的 实现步骤如下： 将 第 二 组 输 出 的 特 征 图 进 行 R e s h a p e 操 作 ， 得 到 使得两组特征在时间维度对齐； 然后使用Concatenate操作和第一 组的输出 进行融合。权　利　要　求　书 2/2 页 3 CN 115331140 A 3