(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211039229.7 (22)申请日 2022.08.29 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 侯振杰　施海勇　钟卓锟　林恩　 尤凯军　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 张秋月 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于分布式传感器融合网络的行为识 别方法 (57)摘要 本发明涉及计算机视觉和模式识别技术领 域， 尤其涉及一种基于分布式传感器融合网络的 行为识别方法， 包括对加速度序列进行采样以保 证序列长度的一致性； 将来自不同传感器的加速 度序列分别送入平行的特征学习模块提取 Sensor Embedding； 使用Transformer  Encoder 作为多传感器特征融合模块得到融合特征； 对角 速序列采样使角速度序列长度与帧数保持一致； 来自不同传感器的角速度序列被合成角速度张 量； 角速度张量被送入一个CNN模型提取特征。 本 发明解决现实世界的运动场景往往具有很高的 复杂性， 对 行为识别任务的鲁棒性构成挑战以及 识别精度不高的问题。 权利要求书1页 说明书9页 附图2页 CN 115393961 A 2022.11.25 CN 115393961 A 1.一种基于分布式传感器融合网络的行为识别方法， 其特 征在于， 包括以下步骤： 步骤一、 对加速度序列进行采样； 将多个加速度序列分别送入平行的特征学习模块提 取Sensor  Embedding； 使用Transformer  Encoder作为多传感器特征融合模块得到 融合特 征； 加速度分支的特 征输入第一分类网络； 步骤二、 对角速序列采样； 多个角速度序列被合成角速度张量； 角速度张量被送入CNN 模型提取 特征； 角速度分支的特 征输入第二分类网络； 步骤三、 将来自加速度分支和角速度分支的分类分数送入决策级融合进行 预测。 2.根据权利要求1所述的基于分布式传感器融合网络的行为识别方法， 其特征在于， 提 取Sensor  Embedding的特征学习策略公式为： SE(i)＝AFLB(a(i) ) 其中， i∈[1,N]为传感器的编号， N表示传感器的数量； AFLB为加速度特征学习块， a(i) 表示第i个传感器的三轴加速度数据。 3.根据权利要求1所述的基于分布式传感器融合网络的行为识别方法， 其特征在于， 特 征学习模块是在AFLB块中使用一个2D卷积层 进行数据滤波； 然后使用一个2D卷积层通过注 入来自三个方向的加速度信息来增强特征表示； 在SAFLB块中使用一个2D卷积层进行数据 滤波并增强特 征表示。 4.根据权利要求1所述的基于分布式传感器融合网络的行为识别方法， 其特征在于， 使 用Transformer  Encoder作为多传感器特征融合模块得到融合特征是将Sensor  Embedding 投射到高维空间； 输入3个多头自注 意力层； 在 多头自注 意力层中， q、 k、 v分别切成了8份； 输 出的向量被输入到一个全连接网络 。 5.根据权利要求1所述的基于分布式传感器融合网络的行为识别方法， 其特征在于， CNN模型包括： 局部运动学习块、 全局运动学习块和特征学习块， 局部运动学习块分别由两 个2D卷积层和一个ReLU层构成； 在转置层中， 调整张量维度轴； 全局运动学习块分别由两个 2D卷积层、 一个Dropout层和两个最大值池化层构成； 特征图学习块分别由两个2D卷积层、 两个ReLU层、 两个MaxPo ol2d层和两个dropout层构成。 6.根据权利要求5所述的基于分布式传感器融合网络的行为识别方法， 其特征在于， CNN模型具体包括： 局部运动学习块中， 使用两个滤波器大小分别为 1×1和1×3的卷积层分 别学习在时序上单个传感器关节的特征和在 张量排列上相邻传感器关节的特征； 然后， 通 过一个转置操作， 将角速度信号轴和传感器关节轴进 行变换； 在 全局运动学习块中， 使用两 个滤波器大小为3 ×3的卷积层在通道维度学习所有关节的全局特征并输出特征图； 特征图 被输入到两个滤波器大小为3 ×3的特征图学习块中学习特征； 最后特征图被展开成一个向 量输入分类网络得到不同类别的分数。权　利　要　求　书 1/1 页 2 CN 115393961 A 2一种基于分布式传感器融合网 络的行为识别方 法 技术领域 [0001]本发明涉及计算机视觉和模式识别技术领域， 尤其涉及 一种基于分布式传感器融 合网络的行为识别方法。 背景技术 [0002]人体行为识别在计算机视觉和模式识别领域已经得到了广泛的研究并成为了最 热门的研究课题之一。 [0003]人体行为识别方法依据不同的采集设备可以分为三类： 基于 RGB传感器、 基于深度 传感器和基于惯性传感器； 但RGB传感器对环境光的变化敏感， 环 境光的变化会显著影响采 集设备记录信息的准确 性。 深度图像数据的处理需要耗费大量的计算资源； 在深度图像的 基础上提取3D骨架数据进行行为识别， 虽然显著降低了行为识别任务的计算量， 但关节坐 标的精度受姿态估计算法和视角的影响， 会出现缺失或标定错误的现象。 仅利用单个惯性 传感器固定在运动对象的局部肢体部位， 无法实现对整体运动的描述。 [0004]现实世界的运动场景往往具有很高的复杂性， 对行为识别任务的鲁棒性构成挑 战； 为了克服这个问题， 采用多模态数据融合的方案可能很有用； 与单独使用某种运动数据 相比， 采用 多模态数据融合进行行为识别的方法能够提供更高的识别精度和更强的鲁棒 性。 发明内容 [0005]针对现有算法的不足， 本发明基于加速度的分支和基于角速度的分支； 在基于加 速度的分支中， 首先对加速度序列进行采样以保证序列长度的一致性， 来自不同传感器的 加速度序列被分别送入平行的特征学习模块提取Sensor  Embedding； 再使用Transformer   Encoder作为多传感器特征融合模块得到融合特征； 来自加速度分支的特征被输入一个分 类网络的得到分类分数； 在基于角速度的分支中， 首先对角速序列采样使角速度序列长度 与帧数保持一致； 来自不同传感器的角速度序列被合成角速度张量； 然后， 角速度张量被送 入一个CNN模型提取特征； 来自角速度分支的特征被输入一个分类网络得到分类分数； 最 后， 将来自加速度分支和角速度分支的分类分数进决策级融合进行 预测。 [0006]本发明所采用的技术方案是： 一种基于分布式传感器融合网络的行为识别方法包 括以下步骤： [0007]步骤一、 对加速度序列进行采样以保证序列长度的一致性； 将来自不 同传感器的 加速度序列分别送入平行的特征学习模块提取Sensor  Embedding； 使用Transformer   Encoder作为多传感器特征融合模块得到融合特征； 来自加速度分支的特征被输入一个分 类网络的得到分类分数； [0008]进一步的， 提取Sensor  Embedding的特征学习策略公式为： [0009]SE(i)＝AFLB(a(i) ) [0010]其中， SE为Sensor  Embedding的缩写， i∈[1,N]为传感器的编号， N表示传感器的说　明　书 1/9 页 3 CN 115393961 A 3