(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211084526.3 (22)申请日 2022.09.06 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 郭大庆　蔡吴缺　尧德中　 (74)专利代理 机构 成都虹盛汇泉专利代理有限 公司 51268 专利代理师 王伟 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于时空融合注意力脉冲神经网络的 动态图像识别方法 (57)摘要 本发明公开一种基于时空融合注意力脉冲 神经网络的动态图像识别方法， 应用于动态图像 识别领域， 针对现有技术面对具有时间信息的动 态数据时， 没有办法处理动态数据在时间方向传 递的具有时空特性的噪声和干扰的问题； 本发明 借鉴生物的预测性特征重映射理论， 将提取到的 时空特征通过注意力模块转换为时空注意力张 量， 通过膜电位继承 过程中在时间方向调整下一 时刻的时空特征图； 本发明能够在小参数量的网 络结构下， 高效的生成时空注意力张量， 改善了 脉冲神经网络在时空动态 图像识别中难以提取 时空特征的难题， 在引导特征提取的同时， 减弱 了沿时间方向的噪声干扰， 使得脉冲神经网络高 效地识别时空图像 。 权利要求书2页 说明书4页 附图3页 CN 115424351 A 2022.12.02 CN 115424351 A 1.一种基于时空融合注意力脉冲神经网络的动态图像识别方法， 其特 征在于， 包括： A1、 获取待处 理的动态图像； A2、 构建基于时空融合注意力的脉冲神经网络； A3、 将步骤A1的待 处理的动态图像输入步骤A2构 建的基于时空融合注意力的脉冲神经 网络中， 得到识别结果。 2.根据权利要求1所述的一种基于时空融合注意力脉冲神经网络的动态图像识别方 法， 其特征在于， 步骤A2所述构建基于时空融合注意力的脉冲神经网络， 包括： 输入模块、 时 空特征提取模块、 注意力模块以及输出模块； 所述输入模块用于对输入的动态图像进行分 帧按时间顺序输入到时空特征提取模块， 所述时空特征提取模块用于对输入的数据提取时 空特征； 注意力模块将时空特征转换为注意力张量； 在时空特征提取模块中还包括时空特 征调整单元， 所述时空特征调整单元根据注意力张量对时空特征进行调整； 输出模块根据 调整后的时空特 征输出识别结果。 所述时空特 征调整单 元将注意力张量与时空特 征相乘， 得到调整后的时空特 征。 3.根据权利要求2所述的一种基于时空融合注意力脉冲神经网络的动态图像识别方 法， 其特征在于， 所述时空特征提取模块包括若干卷积层和若干全连接层， 通过卷积层逐层 提取越图像特 征， 每一层卷积层都对应了Batc hNorm层和一个注意力模块。 4.根据权利要求3所述的一种基于时空融合注意力脉冲神经网络的动态图像识别方 法， 其特征在于， 时空特征调整单元通过膜电位继承过程中在时间方向调整下一时刻的时 空特征图； 具体的： 针对时空特征提取模块的卷积层， 将t时刻l层生 成的注意力张量Ul,t， 作 用于脉冲神经网络的膜电位继承过程， 公式如下： 其中， 是Hadamard积， 表示矩阵对应元素相乘， Vl,t是在t时刻l层所有神经元的膜电位 张量， Sl,t是t时刻l层所有神 经元的激活状态张量， κτ是膜电位衰减系数， 即脉冲神经网络 中的循环连接 权重， Wj是l‑1层神经元j到l层的突触连接 权重。 5.根据权利要求4所述的一种基于时空融合注意力脉冲神经网络的动态图像识别方 法， 其特征在于， 注意力模块将时空特征转换为注意力张量， 所述注意力张量具体为： 通道 和空间维度的注意力张量， 注意力张量表达式为： 其中， 是通道注意力， 是空间注意力。 6.根据权利要求5所述的一种基于时空融合注意力脉冲神经网络的动态图像识别方 法， 其特征在于， 通道 注意力由空间压缩通道激活生成： 其中， H和W分别为特征图的高和宽， 和 是线性函数权重， 为实权　利　要　求　书 1/2 页 2 CN 115424351 A 2数集， r是压缩系数。 7.根据权利要求6所述的一种基于时空融合注意力脉冲神经网络的动态图像识别方 法， 其特征在于， 空间注意力由通道压缩空间激活生成： 其中， 是卷积权重， b是卷积的偏置 。权　利　要　求　书 2/2 页 3 CN 115424351 A 3