(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210980536.9 (22)申请日 2022.08.16 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 李彬　李江娇　高梦奇　刘丽霞　 张友梅　张明亮　张瑜　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李圣梅 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于Tran sformer的跌倒检测方法与系 统 (57)摘要 本发明提供一种基于Transformer的跌倒检 测方法与系统， 涉及人工智能技术领域， 该方法 包括： 获取包括连续的多帧图像的图像序列， 并 将多帧图像中的最后一帧图像所对应的标签作 为该图像序列的分类标签； 对图像序列中的多帧 图像进行预处理， 得到预设维度的特征图； 将特 征图进行拉直操作， 并与分类标签一起输入至预 先构建的倒三角网络中， 对所述倒三角网络输出 得到的空间特征进行特征融合， 组成新的分类标 签； 根据新的分类标签提取多帧图像 之间的时间 特征， 使用全连接网络进行分类， 完成跌倒检测 的二分类。 这样， 通过提取连续的多帧图像之间 的空间特征和时间特征， 并使用全 连接网络进行 分类， 可以增强对人跌倒事件的识别 能力， 提高 跌倒检测结果的正确率。 权利要求书2页 说明书7页 附图4页 CN 115359557 A 2022.11.18 CN 115359557 A 1.一种基于Transformer的跌倒检测方法， 其特 征在于， 包括： 获取包括连续的多帧图像的图像序列， 并将多帧图像中的最后一帧图像所对应的标签 作为该图像序列的分类标签； 对所述图像序列中的多帧图像进行 预处理， 得到预设维度的特 征图； 将所述特征图进行拉直操作， 并与所述分类标签一起输入至预先构建的倒三角网络 中， 对所述倒三角网络输出得到的空间特征进行特征融合， 组成新的分类标签； 其中， 所述 倒三角网络包括两个前后连接的Pooling ‑Transformer网络， 在Tran sformer编码 模块里的 多头注意力机制和多层感知机之间， 加入了池化操作， 得到所述Pooling ‑Transformer网 络； 根据新的分类标签提取多帧图像之间的时间特征， 使用全连接网络进行分类， 完成跌 倒检测的二分类。 2.如权利要求1所述的基于Transformer的跌倒检测方法， 其特征在于， 所述对图像序 列中的多帧图像进行 预处理， 得到预设维度的特 征图， 包括： 对所述图像序列中的多帧图像进行层归一化处理之后， 利用预先构建的图像缩减模块 将多帧图像分别转化为预设维度的特征图； 所述图像缩减模块包括两个卷积层和两个池化 层， 每一个卷积和池化操作， 都将图像的宽高缩减为原来的二分之一， 通道数变为原来的二 倍。 3.如权利要求2所述的基于Transformer的跌倒检测方法， 其特征在于， 通过以下方式 对特征图进行拉直操作： 将特征图按照预设大小进行分块， 然后与通道数进行维度合并， 得到特定维度的图像 张量； 对所述图像张量进行编码， 并在该图像张量上加入位置编码， 然后进行维度合并， 得 到拉平后的图像张量。 4.如权利要求3所述的基于Transformer的跌倒检测方法， 其特征在于， 将拉平后的图 像张量和分类标签进行拼接后输入至倒三角网络中， 经过两个前后连接的Pooling ‑ Transformer网络， 输出 得到多帧图像的空间特 征。 5.如权利要求4所述的基于Transformer的跌倒检测方法， 其特征在于， 在Pooling ‑ Transformer网络中， 将多头注 意力机制输出的图像张量设为X， 将图像张量X的维度进 行重 塑， 然后通过平均池化操作和最大池化操作将图像张量X的宽高变为原 来的二分之一， 将平 均池化和 最大池化的结果在通道维度上进行拼接， 通道数变为了原来的二倍， 最后再一次 进行重塑， 完成拉直操作。 6.如权利要求5所述的基于Transformer的跌倒检测方法， 其特征在于， 将倒三角网络 的输出空间特征分离为图像张量和分类标签； 将所分离的图像张量重塑为四个维度， 并在 其通道维度上进行全局平均池化操作， 将通道维度缩减为 1维， 从而将四维图像张量降维成 了三维张量； 降维成三维张量之后， 将分离为图像张量和分类标签在宽高维度上进行拼接， 然后在 拼接的维度上进行一次全局池化操作， 得到新的分类标签。 7.如权利要求1所述的基于Transformer的跌倒检测方法， 其特征在于， 将新的分类标 签输入Transformer编码模块中， 在 多帧图像之间进行多头自注 意力机制的运算， 然后经过 多层感知机模块， 得到多帧图像之间的时间特 征。权　利　要　求　书 1/2 页 2 CN 115359557 A 28.一种基于Transformer的跌倒检测系统， 其特 征在于， 包括： 获取模块， 用于获取包括连续的多帧图像的图像序列， 并将多帧图像中的最后一帧图 像所对应的标签作为该图像序列的分类标签； 预处理模块， 用于对所述图像序列中的多帧图像进行 预处理， 得到预设维度的特 征图； 特征融合模块， 用于将所述特征图进行拉直操作， 并与所述分类标签一起输入至预先 构建的倒三角网络中， 对所述倒三角网络输出得到的空间特征进行特征融合， 组成新的分 类标签； 其中， 所述倒三角网络包括两个前后连接的Pooling ‑Transformer网络， 在 Transformer编码模块里的多头注 意力机制和多层感知机 之间， 加入了池化操作， 得到所述 Pooling‑Transformer网络； 跌倒检测模块， 用于根据新的分类标签提取多帧图像之间的时间特征， 使用全连接网 络进行分类， 完成跌倒检测的二分类。 9.一种计算机设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当计算机设备运行时， 所述处理器与所述存储器之间通过 总线通信， 所述机器可读指 令被所述处理器执行时执行如权利要求 1至7任一项 所述的基于 Transformer的跌倒检测方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的基于 Transformer的跌倒检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115359557 A 3