(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210896558.7 (22)申请日 2022.07.27 (71)申请人 长春理工大 学 地址 130022 吉林省长 春市卫星路7186号 长春理工大 学南区科技大厦b16 (72)发明人 权巍　胡汉平　韩成　李华　王超　 蔡永青　李林轩　 (74)专利代理 机构 吉林长春新纪元专利代理有 限责任公司 2 2100 专利代理师 王薇 (51)Int.Cl. G06Q 10/06(2012.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双模态网络的VR病评估方法 (57)摘要 本发明涉及一种基于双模态网络的VR病评 估方法， 其特征在于： 首先， 在2D ‑ResNet50模型 的基础上， 将所有卷积核扩展成3D卷积核， 基于 3D‑ResNet构建外观流和运动流子网络； 然后， 将 3D卷积引入到2D ‑CBAM注意力机制中， 在两个子 网络中分别添加注意力模块， 对通道及空间上的 特征进行加强； 最后， 采用加权平均后端融合方 法实现VR病评估； 其提高了VR病评估网络的性 能， 有效地 提升了预测精度。 权利要求书2页 说明书5页 附图1页 CN 115147004 A 2022.10.04 CN 115147004 A 1.一种基于双模态网络 的VR病评估方法， 其特征在于： 首先， 在2D ‑ResNet50模型的基 础上， 将所有卷积核扩展成3D卷积核， 基于3D ‑ResNet构建外观 流和运动流子网络； 然后， 将 3D卷积引入到2D ‑CBAM注意力机制中， 在两个子网络中分别添加注 意力模块， 对通道及空间 上的特征进行加强； 最后， 采用加权平均后端融合方法实现VR病评估； 其具体的步骤如下： 步骤1： 构建外观流子网络进行VR病评估， 包括如下子步骤： 步骤101： 将360 °VR彩色视频的每一帧图像缩小， 并裁剪到112 ×112的固定尺寸； 并将 视频分解多个连续帧组， 每 个组中包括连续 L帧图像； 步骤102： 按照VR视频主观VR病评分值将其划分为： 舒适、 轻度不适、 中度不适、 重度不 适四个类别， 将分类结果作为模型训练的真值； 步骤103： 在传统2D ‑ResNet50的基础上， 保持网络结构不变， 将所有卷积核扩展为3D卷 积核， 使得卷积核可在时间维度图像 帧序列上进行滑动卷积操作； 改进的外观流子网络的 Conv1、 Conv2_x、 Conv3_x、 Conv4_x、 Conv5_x层的输入大小分别为： L ×112×112、 L×56× 56、 网络结构配置分别为： 7 ×7×7， 64， stride  2， 在逐层 提取特征后接入 全连接层， 利用Softmax分类 器和交叉熵损失函数进行分类； 步骤104： 将传统2D ‑CBAM注意力机制扩展为3D结构， 在每一次提取通道特征与空间特 征时考虑 深度参数的变化， 对于输入特征图F3D， 按照通道 ‑空间的顺序分别计算通道注意力 特征图MCA以及空间注意力特 征图MSA： 其中， σ 代表Sigmoid激活函数， ω0,ω1为权重， 且ω0∈RC/r×C， C为通道数， ω1∈RC×C/r， 且对于 和 是共享的； 和 为特征图F3D分别通过最大池化和平均池化操作解 算出的两个特征描述子, 参数r通常取 16； MLP为CBAM注意力模型中的一个隐藏层， 即共享多层 感知机； f7×7×7代表7×7×7的3D卷 积层； 和 为F'3D分别通过最大池 化和平均池化操作解算出 的两个特 征描述子, 注意力模块的输出 特征图为F"3D： 在外观流子网络Conv1层3D卷积之后以及Conv2_x等四层的每个残差块之后分别加入 3D‑CBAM模块；权　利　要　求　书 1/2 页 2 CN 115147004 A 2步骤105： 以彩色视频连续帧组图像作 为外观流子 网络的输入， 每个图像3通道 ×112像 素×112像素， 进行训练； 步骤2： 构建运动流子网络进行VR病评估， 包括如下子步骤： 步骤201： 采用FlowNet2.0算法获取360 °VR彩色视频的光流图序列； 重复步骤101， 获取 到每个视频的多个连续 光流图序列组； 并将步骤102的分类结果作为模型训练的真值； 步骤202： 重复步骤103、 104构建运动流子网络， 以连续光流图序列组中的图像作为网 络的输入， 每 个图像2通道 ×112像素×112像素， 进行训练； 步骤3： 采用后端融合的方式， 将外观流子网络和运动流子网络的输出进行加权平均融 合得到最终的VR病评估结果Avera ge_f: 其中， 权值 wi≥0， 且 T＝2， P(xi)表示两个子网络的输出 结果。权　利　要　求　书 2/2 页 3 CN 115147004 A 3