(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211086886.7 (22)申请日 2022.09.07 (71)申请人 广东博华超高清创新中心有限公司 地址 518116 广东省深圳市龙岗区龙城街 道黄阁坑社区腾飞路9号创投大厦 3701 申请人 深圳龙岗智能视听研究院 (72)发明人 张伟民　张世雄　魏文应　黎俊良　 李若尘　安欣赏　 (74)专利代理 机构 北京京万通知识产权代理有 限公司 1 1440 专利代理师 万学堂　王跃交 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多模态采集的高帧率超分辨率的 提升方法 (57)摘要 本发明提供了一种基于多模态采集的高帧 率超分辨率的提升方法， 包括以下步骤： S1.采集 数据； S2.获取帧数据； S3.获取事件数据； S4.滑 动重建； S5.事件特征提取； S6.帧特征提取； S7. 特征融合； S8.内容生成； S9.编码输 出。 本发明方 法主要采用两种模态的图像采集设备的数据进 行智能融合， 将低帧率、 低分辨率的视频提升成 为高帧率、 高分辨率的视频， 解决了事件相机的 数据重建问题以及两种模态数据特征的融合问 题。 权利要求书2页 说明书5页 附图1页 CN 115393194 A 2022.11.25 CN 115393194 A 1.一种基于多模态采集的高帧率超分辨 率的提升方法， 其特 征在于， 包括以下步骤： S1.采集数据： 利用事 件相机和传统相机在固定位置同时采集相应的数据； S2.获取帧数据： 所述传统相机数据采用帧的形式输入到系统中； S3.获取事件数据： 事件数据采用像素点的传输方式， 将每个独立的事件像素点输入到 系统中； S4.滑动重建： 将步骤S3中获取的所述事件数据重建为二维的矩阵， 使用滑动窗方法实 现对所述事 件数据的重建， 并将重建后的数据输入到特 征提取网络中； S5.事件特征提取： 利用所述特征提取网络中的事件数据的特征提取网络对重建后的 事件数据进行 特征提取； S6.帧特征提取： 利用所述特征提取网络中的帧数据的特征提取网络对帧数据进行特 征提取； S7.特征融合： 将步骤S5和步骤S6中分别提取的事件特征和帧特征， 利用时间注意力模 型进行特征的融合； S8.内容生成： 将步骤S7中 融合的特 征进行视频帧超分重建； S9.编码输出： 将步骤S 8中生成的视频帧利用A VS3编码技 术进行视频编码后进行输出。 2.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法， 其特征在于， 在步骤S1 中， 所述事件相机和所述传统相机应固定在同一水平线 上， 相互间隔不超过20c m， 同时启动所述事 件相机和所述传统相机进行 数据采集。 3.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法， 其特征在于， 在步骤S4中， 利用所述滑动时间窗将该窗口囊括的所有事件像素进行二维重建， 所述滑动 时间窗可以兼顾事件 数据的上下关联， 事件像素分布在 x、 y、 t组成的三 维空间内， 滑动窗口 t1、 t2、 t3……tn， 除了初始 t1外， 其他的窗口都是包 含上一个窗口包 含内容的一半信息 。 4.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法， 其特征在于， 在步骤S5中， 所述特征提取网络分为两个分支： 事件数据的特征提取网络和帧数据的特征 提取网络， 所述事件数据的特征提取网络由6层卷积网络组成， 其输入为重建后的事件数 据； 所述帧数据的特征提取网络由9层卷积网络组成， 其输入为帧数据， 输入重建的事件数 据和帧数据应该对应， 所述事 件数据的时间的结束时间应对应帧数据的采集时间。 5.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法， 其特征在于， 在步骤S7中， 将所述事件特征和所述帧特征按照权重比例进行融合， 将所述事件特征和所 述帧特征 的权重分别设置为3:7， 融合后的特征在所述时间注意力模型网络中进行注意力 特征提取， 所述时间注 意力模型网络在GRU 结构中包含着上一时刻帧的信息， 通过上一帧的 隐藏状态ht,与当前帧的状态ht+1来计算当前帧的注意力权重， 并利用注意力权重优化优化 融合后的特 征， 将优化后的特 征输出进行 下一个阶段的处 理。 6.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法， 其特征在于， 在步骤S8中， 包括两部分内容： 超分重建和插帧重建， 基于步骤S7中融合的特征， 利用训练 好的生成器来进行图像的重建， 其中生成器来 自于StyleGAN网络， 并生成具有高分辨率的 图像帧； 在插帧重建部分， 利用所述事件数据的光流特征， 对相邻的图像帧进行加帧， 通过 利用flownet计算两个阶段的重建事件数据的光流特征， 根据光流特征计算像素运动的偏 移量， 并根据像素运动的偏移量结合前后视频帧的来进行插帧， 前后帧视频帧是经过超分权　利　要　求　书 1/2 页 2 CN 115393194 A 2重建的视频帧。权　利　要　求　书 2/2 页 3 CN 115393194 A 3