(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221089680 3.4 (22)申请日 2022.07.28 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 安平　孟春丽　黄新彭　杨超　 (74)专利代理 机构 上海恒慧知识产权代理事务 所(特殊普通 合伙) 31317 专利代理师 徐红银　张琳 (51)Int.Cl. G06V 20/69(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的无参考光场图像质量 评价方法及系统 (57)摘要 本发明提供一种基于深度学习的无参考光 场图像质量评价方法， 包括： 对基于微透镜成像 的光场透镜图像进行预处理， 获得面向神经网络 的输入数据； 将所述输入数据输入 卷积神经网络 先后学习了光场角度特征、 空间特征以及角度 ‑ 空间融合特征； 基于所述角度 ‑空间融合特征预 测获得一个质量预测值。 本发明利用了卷积神经 网络来分析光场图像的角度 ‑空间特性， 与其他 无参考质量评价方法相比， 具有更好的准确性。 权利要求书2页 说明书8页 附图3页 CN 115147836 A 2022.10.04 CN 115147836 A 1.一种基于深度学习的无参 考光场图像质量评价方法， 其特 征在于， 包括： 对基于微透 镜成像的光场透 镜图像进行 预处理， 获得面向神经网络的输入数据； 将所述输入数据输入卷积神经网络先后学习了光场角度特征、 空间特征以及角度 ‑空 间融合特 征； 基于所述角度 ‑空间融合特 征预测获得一个质量预测值。 2.根据权利要求1所述的一种基于深度学习的无参考光场图像质量评价方法， 其特征 在于， 所述对基于微透镜成像的光场透镜图像进行预处理， 获得面向卷积神经网络的输入 数据， 包括： 将所述透 镜图像剪 裁为包含若干个宏像元的像素块； 将所述像素块进行局部归一 化， 获得输入数据。 3.根据权利要求1所述的一种基于深度学习的无参考光场图像质量评价方法， 其特征 在于， 将所述输入数据输入 卷积神经网络先后学习了光场角度特征、 空间特征以及角度 ‑空 间融合特 征， 包括： 利用大步长参数的卷积层提取 所述输入图像的角度特 征， 得到宏像元 特征图一； 利用空洞卷积层分离所述宏像元特征图一的角度和 空间信息， 提取空间特征， 得到宏 像元特征图二； 利用最大池化层对宏像元特征图二进行非线性处理， 利用残差网络提取非线性处理后 的特征图的角度 ‑空间融合特 征。 4.根据权利要求3所述的一种基于深度学习的无参考光场图像质量评价方法， 其特征 在于， 所述大步长参数 的卷积层中步长与其卷积核尺寸相等， 且卷积核尺寸可被光场的角 度分辨率大小整除。 5.根据权利要求3所述的一种基于深度学习的无参考光场图像质量评价方法， 其特征 在于， 所述空洞卷积层的扩张率 参数与所述宏像元 特征图一中角度信息分辨 率大小相同。 6.根据权利要求3所述的一种基于深度学习的无参考光场图像质量评价方法， 其特征 在于， 所述最大池化层作用于宏像元特征图二的最大池化层进行角度信息的非线性整合， 得到反映空间信息分布的特 征； 所述残差模块的数量 为4个， 对最后做 平均池化时的特 征图的尺寸进行限定 。 7.根据权利要求1所述的一种基于深度学习的无参考光场图像质量评价方法， 其特征 在于， 所述基于角度 ‑空间融合特 征预测获得一个质量预测值， 包括： 将所述角度 ‑空间融合特征输入全局平均池化层， 融合残差网络最后输出的每个通道 的特征分布， 得到每 个通道的特 征值； 将每个通道的特 征值经全连接层输出最终的质量预测值。 8.根据权利要求1 ‑7任一项所述的一种基于深度学习的无参考光场图像质量评价方 法， 其特征在于， 所述卷积神经网络利用损失函数MAE计算所述质量预测值与主观值间的误 差。 9.一种基于深度学习的无参 考光场图像质量评价系统， 其特 征在于， 包括： 预处理模块， 所述预处 理模块对透 镜图像进行 预处理， 获得面向神经网络的输入数据； 卷积神经网络模块， 所述输入数据输入卷积神经网络模块先后学习了光场角度特征、 空间特征以及角度和空间融合特 征；权　利　要　求　书 1/2 页 2 CN 115147836 A 2预测模块， 所述预测模块基于所述角度和空间融合特 征预测一个质量预测值。 10.根据权利要求9所述的一种基于深度学习的无参考光场图像质量评价系统， 其特征 在于， 所述预处 理模块， 包括： 剪裁单元， 所述剪裁单元将基于微透镜成像的光场透镜图像剪裁为包含数个宏像元的 像素块； 局部归一 化单元， 局部归一 化单元对所述像素块进行局部归一 化， 获得输入数据； 所述卷积神经网络模块， 包括： 角度特征提取单元， 所述角度 特征提取单元利用大步长参数的卷积层提取所述输入图 像的角度特 征， 得到宏像元 特征图一； 空间特征提取单元， 所述空间特征提取单元利用空洞卷积层 分离所述宏像元特征图一 的角度和空间信息， 提取空间特 征， 得到宏像元 特征图二； 角度‑空间融合特征提取单元， 角度 ‑空间融合特征提取单元利用最大池化层对宏像元 特征图二进行非线性处 理， 再利用残差网络模块 提取角度 ‑空间融合特 征； 所述预测模块， 包括： 全局平均池化层， 所述全局平均池化层融合残差网络最后输出的每个通道的特征分 布， 得到每 个通道的特 征值； 全连接层， 所述全连接层将所有通道的特 征值回归成一个质量预测值。权　利　要　求　书 2/2 页 3 CN 115147836 A 3