(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210705810.1 (22)申请日 2022.06.21 (71)申请人 武汉中观自动化科技有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区光谷大道308号(凤凰园中路交汇 处)光谷动力节能环保产业园内6号楼 5层15号 (72)发明人 高俊辉　 (74)专利代理 机构 武汉智嘉联合知识产权代理 事务所(普通 合伙) 42231 专利代理师 张璐 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/40(2006.01) G06T 7/00(2017.01)G06T 7/557(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 光场三维重建方法、 装置、 电子设备及计算 机存储介质 (57)摘要 本发明涉及一种光场三维重建方法、 装置、 电子设备及计算机存储介质， 其方法包括： 基于 光场相机采集目标物体的光场数据， 其中， 所述 光场数据包括目标物体的光场图像及所述光场 图像的相位信息； 将所述光场图像输入到预先训 练完备的光流网络模型中， 输出超分辨光场图 像； 基于所述光场图像的相位信息计算所述目标 物体的视差信息， 并根据所述视差信息与预先确 定的场景中视差与深度的映射关系确定目标物 体的深度信息； 根据所述超分辨光场图像与所述 深度信息对 所述目标物体进行光场三维重建。 本 发明可以基于已训练的光流网络模型对目标物 体进行高精度的光场重建， 提高了光场三维重建 的效率和精度。 权利要求书2页 说明书11页 附图6页 CN 115100352 A 2022.09.23 CN 115100352 A 1.一种光场三维重建方法， 其特 征在于， 包括： 基于光场相机采集目标物体的光场数据， 其中， 所述光场数据包括目标物体的光场图 像及所述 光场图像的相位信息； 将所述光场图像输入到预 先训练完备的光 流网络模型中， 输出超分辨 光场图像； 基于所述光场图像的相位信 息计算所述目标物体的视差信 息， 并根据 所述视差信 息与 预先确定的场景中视 差与深度的映射关系确定目标物体的深度信息； 根据所述超分辨 光场图像与所述深度信息对所述目标物体进行光场三维重建。 2.根据权利要求1所述的光场 三维重建方法， 其特征在于， 所述光流网络模型包括光流 网络与亚像素 卷积网络； 利用高分辨率的光场图像组成训练集对所述光流网络进行训练， 并将重建图像的像素 均方误差作为训练所述 光流网络的目标函数； 将光流网络与亚像素 卷积网络的复合损失函数确定为所述 光流网络模型的损失函数。 3.根据权利要求2所述的光场 三维重建方法， 其特征在于， 所述光场图像包括光场子孔 径图像； 所述将所述光场图像输入到预先训练完备的光流网络模型中， 输出超分辨光场图像， 包括： 利用所述光流网络计算相邻光场子孔径图像之间的亚像素偏移， 得到偏移配准的光场 子孔径图像； 利用所述亚像素卷积网络对所述偏移配准的光场子孔径图像进行特征计算， 得到所述 超分辨光场图像。 4.根据权利要求3所述的光场 三维重建方法， 其特征在于， 所述利用所述光流网络计算 相邻光场子孔径图像之间的亚像素偏移， 得到偏移配准的光场子孔径图像， 包括： 利用第一卷积层与第 一上采样层计算所述相邻光场子孔径图像的第 一特征， 得到初始 光流； 将所述初始光流与目标位置的光场子孔径图像进行翘曲变换得到目标位置光场子孔 径图像的初始变形图像； 利用第二卷积层与第二上采样层计算初始变形图像、 初始光流、 和所述相邻光场子孔 径图像的第二特 征， 得到精细光 流； 利用激活层中的子孔径偏移量将初始光流、 精细光流和目标位置的子孔径图像进行翘 曲变换偏移配准的光场子孔径图像， 其中， 所述子孔径偏移 量由初始 光流、 精细光流和目标 位置的子孔径图像确定 。 5.根据权利要求3所述的光场 三维重建方法， 其特征在于， 利用所述亚像素卷积网络对 所述偏移配准的光场子孔径图像进行 特征计算， 得到所述超分辨 光场图像， 包括： 对所述偏移配准的光场子孔径图像进行像素重组， 得到 重组后的超分辨 光场图像； 所述对所述偏移配准的光场子孔径图像进行像素重组， 包括： 将所述偏移配准的光场子孔径图像的像素划分成多个亚像素点， 并将特征图基于像素 位置填充至所述多个亚像素点中， 完成对所述偏移配准的光场子孔径图像的像素重组。 6.根据权利要求1所述的光场 三维重建方法， 其特征在于， 确定场景中视差与深度的映 射关系， 包括：权　利　要　求　书 1/2 页 2 CN 115100352 A 2利用预设标定法对光场相机进行参数化标定； 确定参数化标定后场景中视差与深度的映射关系： 其中， zc表示场景 深度， Δx表示场景视差， u表示物距， v表示像距， q表示成像传感器上每个像素的大小， b表 示微透镜阵列与成像传感器之间的距离 。 7.根据权利要求1所述的光场 三维重建方法， 其特征在于， 在进行光场数据采集前对目 标物体进行相位编码和相位解算， 并采集经过相位编码和相位解算的目标物体的光场数 据； 所述基于所述 光场图像的相位信息计算所述目标物体的视 差信息， 包括： 根据相位信息在极平面图中呈现的直线特 征确定所述目标物体的视 差信息。 8.一种光场三维重建装置， 其特 征在于， 包括： 采集模块， 用于基于光场相机采集目标物体的光场数据， 其中， 所述光场数据包括目标 物体的光场图像及所述 光场图像的相位信息； 输出模块， 用于将所述光场图像输入到预先训练完备的光流网络模型中， 输出超分辨 光场图像； 计算模块， 用于基于所述光场图像的相位信息计算所述目标物体的视差信息， 并根据 所述视差信息与预 先确定的场景中视 差与深度的映射关系确定目标物体的深度信息； 重建模块， 用于根据 所述超分辨光场图像与所述深度信 息对所述目标物体进行光场 三 维重建。 9.一种电子设备， 其特征在于， 包括存储器和处理器， 其中， 所述存储器， 用于存储程 序； 所述处理器， 与所述存储器耦合， 用于执行所述存储器中存储的所述程序， 以实现上述 权利要求1至7中任一项所述 光场三维重建方法中的步骤。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机可读取的程序或指令， 所 述程序或指令被处理器执行时， 能够实现上述权利要求 1至7中任一项 所述光场三 维重建方 法中的步骤。权　利　要　求　书 2/2 页 3 CN 115100352 A 3