(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210724367.2 (22)申请日 2022.06.23 (71)申请人 未来科技 （襄阳） 有限公司 地址 441000 湖北省襄阳市高新区樊魏路 红星国际写字楼 A4栋5楼 (72)发明人 贺曙　徐万良　 (74)专利代理 机构 深圳市中原力和专利商标事 务所(普通 合伙) 44289 专利代理师 胡国良 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/00(2011.01) (54)发明名称 3D图像生成方法、 装置及计算机设备 (57)摘要 本发明提供一种3D图像生 成方法、 装置及计 算机设备， 对彩色图像中存在为空洞的像素点进 行填补， 以生成没有空洞的3D图像。 该方法包括： 分离目标2D图像， 得到初始彩色图像和初始深度 图像； 关联处理所述初始彩色图像和所述初始深 度图像， 分别对应得到第一彩色图像和目标深度 图像， 所述目标深度图像包括多个基准像素点； 根据所述基准像素点的深度值确定目标像素点， 其中所述目标像素点是第一彩色图像中存在为 空洞的像素点； 根据所述基准像素点， 确定所述 目标像素点的空洞填补值， 进行填补并生成目标 彩色图像， 所述目标彩色图像为所述第一图像中 的空洞填补后得到； 交织所述初始彩色图像和所 述目标彩 色图像， 生成目标3D图像 。 权利要求书3页 说明书11页 附图7页 CN 115205452 A 2022.10.18 CN 115205452 A 1.一种3D图像生成方法， 其特 征在于， 包括： 分离目标2D图像， 得到初始彩色图像和初始深度图像； 关联处理所述初始彩色图像和所述初始深度图像， 分别对应得到第 一彩色图像和目标 深度图像， 所述目标深度图像包括多个 基准像素点； 根据所述基准像素点的深度值确定目标像素点， 其中所述目标像素点是第 一彩色图像 中存在为空洞的像素点； 根据所述基准像素点， 确定所述目标像素点的空洞填补值， 进行填补并生成目标彩色 图像； 交织所述初始彩色图像和所述目标彩色图像， 生成目标3D图像。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述基准像素点， 确定所述目标 像素点的空洞填补值的步骤 包括如下步骤： 设置所述基准像素点遍历的预设路径， 所述预设路径设置 于所述目标深度图像； 基于所述基准像素点的坐标对所述预设路径进行遍历， 确定符合预设条件的第 一目标 像素点和第二目标像素点； 根据所述第一目标像素点的坐标和所述第二目标像素点的坐标确定所述空洞填补值。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一目标像素点的坐标和所 述第二目标像素点的坐标确定所述空洞填补值的步骤 包括如下步骤： 若所述第一目标像素点的深度值小于所述第 二目标像素点的深度值， 则将所述第 一彩 色图像中与所述第一目标像素点 坐标相同像素点的像素值确定为所述空洞填补值； 若所述第一目标像素点的深度值大于或等于所述第 二目标像素点的深度值， 则将所述 第一彩色图像中与所述第二目标像素的坐标相同像素点的像素值确定为所述空洞填补值。 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述基准像素点的深度值确定目 标像素点的步骤 包括如下步骤： 若满足Id2(x,y)≤0， 则确定所述第一彩色图像中坐标为(x,y)的像素点为存在为空洞 的所述目标像素点， 其中， Id2为所述目标深度图像， Id2(x,y)为所述基准像素点的深度值， 所述基准像素点 为所述目标深度图像中坐标为(x,y)的像素点。 5.根据权利要求1所述的方法， 其特征在于， 所述关联处理所述初始彩色图像和所述初 始深度图像， 分别对应得到第一彩色图像和目标深度图像的步骤 包括如下步骤： 确定第一深度图像所对应的初始点云， 所述第 一深度图像为所述初始深度图像重映射 后的图像； 通过预设相对位移对所述初始点云中每 个点的坐标进行调整， 得到目标点云； 对所述目标点云中的每个点的坐标进行处理， 得到参比图像， 所述参比图像为与所述 初始深度图像的尺寸相匹配深度图像； 根据所述参比图像中像素点的深度值对所述初始彩色图像中的像素点以及所述初始 深度图像中的像素点进行处 理， 得到所述第一彩色图像和所述目标深度图像。 6.根据权利要求5所述的方法， 其特征在于， 所述对所述目标点云中的每个点的坐标进 行处理， 得到参比图像的步骤 包括如下步骤： 通过如下公式确定所述 参比图像： Z(x,y)＝mi n(Z(IP.x+1,IP.y+1),FltEr r)；权　利　要　求　书 1/3 页 2 CN 115205452 A 2其中， Z为所述参比图像， Z(x,y)为所述参比图像中坐标为(x,y)像素点的深度值， Z (IP.x+1,IP.y+1)为所述参比图像中坐标为(IP.x+1,IP.y+1)像素点的深度值， Flt Err＝A‑ w/2/z0， min为将Z(IP.x+1,IP.y+1)和FltEr r二者中取值小的值赋值给Z(x,y)； IP＝LP+Dis*DLP， Dis＝(P P‑LP)*PN， DLP＝ ‑LP， A为所述参比图像的初始深度 值， w为所述第一深度图像的宽度， (x0,y0,z0)为所述目标点云中的任一点的坐标， IP.x为 点IP坐标的x值， IP.y为所述 点IP坐标的y值。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述参比图像中像素点的深度值 对所述初始彩色图像中的像素点以及所述初始深度图像中的像素点进 行处理， 得到所述第 一彩色图像和所述目标深度图像的步骤 包括如下步骤： 通过如下公式对所述初始彩色图像进行处 理， 以得到所述第一彩色图像： Ic1(IP.x,IP.y)＝ Ic(x,y)*((Z(x,y)+1)＞FltEr r)； 其中， Ic为所述初 始彩色图像， Ic1为所述第一 彩色图像， Ic(x,y)为所述初 始彩色图像中 坐标为(x,y)像素点的像素值， Z(x,y)为所述参比图像中坐标为(x,y)的像素点的深度值， Ic1(IP.x,IP.y)为所述第一彩色图像中坐标为(IP.x,IP.y)像素点的像素值； 通过如下公式对所述初始深度图像进行处 理， 以得到所述目标深度图像： Id2(IP.x,IP.y)＝ Id(x,y)*((Z(x,y)+1)＞FltEr r)； 其中， Id为所述初 始深度图像， Id2为所述目标深度图像， Id(x,y)为所述初 始深度图像中 坐标为(x,y)像素点的深度值， Id2(IP.x,IP.y)为所述目标深度图像中坐标为(IP.x,IP.y) 像素点的深度值。 8.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述关联处理所述初始彩色图 像和所述初始深度图像， 分别对应得到第一彩色图像和目标深度图像的步骤包括如下步 骤： 确定所述目标3D图像的预设景深， 所述目标3D图像在x轴上的所述预设景深为nx0至 nx1， 在y轴上的所述预设景深为 ny0至ny1； 通过如下公式确定所述预设景深与所述初始深度图像深度范围的比值： DepthRate X＝(nx1‑nx0)/(Dmax ‑Dmin)， DepthRateY＝(ny1 ‑ny0)/(Dmax ‑Dmin)， 其中， DepthRateX为x轴上所述预设景深与所述初始图像深度范围的比值， DepthRateY 为y轴上所述预设景深与所述初始图像深度范围的比值， Dmax为所述初始深度图像的最大 深度值， Dmi n为所述初始深度图像的最小深度值； 通过如下公式确定Pos_x和Pos_y： Pos_x＝x+(Id(x,y)‑Dmin)*DethRate X+nx0， Pos_y＝y+(Id(x,y)‑Dmin)*DethRateY+ny0， 通过如下公式， 确定第一彩色图像和目标深度图像： Ic1(Pos_x,Pos_y)＝ Ic(x,y)， Id2(Pos_x,Pos_y)＝ Id(x,y)， 其中， Ic为所述初 始彩色图像， Ic1为所述第一 彩色图像， Ic(x,y)为所述初 始彩色图像中权　利　要　求　书 2/3 页 3 CN 115205452 A 3