(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210736394.1 (22)申请日 2022.06.27 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 尹维　李明雨　左超　邓仲达　 陈钱　冯世杰　胡岩　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 岑丹 (51)Int.Cl. G06T 7/593(2017.01) G06T 5/20(2006.01) G06T 17/00(2006.01) (54)发明名称 基于多帧散 斑的时空立体匹配方法 (57)摘要 本发明公开了一种基于多帧散斑的时空立 体匹配方法， 包括使用投影仪向被测场景投射多 幅散斑图案， 左右相机同步采集多帧散斑图像， 计算得到初始匹配成本， 通过WTA方法获得待测 场景的初始视差图。 利用基于归一化互信息的单 像素匹配方法计算得到匹配成本， 使用基于引导 滤波的成本聚合算法得到聚合后的匹配成本。 对 聚合后的匹配成本使用基于分数差异的亚像素 优化算法获得亚像素视差值。 去除遮挡区域和误 匹配点， 获得待测场景的稠密视差图， 再根据图 像坐标系与相机坐标系的相对关系重构出待测 场景的高精度三维轮廓数据。 本发 明通过由粗到 精的时空立体匹配过程， 根据图像坐标系 与相机 坐标系关系从而重构出待测场景的高精度三维 轮廓。 权利要求书2页 说明书6页 附图1页 CN 115063469 A 2022.09.16 CN 115063469 A 1.一种基于多帧散斑的时空立体匹配方法， 其特 征在于， 包括如下步骤： 步骤1： 使用投影仪向被测场景投射多幅散斑图案， 左右相机同步采集多帧散斑图像 对， 采用基于ZNCC的局部匹配方法计算得到初始匹配成本， 通过WTA方法获得待测场景的初 始视差图； 步骤2： 利用基于归一化互信息的单像素匹配方法计算得到匹配成本， 并使用步骤1得 到的初始视 差图， 计算得到更 具鲁棒性的匹配成本； 步骤3： 使用基于引导滤波的成本聚合 算法得到聚合后的匹配成本； 步骤4： 对聚合后的匹配成本使用基于分数差异的亚像素优化算法， 通过融合线性与抛 物线的加权插值 函数， 获得亚像素视 差图； 步骤5： 利用左右一致性校验和中值滤波去除遮挡区域和误匹配点， 获得待测场景的稠 密视差图， 根据图像坐标系与相机坐标系关系重构出待测场景的三维轮廓。 2.根据权利要求1所述的基于多帧散斑的时空立体匹配方法， 其特征在于， 步骤1中， 对 于多帧散斑图像对IL,n和IR,n， 左图像中任一点p(x,y)与右图像中匹配点q(x ‑d,y)的初始匹 配成本C(p,d)被表示 为： 其中， r为匹配窗 口的半径； N表示图像总数； d为候选视差值； 和 分别为左右视图 窗口中的每 个点的图像强度与左右视图窗口内求得的图像强度平均值的差值； 使用WTA的方法获得初始视 差图Id(p)： 式中， dmin为视差最小值， dmax为视差最大值。 3.根据权利要求1所述的基于多帧散斑的时空立体匹配方法， 其特征在于， 步骤2中， 利 用基于归一 化互信息的单像素匹配方法计算得到匹配成本的具体公式为： 其中， 为图像 间的互信息； 表示左右匹配图 像 中的同名点p点处的强度值； 和 分别代表左右图像的熵； 为 左右图像间的联合熵。 4.根据权利要求3所述的基于多帧散斑的时空立体匹配方法， 其特征在于， 首先使用步 骤1得到的初始视差图Id来扭曲右视图 得到 使用扭曲后的右图像 来匹配左视图 计算得到所有点的互信息值， 进而匹配扭曲前的右图像 点位置与左图像 点位置得 到匹配成本 Cmi(p,d)：权　利　要　求　书 1/2 页 2 CN 115063469 A 25.根据权利要求1所述的基于多帧散斑的时空立体匹配方法， 其特征在于， 步骤3 中， 使 用基于引导滤波的成本聚合 算法优化匹配成本具体为： 将左视图采 集的连续多帧散斑图像中的三帧做为引导图I＝(I1,I2,I3)T， 对于每个视差 d， 经过引导滤波输出的代价值C(i,d)是以Cmi(j,d)为中心的窗口内所有像素的加权平均 值： 其中， ωi， ωj是半径为w的滤波窗口， w≥3并且为奇数； μk、 ∑k分别为I在窗口ωi或ωj 中的平均值 向量和协方差矩阵； U是大小为3 ×3的单位矩阵； |w|表示窗口中的像素数； ε是 平滑度参数。 6.根据权利要求1所述的基于多帧散斑的时空立体匹配方法， 其特征在于， 步骤4中， 对 聚合后的匹配成本通过WTA得到每 个点p处的整数视 差值dp＝dint(p)； 利用基于分数差异的亚像素优化 算法获得亚像素视 差图， 具体为： ： F(x)为插值 函数。 7.根据权利要求6所述的基于多帧散斑的时空立体匹配方法， 其特征在于， 插值函数具 体为： 其中， 0≤α ≤1为权重系数； x＝C(p,dp‑1)‑C(p,dp)/C(p,dp+1)‑C(p,dp)， C(p,dp)表示dp 处p点的代价 值。 8.根据权利要求1所述的基于多帧散斑的时空立体匹配方法， 其特征在于， 步骤5 中， 利 用步骤4获得的亚像素视差图， 使用左右 一致性校验操作去除遮挡区域和误匹配点， 以及中 值滤波的方法获得待测场景的稠密视差图， 根据图像坐标系与相机坐标系关系从而重构出 待测场景的高精度三维轮廓， 得到相机坐标系下的场景三维坐标值(Xc,Yc,Zc)： 其中， norm( ·)表示取模运算， T表示左右相机之间的平移向量， u0和v0为相机的主点坐 标参数， fx和fy为相机的x、 y方向的焦距参数， d(i,j)为 点(i,j)处的亚像素视 差值。权　利　要　求　书 2/2 页 3 CN 115063469 A 3