(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210698216.4 (22)申请日 2022.06.20 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 宋旸　姜天恒　杜思月　曹政　 李振华　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 陈鹏 (51)Int.Cl. G06T 7/521(2017.01) G06T 7/55(2017.01) G06T 7/80(2017.01) G06T 17/00(2006.01) (54)发明名称 基于线结构光投影的多目视觉平衡环零件 表面三维重建系统及方法 (57)摘要 本发明公开了一种基于线结构光投影的多 目视觉平衡环表面三维重建系统及方法， 系统包 括棋盘格标定板、 线结构光传感器、 LED补光灯控 制系统； 所述线结构光传感器由DLP投影仪和四 个工业相机组成， 所述LED补光灯控制 系统由LED 与光源控制器构成； 重建方法首先是利用特制的 不对称标定板， 求取多个相机之间的变换矩阵， 其次利用四个相机从不同角度采集高反光金属 表面线激光条纹图像， 经过图像融合得到没有曝 光过度区域的金属零件表面线激光条纹图像， 最 后经图像处理得到金属零件表 面的三维点云， 分 析获取零件的三维结构。 本发明能够消除曝光过 度导致的重建精度降低的影响， 具有装置简单、 测量精度高， 检测速率快等优点。 权利要求书2页 说明书5页 附图3页 CN 115082538 A 2022.09.20 CN 115082538 A 1.一种基于线结构光投影的多目视觉平衡环零件表面三维重建系统， 其特征在于， 主 要由棋盘 格标定板、 线结构光传感器、 LED补光灯控制系统和计算机组成； 所述棋盘格标定板边角设有不对称的圆环特征点， 用于标定相机参数以及计算各相机 之间的变换矩阵； 所述线结构光传感器包括投影仪和四个工业相机， 投影仪与四个相机之间的相对位姿 固定不变， 投影仪产生的激光条纹受金属 零件表面形貌调制进而反应三维特征， 四个相 机 从不同角度分别采集 光条纹图像并传输给计算机分析和计算； 所述LED补光控制系统用于在采集 光条纹图像时提供均匀光照； 所述计算机包括控制与显示子模块、 图像融合子模块、 金属零件表面三维重建子模块； 控制与显示子模块用于采集图片， 图像融合子模块用于将采集到的不同姿态有曝光过度和 曝光不足区域的原始图片融合成没有曝光过度区域的图片， 金属零件表面三 维重建子模块 用于通过多个角度拍摄到的图片得到待测金属零件表面的深度信息， 完成三维重建。 2.根据权利要求1所述的基于线结构光投影的多目视觉平衡环零件表面三维重建系 统， 其特征在于， 所述金属零件表面三维重 建子模块， 利用所述视觉传感器的标定参数获取 二维图像像素点坐标与三 维空间坐标点的映射关系； 投影仪产生线结构光与金属零件表面 相加， 采集金属 零件表面光条纹图像并图像预处理与提取光条中心线； 通过所述二维与三 维坐标映射关系， 计算金属零件表面 三维点云集。 3.根据权利要求2所述的基于线结构光投影的多目视觉平衡环零件表面三维重建系 统， 其特征在于， 金属零件表面三维重建子模块中的金属 零件表面光条纹图像处理， 包括： 首先对焊缝轮廓光条 纹图像感兴趣区域提取； 光条纹二值图像利用灰度阈值重心法求取光 条纹中心线像素坐标值。 4.根据权利要求1所述的基于线结构光投影的多目视觉平衡环零件表面三维重建系 统， 其特征在于， 所述棋盘格标定板四个边角分布五个不对称的圆环特征点， 用于标定时判 断方向， 保证不同角度下提取到的特征点都可以按照相同的顺序进行排列； 棋盘格中的每 个格子为黑白相间的正方 形方格， 每一小格的边长为10m m， 格点数目为8x8。 5.根据权利要求1所述的基于线结构光投影的多目视觉平衡环零件表面三维重建系 统， 其特征在于， 所述线 结构光传感器由4个黑白工业相机、 一个投影仪和相机支架组成； 相 机与投影仪、 相机与相机 之间的相对位置不 发生改变； 所述的相机支架用于安装4个黑白工 业相机以及投影仪， 投影仪位于圆心 位置， 四个相机 分别位于距投影仪25cm的圆周上， 相 邻 相机之间距离相等， 为90弧度。 6.根据权利要求1所述的基于线结构光投影的多目视觉平衡环零件表面三维重建系 统， 其特征在于， 所述的线 结构光传感器， 用针孔成像模型的内部参数与畸变系数描述工业 相机成像， 用线 结构光标定结果即相对相机模型的线 结构光平面方程结合相机标定参数来 描述二维坐标点与三维空间坐标点的映射关系。 7.根据权利要求6所述的基于线结构光投影的多目视觉平衡环零件表面三维重建系 统， 其特征在于， 投影仪与四个相机通过计算机相连， 投影仪每投影一幅图片相机就进行一 帧图像的采集， 实现对于待测金属零件表面的均匀扫描。 8.一种基于 权利要求1 ‑7任意一项所述系统的重建方法， 其特 征在于， 包括以下步骤： (1)相机标定过程： 采集标定板图像进行角点提取， 将有两个圆环特征点的边角作为顺权　利　要　求　书 1/2 页 2 CN 115082538 A 2时针的第三个边角， 依照固定的顺序提取8x8个特征点， 通过张正友标定法计算相机模型的 内部参数与畸变系数， 由此获得像素坐标系与相机坐标系之间的转 化关系； (2)对四个相机采集到的标定板图像分别进行角点提取； 按照一定的次序提取8x8个特 征点； 根据标定板构建8x8的标准点阵作为标准参考空间， 求取四个相机到标准空间的成像 透视变换矩阵H； 根据透视变换矩阵对采集到的金属零件表 面光条纹图进行处理， 映射到标 准空间； (3)对四幅图像做相同的操作， 获取需要检测的金属零件表面待测区域， 将图像分为背 景与目标区域两部分， 提取感兴趣区域； 检测目标区域的曝光情况， 检测出曝光过度以及曝 光不足的区域； (4)给(3)中获得主相机金属零件表面光条纹图和辅助相机获得金属零件表面光条纹 图赋予不同的权重， 进 行图像融合， 去掉曝光过度以及曝光不足的区域， 获得最终没有高反 光影响的金属零件表面 光条纹图； (5)灰度重心法提取光条纹中心线； 通过列/行 方向遍历m ×n灰度图像， 利用公式： 其中fij表示输入图像i行j列的像 素点灰度值， xi和yi分别表示横坐标i和纵坐标j， 可计 算第j0列/第i0行的灰度重心坐标； 经过光条纹骨架特 征点提取算法得到光条中心线二维特 征点； (6)投影仪的标定： 将投影仪当成相机的逆， 求解出投影仪与主相机的相对位置， 将投 影仪上的像素点与主相机中的像素点相对应； (7)利用(5)中灰度重心法得到线结构光与金属器件相交时光条中心线二维特征点， 经 过编码获得投影仪的图案， 光条中心的投影仪坐标系 下像素点坐标可知， 通过两者计算获 得该特征点的三维坐标， 进而获得金属 零件表面的三维点云集， 实现金属 零件表面的三维 重建。 9.根据权利要求8所述的方法， 其特征在于， 步骤(3)具体为： 将图像中像素值为255以 及0的区域标记为曝光过度或者曝光 不足的区域， 将其像素值标记为25 5。 10.根据权利 要求8所述的方法， 其特征在于， 步骤(4)具体为： 将步骤(4)主相机所得图 像， 依次与其 他三个辅助相机相与， 得到没有曝光过度以及曝光 不足的光条纹图像。权　利　要　求　书 2/2 页 3 CN 115082538 A 3