(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156670.3 (22)申请日 2022.09.22 (71)申请人 广西成电智能制造产业 技术有限责 任公司 地址 545003 广西壮 族自治区柳州市柳北 区杨柳路7号沙塘工业园北部生态新 区办公楼 2-241号办公室 申请人 电子科技大 学 (72)发明人 熊静琪　孙佳宁　张桂鸿　高翔　 王洪艳　孙锐　何瑜　许磊　 (74)专利代理 机构 成都虹盛汇泉专利代理有限 公司 51268 专利代理师 王伟 (51)Int.Cl. G06T 7/00(2017.01)G06T 3/40(2006.01) G06T 3/00(2006.01) G06T 5/00(2006.01) G06T 7/80(2017.01) (54)发明名称 一种车载全景图像拼接质 量在线拼接及改 进方法 (57)摘要 本发明公开了一种车载全景图像拼接质量 在线拼接及改进方法， 包括以下步骤： A、 采用 传 统方法进行离线标定， 并记录标定时特征点信 息； B、 根据生成的全景图像， 通过评价函数计算 俯视图与相邻图像重叠区域图像错位情况， 若评 价函数值高于预设阈值y， 若是则跳转至步骤C， 否则执行步骤E； C、 对标定时保留下的原标定物 特征点进行最优化搜索； D、 根据C中调整的特征 点信息重新计算单应性矩阵H及全景图映射表， 然后跳转至B； E、 对拼接的全景图像进行图像融 合处理， 输出全景图。 本发明在一定程度避免了 由于车载摄像头位姿发生变化产生全景图像中 的错位， 鬼影等现象而需进行离线标定的情况， 提高了车载全景系统的稳定性及可靠性。 权利要求书1页 说明书4页 附图1页 CN 115496722 A 2022.12.20 CN 115496722 A 1.一种车 载全景图像拼接质量在线拼接及改进方法， 其特 征在于， 包括以下步骤： A、 采用传统方法进行 车载全景图像系统的离线标定， 并记录标定时的特 征点信息； B、 根据全景图像映射表生成全景图像， 针对全景图像 中四个方位的俯视图进行如下处 理： 通过评价函数计算俯视图与相邻图像重叠区域图像错位情况， 判断评价函数是否高于 预设阈值y， 若是则跳转至步骤C， 否则执 行步骤E； C、 对标定时保留下的原标定物特征点， 在 保留结构关系的情况下对特征点整体做平移 以及旋转， 进行最优化搜索， 然后重新计算评价 函数， 直至 评价函数小于或等于阈值y； D、 根据C中调整的特 征点信息 重新计算单应性矩阵H及全景图映射表， 然后跳转至B； E、 对拼接的全景图像进行图像融合处 理， 输出全景图。 2.根据权利要求1所述的一种车载全景图像拼接质量在线拼接及改进方法， 其特征在 于， 所述步骤B中， 单一俯视图的评价 函数为： J＝max(L1， L2) 其中， L1， L2为所选俯视图与其相邻的两个 俯视图的评价函数， max表示选 取L1， L2中的较 大值作为该 俯视图的评价 函数； 所选俯视图与相邻俯视图的评价 函数L的定义如下式所示： 式中， (u， v)表示像素点在图像中的坐标， S表示拼接缝的邻域， i表示像素点的RGB通 道， Pi， (u， v)表示所需评价 俯视图在邻域中像素点的RGB值， P ′i， (u， v)表示与之相邻的俯视图在 邻域中像素点的RGB值， C表示邻域S内像素点的个数。权　利　要　求　书 1/1 页 2 CN 115496722 A 2一种车载全景图像拼 接质量在线拼 接及改进方 法 技术领域 [0001]本发明属于图像处理技术领域， 特别涉及 一种车载全景图像拼接质量在线拼接及 改进方法。 背景技术 [0002]车载全景影像系统通常包含多个大视场图像采集模块， 图像处理模块， 以及图像 显示模块。 图像采集模块通常使用多个广角摄像头， 能够获取车周图像。 在 采集完图像后经 由图像处理部件进 行处理， 于图像显示部件上显示车周景象。 广角摄像头由于其物理性质， 拍摄图像会产生严重畸变， 图像处理模块首先需要对采集图像进行正畸处理， 然后根据一 系列与车载摄像头安装位置角度相关的参数对图像进 行空间变换。 这一系列参数需要在车 周人为布置相应的标定物来进行计算获得。 在将图像变换到同一俯视坐标系后， 根据所设 置的车辆与各图像坐标之间的关系， 将图像变换到全景图中的正确 位置， 然后对图像间拼 接缝进行优化融合。 [0003]公开号为CN112215917A的专利申请公开了一种车载全景图生成方法、 装置及系 统， 方法包括： 获取各车载相机在同一时间采集的车辆周围的图像， 所述车载相机至少包括 三个， 分别设置在车辆的左右两侧和车尾； 将获取 的各帧图像拼接为车载全景图并显示在 车内的后视镜上。 通过利用至少三个车载相机采集车辆左侧、 右侧以及车尾的图像， 并将采 集的图像拼成一副完整且视场比较大的全景图直接输出显示在车内后视镜上， 以供驾驶员 观察车辆周围关键盲 区(如车辆A柱和B柱的视野盲 区)的景物， 保证行车安全。 上述方法在 离线状态下标定获得图像空间变换所需参数； 然后在实际使用过程中， 根据所得出参数， 计 算拼接表， 已查表方式生成全景图像。 但是在标定获取参数 的过程中， 可能因为测量误差， 计算误差， 特征点位置误差等相应误差， 使计算 获得的各图像间空间关系 产生误差， 以致最 后生成全景图像产生错位， 鬼影等现象。 即使在标定过程中获得的参数， 在车辆运行过程 中， 颠簸， 抖动等现象都将会使摄像头安转位置发生一定的改变， 如图1所示， 对采集的图像 经过一定的变换后， 由于之前 的参数不在符合变化后的图像空间关系， 也会使生成全景图 像产生错位， 鬼影等现象， 此时只能回厂重新做标定， 费时费力。 发明内容 [0004]本发明的目的在于克服现有技术的不足， 根据图像重叠区域像素差值提出了一种 评价函数， 用于评估 车载全景图像拼接质量， 并据此提出了车载图像拼接在线改进 方法。 此 方法在一定程度上避免了在车辆长时间行驶过程中因震动、 温度等因素影响而导致安装的 车载全景摄像头位姿发生变化， 产生全 景图像中的错位， 鬼影等现象， 而需要重新进 行离线 标定工作， 节省人力物力， 提高了车 载全景系统的稳定性及可靠性。 [0005]本发明的目的是通过以下技术方案来实现的： 一种车载全景图像拼接质量在线拼 接及改进方法， 包括以下步骤： [0006]A、 采用传统方法进行车载全景图像系统的离线标定， 并记录标定时的特征点信说　明　书 1/4 页 3 CN 115496722 A 3