(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210738572.4 (22)申请日 2022.06.24 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 欧林林　喻志祥　赵嘉楠　禹鑫燚　 魏岩　周利波　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 舒良 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/30(2017.01) G06T 7/80(2017.01) G06T 13/20(2011.01)G06T 17/00(2006.01) G06T 19/00(2011.01) G06T 19/20(2011.01) G06F 3/01(2006.01) (54)发明名称 一种基于增强现实技 术的装配 检测方法 (57)摘要 一种基于增强现实技术的装配检测方法， 包 括： 1)对物理世界装配对象进行3D建模得到3D 模 型及其源点云， 并且通过unity3D引擎附加装配 动画； 2)基于HoloLens2研究者模式采集物理世 界深度信息获得三维点云， 并且对目标点云进行 预处理； 3)对源点云和目标点云进行点 云配准得 到位姿变换矩阵， 虚拟模型与物理模 型通过变换 矩阵进行匹配， 并设置空间锚 点； 4)基于U nity3D 制作UI界面， 对虚拟 模型装配动画进行控制以及 装配详细信息的提示。 5)采用Octree结构搜索重 叠点云并计算点云重叠度， 通过重叠点数计算相 对误差， 从而评估 装配完成度。 权利要求书3页 说明书6页 附图1页 CN 115239636 A 2022.10.25 CN 115239636 A 1.一种基于增强现实技 术的装配 检测方法， 包括如下步骤： 步骤一， 对物理世 界装配对象进行3D建模得到3D模型及其源点云， 并且通过unity3D引 擎附加装配动画。 步骤二， 通过HoloLens2研究者模式采集物理世界深度信息获得三维点云， 并且对目标 点云进行 预处理。 步骤三， 对源点云和目标点云进行点云配准得到位姿变换矩阵， 虚拟模型与物理模型 通过变换矩阵进行匹配， 并设置空间锚点。 步骤四， 基于Unity3D制作UI界面， 对虚拟模型装配动画进行控制以及装配详细信息的 提示。 步骤五， 采用Octree结构搜索重叠点云并计算点云重叠度， 通过重叠点数计算相对误 差， 从而评估 装配完成度。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤一具体包括： 首先获取待装配物体的装配步骤说明书， 接着采用SolidWorks软件对待装配模型进行 等比例3D建模， 并将建好的STEP文件格式的模型文件导入3DMax 软件中进行贴图、 渲染的处 理， 再将处理好的模型文件保存为FBX格式文件， 得到的FBX模型首先需要导入Python调用 Open3D库转成PCD格式的点云模型， 并保存到数据库方便调用， 其次需要导入Unity进行装 配动画的制作以及步骤信息 。 Unity3D装配动画的制作采用引擎自带的Animation动画系统， 首先选择待装配物体的 初始状态模型， 接着在初始状态模型 的基础上添加 零件装配的动画信息， 零件装配过程需 要符合装配说明书中的步骤信息， 对装配对象的子对象需要添加Rigidbody， 并取消Use   Gravity选项， 选择Is  Kinematic选项， 对Animation动画对象勾选Loop  Time选项， 使装配 对象动画能够 在装配过程中起到实时提醒的作用。 3.根据权利要求1所述的方法， 其特 征在于， 所述 步骤二具体包括： 在进行步骤二之前需要启用HoloLens2的研究者模式， 研究者模式是HoloLens用于访 问关键传感器的应用程序， Hololens2在Hololens1的基础上添加了对 可见光环 境跟踪摄像 机、 深度摄像机等的数据访问。 打开研究者模式之后通过Hololens2深度相机获取深度数 据， 并将深度数据传输 到PC端进行处理。 深度数据的处理是采用相机标定原理， 即从世界坐标系到相机坐标系， 再到 图像坐标 系来求最终投影矩阵P的过程。 从世界坐标系到相机坐标系是求解外参矩阵的过程， 外参矩 阵由HL2ResearchMode中的PrintDepthExtrinsics类获取， 从相机坐标系到图像坐标系是 求解内参矩阵的过程， 内参矩阵通过张正友棋盘格标定方法获取， 最 终通过公 式(1)的矩阵 运算获得三维点云。 其中u,v为在图像坐标系下的任意坐标点， u0,v0分别为图像的中心坐标， xw,yw,zw表示 在世界坐标系下的三维坐标点。 zc表示相机坐标的z轴值， 即目标到相机的距离。 R,T分别为 外参矩阵中3x3的旋转矩阵和3x1的平 移矩阵。权　利　要　求　书 1/3 页 2 CN 115239636 A 24.根据权利要求1所述的方法， 其特 征在于， 所述 步骤三具体包括： 首先对步骤二获得的目标点云进行预处理， 由于待装配物体周围有墙面和杂物信息， 因此需要将目标点云进行点云 切割 ， 这里采 用Python中的Open3D库中的 selectionpolygonVolume类对点云中的有用区域进行裁剪， 得到目标点云。 接着需要将 处 理好的目标点云与源点云通过Open3D库中的registration_icp类来进行ICP配准， 并且输 出源点云到目标点云位姿变换矩阵。 将位姿变换矩阵通过TCP/IP通讯发送到HoloLens2上， HoloLens2调用相关模型并在 其 世界坐标系 下用位姿变换矩阵对其位置进行变换， 达到虚实融合的效果， 由于虚拟模型会 在相机抖动的情况下会发生偏移， 因此对融合好的虚拟模 型添加空间锚点， HoloLens2中的 空间锚点是一种能够将物体保留在特定位置和旋转状态上的方法， 通过 空间锚点技术将虚 拟模型固定在物理模型 上， 方便之后进行装配动画演示。 5.根据权利要求1所述的方法， 其特 征在于， 所述 步骤五具体包括： 在步骤四的动画以及文本步骤提示下， 对待装配体进行装配， 在每完成一个步骤后需 要对装配完成度进行评估， 评估采用的是Octree寻找两个点云之间重合度进行计算评估， 具体评估方法如下： 首先虚拟装配零件的源点云已经在步骤一生成， 目标点云需要按照步 骤二采集已经装配上的物理模型的深度数据进行获取， 接着调用PCL库用Octree结构搜索 源点云与目标点云重叠部分， 再计算源点云与目标点云重合点数相对误差， 最后通过设定 阈值来判断装配完成度。 其中Octree结构搜索的具体步骤为先对源点云建立八叉树， 接着遍历目标点云中所有 点， 查询其对应源点云的体素 是否存在相同点云， 若存在， 则为重 叠点云。 对于重叠部分的点与总 共点云运算处理具体步骤为从装配完成的零件进行N个角度采 集深度数据， 从而 得到N个不同角度的点云， 再采用Octree结构搜索这些点云分别与源点云 重叠部分， 将重叠部 分点与源点云做相对误差值计算， 最后取这N个结果的平均值作为 实验 结果。 计算公式如公式(2)所示， 其中 为重叠部分点数， P为源点云点数， 为相对误差结 果。 对于阈值的选取是在装配实验前做相应实验数据采集计算， 对于装配的检测是检测其 装配零件 是否达到装配步骤的要求， 选取对K个步骤N个不同角度装配成功的目标点云与源 点云进行计算重合度相对误差的平均值， 最终选取这个均值为装配完成度评估值的上限。 计算公式如公式(3)所示。 最终对于装配完成度的评判标准如公式(4)所示， 其中 为装配过程中相对误差， 为 预备实验得出的相对误差， 如果 时UI界面显示completed， 如果 时UI界面显示 uncompleted。权　利　要　求　书 2/3 页 3 CN 115239636 A 3