(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211155766.8 (22)申请日 2022.09.22 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 张恒　赵洪坪　杭芹　程成　 何云玲　郭家新　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 卢胜斌 (51)Int.Cl. G06T 7/00(2017.01) G06T 3/40(2006.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种基于TensorRT加速推理的芯片缺陷检 测方法及系统 (57)摘要 本发明属于芯片缺陷检测技术领域， 具体涉 及一种基于TensorRT加速推理的芯片缺陷检测 方法及系统； 该方法包括： 获取芯片图像数据集 并对其进行预处理； 使用芯片图像数据集对改进 YOLOv5模型进行训练， 得到多个目标检测模型； 将所有目标检测模型转换成TensorRT模型并将 TensorRT模型拼接； 采用拼接后的TensorRT模型 对待检测芯片图像进行处理， 得到推理结果； 对 推理结果进行降维和去冗余处理， 得到待检测芯 片的缺陷检测结果； 本发明根本上解决现有设备 质检速度与精度上的不足， 检测 效率更高、 速度 更快， 节约了人力成本， 实用性高。 权利要求书2页 说明书7页 附图1页 CN 115423796 A 2022.12.02 CN 115423796 A 1.一种基于TensorRT加速推理的芯片缺陷检测方法， 其特 征在于， 包括： S1： 获取芯片图像数据集并对其进行 预处理， 得到处 理好的芯片图像数据集； S2： 使用芯片图像数据集对改进YOLOv5模型进行训练， 得到多个目标检测模型； S3： 将所有目标检测模型转换成TensorRT模型并将TensorRT模型拼接； S4： 获取待检测芯片图像， 采用拼接后的Tensor RT模型对待检测芯片图像进行处理， 得 到推理结果； S5： 对推理结果进行降维处理； 采用改进NMS算法对降维处理后的推理结果进行去冗余 处理， 得到待检测芯片的缺陷检测结果。 2.根据权利要求1所述的一种基于TensorRT加速推理的芯片缺陷检测方法， 其特征在 于， 对改进YOLOv5模型进行训练的过程包括： 改进YOLOv5模型包括backbone网络、 neck网络 和head网络； backbone网络中采用形变卷积提取特征， 采用backbone网络对芯片图像进行处理， 得 到不同尺寸的特 征图； neck网络融合 不同尺寸的特 征图， 得到融合特 征图； head网络对融合特 征图进行处 理， 得到预测结果； 采用总损失函数对改进YOLOv5模型的参数进行调整， 得到训练好的改进YOLOv5模型。 3.根据权利要求2所述的一种基于TensorRT加速推理的芯片缺陷检测方法， 其特征在 于， 采用形变卷积提取 特征的公式为： 其中， y(p0)表示位置点p0在输出特征图上的位置， w(pn)表示位置点Pn的权重， R表示规 则网格， Δpn表示偏移量， ωn表示偏移量Δpn的权重， x()表示 点在输入特 征图上的位置 。 4.根据权利要求2所述的一种基于TensorRT加速推理的芯片缺陷检测方法， 其特征在 于， 总损失函数为： Loss＝w1·losscls+w2·lossreg+w3·lossobj 其中， lesscls表示分类损失， lossreg表示定位损失， lossobj表示置信度损失， w1、 w2、 w3分 别对应三种损失的权 重。 5.根据权利要求4所述的一种基于TensorRT加速推理的芯片缺陷检测方法， 其特征在 于， 分类损失为： 其中， n表示样本的总数量， x表示样本， ygt表示标签， yp表示预测输出， x表示样本； ω1表 示第一调节权 重， ω2表示第二调节权 重， sample()表示 求和。 6.根据权利要求1所述的一种基于TensorRT加速推理的芯片缺陷检测方法， 其特征在 于， 对推理结果进行降维处 理的公式为： length＝boxnum*boxpram_num*memory_size+1 其中， length表示降维后存储推理结果的数组长度， boxnum表示预测框的数量，权　利　要　求　书 1/2 页 2 CN 115423796 A 2boxpram_num表示预测框中参数的数量， memory_size表示数据类型占内存的大小。 7.根据权利要求1所述的一种基于TensorRT加速推理的芯片缺陷检测方法， 其特征在 于， 推理结果包括多个预测框信息， 预测框信息包括预测框的坐标、 长度、 宽度和置信度。 8.根据权利要求1所述的一种基于TensorRT加速推理的芯片缺陷检测方法， 其特征在 于， 采用改进NMS算法对降维处 理后的推理结果进行去冗余处 理的过程包括： 设置交叠率阈值， 计算最大置信度的预测框与其他预测框的交叠率， 去 除其他框中交 叠率大于交叠率阈值的预测框； 设置小目标、 中目标和大目标的尺寸范围； 将芯片图像数据集中的缺陷根据其最长边 长划分为小目标、 中目标和大目标； 分别取落在三种目标下 的所有缺陷的最小边尺寸作为 小目标阈值尺寸、 中目标阈值尺寸和大目标阈值尺寸； 选取余下预测框 中置信度最高的预测框， 将预测框的最小边与最接近最小边的阈值尺 寸作比较， 若最小边小于该阈值尺寸， 则将预测框的最小边扩展到该阈值尺寸； 计算扩展尺寸后的预测框与余下预测框的交叠率， 若交叠率大于交叠率阈值， 则去 除 余下预测框中交叠率大于交叠率阈值的预测框 。 9.一种基于TensorRT加速推理的芯片缺陷检测系统， 该系统用于执行权利要求1～8中 任意一项基于TensorRT加速推理的芯片缺陷检测方法， 其特征在于， 包括： 图像处理模块、 目标检测模块、 推理结果再处 理模块和检测结果显示模块； 所述图像处 理模块用于对待检测芯片图像进行 预处理； 所述目标检测模块用于对预处 理后的待检测芯片图像进行缺陷检测， 得到推理结果； 所述推理结果再处理模块用于对推理结果进行再处理， 去 除冗余预测框， 得到缺陷检 测结果； 所述检测结果显示模块 根据芯片合格标准分析缺陷检测结果并输出分析 结果。权　利　要　求　书 2/2 页 3 CN 115423796 A 3