(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210924353.5 (22)申请日 2022.08.03 (71)申请人 中国农业大 学 地址 100083 北京市海淀区 圆明园西路2号 (72)发明人 位耀光　冀琳　安冬　李道亮　 刘金存　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 韩雪梅 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/24(2022.01) G06V 10/26(2022.01) G06V 10/36(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06T 5/00(2006.01) G06T 5/10(2006.01) G06T 5/20(2006.01) (54)发明名称 一种基于深度学习的网衣附着物检测方法 及系统 (57)摘要 本发明涉及一种基于深度学习的网衣附着 物检测方法及系统， 属于及水下检测领域。 方法 包括： 获取网衣视频并制作检测数据集； 对检测 数据集中的图像进行预处理， 得到预处理后的融 合图像数据集； 基于改进后的YOL Ov5目标检测模 型和DeepLabv3+语义分割模型构建附着物检测 模型； 采用融合图像数据集对附着物检测模型进 行训练， 采用训练好的附着物检测模 型进行网衣 附着物检测， 输出分割出附着物的分割图像； 统 计分割图像中分割出的附着物的附着程度， 并将 附着程度大于附着程度阈值的分割图像作为附 着物识别图像进行输出。 采用本发 明提供的网衣 附着物检测方法及系统， 能够实现网衣附着物的 非接触式实时检测， 提高了网衣附着物检测速度 及准确度。 权利要求书3页 说明书12页 附图3页 CN 115205668 A 2022.10.18 CN 115205668 A 1.一种基于深度学习的网衣附着物检测方法， 其特 征在于， 包括： 获取网衣视频并制作检测数据集； 对所述检测数据集中的图像进行 预处理， 得到预处 理后的融合图像数据集； 基于改进后的YOLOv5目标检测模型和De epLabv3+语义分割模型构建附着物检测模型； 采用所述预处理后的融合图像数据集对所述附着物检测模型进行训练， 生成训练好的 附着物检测模型； 采用所述训练好的附着物检测模型进行网衣附着物检测， 输出分割出附着物的分割图 像； 统计所述分割图像中分割出的附着物的附着程度， 并将所述附着程度 大于附着程度阈 值的分割图像作为附着物 识别图像进行输出。 2.根据权利要求1所述的网衣附着物检测方法， 其特征在于， 所述获取网衣视频并制作 检测数据集， 具体包括： 通过水下机器人对目标网衣进行拍摄， 获取网衣视频； 对所述网衣视频进行抽帧转 化， 转化为多张图像； 使用数据标注软件对多张图像进行标签标注， 带标签的多张图像构成所述检测数据 集。 3.根据权利要求1所述的网衣附着物检测方法， 其特征在于， 所述对所述检测数据集中 的图像进行 预处理， 得到预处 理后的融合图像数据集， 具体包括： 针对所述检测数据集中的每张图像， 对图像进行复制得到第一图像和第二图像； 利用动态阈值白平衡算法对所述第 一图像进行白点检测和白点调整， 之后利用自动色 彩均衡快速算法进行 校正， 得到校正后的图像； 利用自适应对比度增强算法将所述第 二图像分为低频部分和高频部分， 增强代表细节 的高频部 分， 重组得到增强图像， 之后利用快速双边滤波算法对增强图像进行滤波， 得到滤 波后的图像； 分别将所述校正后的图像和所述滤波后的图像进行小波变换， 建立图像的小波金字塔 分解层； 对各分解层从高到低分别进行融合处理， 各分解层上的不同频率分量采用不同的融合 规则进行融合处 理， 得到融合后的小 波金字塔； 对所述融合后的小波金字塔进行小波逆变换， 将所得重构图像作为融合图像； 多张所 述融合图像构成预处 理后的融合图像数据集。 4.根据权利 要求1所述的网衣附着物检测方法， 其特征在于， 所述基于改进后的YOLOv5 目标检测模型和De epLabv3+语义分割模型构建附着物检测模型， 具体包括： 引入有效通道注意力 模块对YOLOv5网络的网络结构进行改进， 并利用五参数回归方法 改进YOLOv5网络的数据目标检测框的标注方式， 得到改进后的YOLOv5目标检测模型； 将改进后的YOLOv5目标检测模型的输出作为DeepLabv3+语义分割模型的输入， 构建出 附着物检测模型。 5.根据权利要求1所述的网衣附着物检测方法， 其特征在于， 所述采用所述训练好的附 着物检测模型进行网衣附着物检测， 输出分割出附着物的分割图像， 具体包括： 获取当前拍摄的目标网衣图像并进行 预处理， 得到预处 理后的目标融合图像；权　利　要　求　书 1/3 页 2 CN 115205668 A 2将所述目标融合图像输入训练好的改进后的YOLOv5目标检测模型进行目标检测， 若同 时检测到鱼类非附着物标签和附着物标签， 从所述目标融合图像中剔除非附着物标签框区 域后再通过训练好的Deeplabv3+语义分割模型进行分割， 输出分割出附着物的分割图像； 若仅检测到附着物标签， 直接将所述目标融合图像输入训练好的Deeplabv3+语义分割模 型 进行分割， 输出分割出附着物的分割图像。 6.根据权利要求1所述的网衣附着物检测方法， 其特征在于， 所述统计所述分割图像中 分割出的附着物的附着程度， 具体包括： 统计所述分割图像中分割出的附着物的附着物面积以及从所述分割图像中剔除非附 着物标签框区域后的剩余 面积； 计算所述附着物面积与所述剩余 面积的比值作为附着程度。 7.根据权利要求1所述的网衣附着物检测方法， 其特 征在于， 还 包括： 采用软滤波器剪枝方法对训练好的附着物检测模型进行剪枝操作， 得到 压缩模型； 将所述压缩模型移植到嵌入式平台上， 将嵌入式平台搭载到水下机器人中对 网衣附着 物进行实时检测。 8.一种基于深度学习的网衣附着物检测系统， 其特 征在于， 包括： 数据获取模块， 用于获取网衣视频并制作检测数据集； 数据预处理模块， 用于对所述检测数据集中的图像进行预处理， 得到预处理后的融合 图像数据集； 模型建立模块， 用于基于改进后的YOLOv5目标检测模型和DeepL abv3+语义分割模型构 建附着物检测模型； 模型训练模块， 用于采用所述预处理后的融合图像数据集对所述附着物检测模型进行 训练， 生成训练好的附着物检测模型； 附着物检测模块， 用于采用所述训练好的附着物检测模型进行网衣附着物检测， 输出 分割出附着物的分割图像； 附着物识别模块， 用于统计所述分割图像中分割出的附着物的附着程度， 并将所述附 着程度大于附着程度阈值的分割图像作为附着物 识别图像进行输出。 9.根据权利要求8所述的网衣附着物检测系统， 其特征在于， 所述数据 预处理模块具体 包括： 图像复制单元， 用于针对所述检测数据集中的每张图像， 对图像进行复制得到第一图 像和第二图像； 图像平衡及校正单元， 用于利用动态阈值白平衡算法对所述第 一图像进行白点检测和 白点调整， 之后利用自动色彩均衡快速算法进行 校正， 得到校正后的图像； 图像增强及滤波单元， 用于利用自适应对比度增强算法将所述第 二图像分为低频部分 和高频部 分， 增强代表细节的高频部 分， 重组得到增强图像， 之后利用快速双边滤波算法对 增强图像进行 滤波， 得到滤波后的图像； 小波变换单元， 用于分别将所述校正后的图像和所述滤波后的图像进行小波变换， 建 立图像的小 波金字塔分解层； 融合处理单元， 用于对各分解层从高到低分别进行融合处理， 各分解层上的不同频率 分量采用不同的融合 规则进行融合处 理， 得到融合后的小 波金字塔；权　利　要　求　书 2/3 页 3 CN 115205668 A 3