(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221090132 2.8 (22)申请日 2022.07.28 (71)申请人 广东小白龙环保科技有限公司 地址 523000 广东省东莞 市南城街道东莞 大道南城段428号寰宇汇金中心5栋 1508室 (72)发明人 唐军　 (74)专利代理 机构 东莞卓为知识产权代理事务 所(普通合伙) 44429 专利代理师 齐海迪 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/12(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于GinTrans网络的垃圾分割方法及 系统 (57)摘要 本发明公开了一种基于GinTrans网络的垃 圾分割方法， 其包括一下步骤： (1)图像分割系统 设置； (2)图像采集输入； (3)特征图提取； (4)切 割标识重组； (5)重塑融合； (6)跳跃聚合； (7)分 割输出。 本发明还公开一种图像分割系统。 本发 明通过线性变换生成挖掘特征所需的特征图， 减 少网络参数， 降低复杂度， 保证分割处理效率的 同时， 提高响应速度； 通过利用Bi ‑Frequency   Transformer(BiFTrans  block)模 块实现对高频 和低频的分频处理特征， 实现对高频细节的捕捉 及兼顾低频全局信息， 保证图像处理的速度及稳 定性， 且提高对垃圾目标分割的精度及准确性， 提高分类效率。 权利要求书2页 说明书5页 附图4页 CN 115147703 A 2022.10.04 CN 115147703 A 1.一种基于Gi nTrans网络的垃圾分割方法， 其特 征在于， 包括以下步骤： (1)图像分割系统设置： 所述 图像分割系统包括图像采集模块、 提取模块、 切割标识重 组模块、 重塑融合输出模块、 跳跃连接聚合模块及分割输出模块， 所述提取模块设有 GhostNet网络， 所述重塑融合输 出模块设有Bi‑Frequency  Transformer(BiFTran s block) 模块， 所述跳跃连接聚合模块设有上采样恢复模块及GhostNet下采样特征提取模块， 所述 分割输出模块设有分割头模块； (2)图像采集输入： 所述图像采集模块连接有图像采集摄像头， 所述图像采集摄像头对 智能化垃圾回收分拣线上的垃圾进行图像采集并传输到图像采集模块上， 图像采集模块采 集到的图像作为图像输入数据并输送至提出模块进行处 理； (3)特征图提取： 提取模块对图像输入数据进行处理， 所述提取模块采用GhostNet网络 对图像输入数据进行底层特 征提取， 提取 得到输出特征图， 并进行 下个步骤处 理； (4)切割标识重组： 所述切割标识重组模块对提取到的输出特征图进行切割操作， 通过 切割操作将输出特征图网格化， 网格化完成后通过线性映射生成标记特征， 并将标记特征 组成标记特征序列， 将标记特征序列作为Bi ‑Frequency  Transformer(BiFTran s block)模 块的输入； (5)重塑融合： 所述重塑融合输出模块将输入的标记特征序列进行重塑， 并利用Bi ‑ Frequency  Transformer(BiFTrans  block)模块内设有的双频混合器从高低不同频率对特 征进行融合动作， 融合动作得到融合特 征输出； (6)跳跃聚合： 对融合后的到融合特征输出通过上采样恢复模块恢复成与图像输入数 据大小相同的输入图像， 所述Ghost Net下采样特征提取模块进 行对应的同层分辨率特征图 进行下材料特征的提取， 所述上采样恢复模块得到的输入图像与所述GhostNet下采样特征 提取模块得到的同层分辨率特征图进 行跳跃链接， 从而聚合以不同分辨率级别呈现的特征 图像； (7)分割输出： 分割输出模块的分割头模块将特 征图像生成分割输出， 得到目标图像。 2.根据权利要求1所述的基于GinTrans网络的垃圾分割方法， 其特征在于， 所述 GhostNet网络设有Ghost模块， 所述Ghost模块的设计如下： (3.1)将所述步骤(2)中的待识别垃圾图像输入数据， 通过GhostNet网络进行卷积生成 不同分辨 率的原始特征图fi′； (3.2)所述提取模块 内含线性运算Φ， 利用线性运算Φ生成Ghost特征图作 为输出特征 图， 其公式为fij＝Φi， j(f′i)， 其中， f ′i是待识别垃圾图像经过卷积操作得到的第i个原始 特征图， Φi， j是对第i个原 始特征图的第j个线性 运算， 运算后得到第j个Ghost特 征图fij。 3.根据权利要求2所述的基于GinTrans网络的垃圾分割方法， 其特征在于， 所述步骤 (4)还包括以下步骤： (4.1)将所述步骤(3)中的输出的每一个Ghost特征图， 进行网格化切割， 每个特征图大 小为H×W， H、 W分别为特征图的长和宽， 每个网格子特征图大小为s ×s， s为网格的边长， s可 以被H、 W整除， 共可切割成个网格子特 征图； (4.2)将网格化的子特征图进行线性映射， 每个网格子特征图标映射成记特征， 所有网 格子特征图组成标记特征序列 Xi表示第i个标记特征， i＝1， 2， ...N为权　利　要　求　书 1/2 页 2 CN 115147703 A 2标记特征的序号。 4.根据权利要求3所述的基于GinTrans网络的垃圾分割方法， 其特征在于， 所述步骤 (5)还包括上采样聚合及跳跃链接， 其包括以下步骤： (5.1)首先将标记特征序列进行层归一化处理， X为层归一化处理后 的标记特 征序列， 为步骤(4)中得到的标记特 征序列； (5.2)将上步中的标记特征序列中的每一个标记特征， 先进行频率分解， 分解为高频标 记特征和低频 标记特征； (5.3)对高频特征， 首先进行最大池化操作， 然后经过一个线性层， 再经过一个深度可 分离卷积层， 池化层、 线性层和深度可分离卷积层构成了一个高频特征处理器， 输出为Yhigh ＝DConv(FC(MaxPool(Xhihg)))， 其中Yhigh为高频特征处理器处理后的特征输出， DConv为深 度可分离卷积处理， FC为线性全连接处理， MaxP ool为最大池化 处理， Xhihg是由上步骤(5.2) 中标记特 征分解得到的高频 标记特征； (5.4)对低频标记特征， 首先进行平均池化操作， 然后经过自注意力机制 层MSA， 然后再 进行上采样以弥补平均池化操作后的维数降低， 平均池化层、 自注意力机制层和上采样层 构成了一个低频特征处理器， 输 出为Ylow＝Upsample(MSA(AvePool(Xlow)))， 其中Ylow是低频 特征处理器处理后的特征输出， Upsample是上采样处理， MSA是自注意力机制处理， AvePool 是平均池化处 理， Xlow是由上步骤(5.2)中标记特 征分解得到的低频 标记特征； (5.5)高低频特征融合， 对高频和低频特征输出， 进行融合， 得到融合后的输出Yo＝ Concat(Yhigh， Ylow)， 其中Yo为融合后的特 征输出， Co ncat为特 征链接函数； (5.6)对融合后的特 征输出再次进行层归一 化操作； (5 .7)归一化操作后通过前馈网络FFN， 最终的BiFTrans  block模块输出 其中 是步骤(4)中的标记特征序列， YO是经过高 低频融合后的特 征输出， F FN是前馈网络处 理， Norm是层归一 化处理。权　利　要　求　书 2/2 页 3 CN 115147703 A 3