(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211018722.0 (22)申请日 2022.08.24 (71)申请人 珠江水利委员会珠 江水利科 学研究 院 地址 510610 广东省广州市天河区天寿路 80号 (72)发明人 曾麦脉　顾祝军　扶卿华　刁品文　 刘亚飞　吴家晟　陈谢宁　林带娣　 (74)专利代理 机构 南京思宸知识产权代理事务 所(特殊普通 合伙) 32548 专利代理师 王真 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) (54)发明名称 一种基于像素级对比学习的遥感土地利用 分类方法 (57)摘要 本发明公开了一种基于像素级对比学习的 遥感土地利用分类方法， 该分类方法主要由编码 器、 网络适配器和解码器三个部分组成， 所述编 码器有四个阶段， 每个block由Transformer构 成， 所述网络适配器由三个部分组成， 分别为： 空 间先验模块、 特征映射器和特征提取器， 本发明 所使用的一元分类方法交叉熵损失函数与像素 级对比学习具有互补优势， 通过像素级对比学 习， 研究训练图像像素之间的全局语义关系， 引 导像素嵌入到交叉图像类别的区分表 示， 最终提 高分割性能， 该方法在密集图像预测任务中产生 了良好的结果， 并且在此基础上还设计了 Semantic  Layer来捕获图像的语义上下文， 增强 了特征映射的语义表示， 可以提高像素级对比学 习的效率， 提高分割性能。 权利要求书3页 说明书6页 附图4页 CN 115424059 A 2022.12.02 CN 115424059 A 1.一种基于像素级对比学习的遥感土地利用分类方法， 其特征在于： 该分类方法主要 由编码器、 网络适配 器和解码器三个部分组成； 所述编码器有四个阶段， 每个block由Transformer构成， 所述网络适配器 由三个部分 组成， 分别为： 空间先验模块、 特征映射器和特征提取器， 所述解码 器有两个， 分别为语义解 码器和特 征解码器； 其中， 还包括使用集成学习生成训练样本， 且使用集成学习生成训练样本具体分为标 注具有显著性特 征和典型的地物类型以及使用集成学习方式训练模型生成训练样本； 分类方法具体包括如下步骤： 步骤1、 构建土地利用分类网络； 步骤2、 对图像编码进行空间映射； 步骤3、 计算具有先验信息的特 征向量； 步骤4、 通过 特征提取器获取 各阶段特征图； 步骤5、 对每 个阶段的特 征图进行融合； 步骤6、 对融合结果计算损失。 2.根据权利要求1所述的一种基于像素级对比学习的遥感土地利用分类方法， 其特征 在于： 所述编码器的四个阶段具体为： 将图像输入到Patch  Embedding层， 将图像分割成固 定大小的Patch， 并对每个Patch做Linear  Embedding， 添加位置信息， 得到向量序列， 将向 量序列输入到bl ock中， 得到特 征向量。 3.根据权利要求1所述的一种基于像素级对比学习的遥感土地利用分类方法， 其特征 在于： 所述网络适配器引入归纳偏差与视觉先验信息， 通过空间先验模块捕获输入图像的 本地语义信息， 将提取出 的语义信息通过特征映射器将语义信息注入到主干网络中， 使用 特征提取器重建每 个阶段得到多尺度信息， 以适应密集预测任务。 4.根据权利要求1所述的一种基于像素级对比学习的遥感土地利用分类方法， 其特征 在于： 所述语义解码 器主要是在主干网络的每一个阶段后增加一个语义层以捕获编 码器网 络中的语义上下文， 每个阶段的语义映射使用一个简单的上样本+和操作进行聚合， 最后通 过 计算损失函数； 特征解码器的作用是融合多尺度的特征映射， 获取遥感图像中不同大小的物体信息， 在特征解码器中既关注图像的空间信息， 又关注不同物体间的尺度信息， 使用 计算损 失函数。 5.根据权利要求1所述的一种基于像素级对比学习的遥感土地利用分类方法， 其特征 在于： 所述标注具有显著性特征和典型的地物类型具体指 选择具有显著 性特征和典型地物 的图片进行标注构成数据集V1， V1中的图片地物类型应是显而易见且边界清晰的， V1中应 保证包括土地利用的所有类别； 使用集成学习方式训练模型生成训练样本具体指将V1数据集放入多个网络模型中进 行训练， 按照集 成学习范式得到标签， 通过标签可视化结果， 对结果进 行微调后得到训练样 本， 结合策略根据下式， 来设置不同的值， 使用不同结合策略： output＝ λ1output1+λ2output2+...+λnoutputn。 6.根据权利要求1所述的一种基于像素级对比学习的遥感土地利用分类方法， 其特征权　利　要　求　书 1/3 页 2 CN 115424059 A 2在于： 所述步骤1中， 构建土地利用分类网络主要包括编码 器、 主干网络适配器、 特征解码 器 和语义解码器； 所述步骤2中， 是指将图像输入Patch  Embedding层， 把图像分成16*16个patch， 每个 patch的大小为32*32， 对每个patch使用cnn进行编码并拉伸成768维的输入向量， 再加上位 置编码向量， 作为主干网络的输入向量。 7.根据权利要求6所述的一种基于像素级对比学习的遥感土地利用分类方法， 其特征 在于： 所述步骤3中， 将图像输入至空间先验模块， 通过三个卷积层和一个最大池化层， 得到 局部空间上下文特征向量， 最后将特征向量经过3个1*1的卷积， 得到一个多尺寸的金字塔 特征向量； 将金字塔特征向量和步骤2中的输入向量输入到特征映射器， 金字塔特征向量作为键 和值， 输入向量作为 查询； 根据公式(1)计算得到具有先验信息的特征向量， 与步骤2中的图像向量拼接， 作为第 一阶段Bl ock的输入； 8.根据权利要求7所述的一种基于像素级对比学习的遥感土地利用分类方法， 其特征 在于： 所述步骤4中， 根据步骤3， 交换具有 先验信息的特征向量和主干网络特征的向量的作 用， 即以输入向量作为键和值， 以特征向量作为查询， 通过特征提取器得到第一阶段的特征 图， 以此类 推得到第二阶段、 第三阶段、 第四阶段的特 征图； 计算方式如公式(2)， 公式(3)所示： 9.根据权利要求8所述的一种基于像素级对比学习的遥感土地利用分类方法， 其特征 在于： 所述步骤5中， 将每个阶段得到的特征图， 上采样至相同的维度， 在channel方向进行 拼接并降维； 对不同尺度的空间信息和尺度信息进行特征融合， 对融合结果进行分类， 对分类结果 使用交叉熵损失函数计算损失优化网络学习结果； 计算公式如(4)所示： 10.根据权利要求8所述的一种基于像素级对比学习的遥感土地利用分类方法， 其特征 在于： 所述步骤6中， 每个阶段得到的特征图， 经过一个Semantic  Layer层， 对语义上下文信 息进行建模， 融合每 个阶段的不同尺度的语义信息， 通过公式(5)对融合结果计算损失； Semantic  Layer层的关键在于引入可学习性Query， 以重叠的方式在局部聚合输入， 具 有比卷积更强的表征能力， 通过该层学习语义信息之间的相关性， 获取单个图像之间和 batch中不同图像之 间的语义相关性， 使用不同尺度的特征图， 获取不同尺度下的语义相关 性， 并对不同尺度之间的语义信息进行融合， 映射到一个统一的语义嵌入空间；权　利　要　求　书 2/3 页 3 CN 115424059 A 3