(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210913601.6 (22)申请日 2022.08.01 (71)申请人 西安交通大 学 地址 710049 陕西省西安市碑林区咸宁西 路28号 (72)发明人 穆廷魁　龚航　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于混合傅立叶算子Transformer网络 的高光谱图像分类方法 (57)摘要 一种基于混合傅立叶算子Transformer网络 的高光谱图像 分类方法， 将高光谱图像数据集划 分训练集和测试集； 建立混合傅立叶算子 Transformer网络； 使用训练集训练得到训练好 的分类模型， 并用测试集测试其分类性能； 利用 满足分类性能的分类模型即可对高光谱图像进 行分类。 本发明傅立叶算子Transformer网络包 含分 组 光 谱嵌 入 模 块 、 混 合 傅 立叶 算 子 Transformer编码器网络、 跨层特征融合模 块； 能 够从高光谱图像的相邻波段学习空间光谱序列 信息， 降低网络的计算复杂度， 并减少在逐层传 播过程中丢失有价值信息的可能性， 实验结果显 示本发明优于卷积神经网络的检测性能与计算 效率， 满足高光谱图像精细分类的需求。 权利要求书2页 说明书5页 附图2页 CN 115272766 A 2022.11.01 CN 115272766 A 1.一种基于混合傅立叶算子Transformer网络的高光谱图像分类方法， 其特征在于， 包 括以下步骤： 步骤1)， 获取高光谱图像数据集并划分训练集和 测试集； 步骤2)， 建立混合 傅立叶算子Transformer网络； 所述混合傅立叶算子Transformer网络包括分组光谱嵌入模块、 混合傅立叶算子 Transformer编码器网络和跨层特征融合模块； 所述分组光谱嵌入模块将待分类的高光谱 图像按照设定数量的相 邻光谱波段进 行重叠分组， 并进 行特征嵌入， 生成光谱特征序列； 所 述混合傅立叶算子Transformer编码 器网络以所述光谱 特征序列为输入， 其一共包括四层， 依次为编码器一、 编码器二、 编码器三和编码器四， 其中编码器一和编码器二为标准 Transformer编码器， 编码器三和编码器 四为傅立叶算子Transformer编码器； 所述跨层特 征融合模块， 将编码器一的输出与编码器三的输出融合， 作为编码 器四的输入， 将编 码器二 的输出与编码器四的输出融合， 并经过一个全连接层， 作为所述混合傅立叶算子 Transformer网络的输出； 步骤3)， 使用训练集训练所述混合傅立叶算子Transformer网络， 得到训练好的分类模 型， 并用测试集测试其分类性能； 步骤4)， 利用满足分类性能的分类模型对高光谱图像进行分类。 2.根据权利要求1所述基于混合傅立叶算子Transformer网络的高光谱图像分类方法， 其特征在于， 所述分组光谱嵌入 模块的特 征嵌入矩阵A 表示如下： A＝WX＝Wg(x) x为待分类的高光谱图像的像素， x＝[x1,x2,...,xm]∈R1×m， xm表示第m个波段的像素， m 为波段数量； 函数g( ·)表示重叠分组操作； X∈Rn×m对应于x的分组表示， n表示最近邻的波 段数量， W为变量。 3.根据权利要求1或2所述基于混合傅立叶算子Transformer网络的高光谱图像分类方 法， 其特征在于， 所述设定数量为大于1的奇数， 将重叠分组之后得到的特征向量加入位置 编码， 编码与特征向量合成token组合， 生成光谱特征序列y， y＝[y1,y2,...,ym]， y的长度为 m， y1,y2,...,ym表示高光谱图像 每一个波段的序列化特 征向量。 4.根据权利要求1所述基于混合傅立叶算子Transformer网络的高光谱图像分类方法， 其特征在于， 所述标准Transformer编码器的核心是多头注意力机制， 傅立叶算子 Transformer编码器的核心是离 散傅立叶算子 。 5.根据权利要求1或4所述基于混合傅立叶算子Transformer网络的高光谱图像分类方 法， 其特征在于， 所述标准Tr ansformer编码器包含一个多头注意力模块和一个全连接层， 全连接层的输入为所述多头注意力模块的输出。 6.根据权利要求1或4所述基于混合傅立叶算子Transformer网络的高光谱图像分类方 法， 其特征在于， 所述傅立叶算子Transformer编码器包含一个傅立叶算子和一个全连接 层， 全连接层的输入是傅 立叶算子的输出； 所述傅立叶算子表示如下： 式中， rn表示傅立叶算子Transformer编 码器的输入， { rn}表示光谱特征序列， n∈[0,N ‑权　利　要　求　书 1/2 页 2 CN 115272766 A 21]， n表示光谱波段数量， k表示傅立叶变换后的频域采样间隔， N为傅立叶变换中周期序列 的周期， 对于每 个k， 离散傅立叶变换生成一个新的表示Rk， Rk是所有输入rn的总和。 7.根据权利要求1所述基于混合傅立叶算子Transformer网络的高光谱图像分类方法， 其特征在于， 所述 跨层特征融合模块中， 通过残差连接实现融合。 8.根据权利要求7所述基于混合傅立叶算子Transformer网络的高光谱图像分类方法， 其特征在于， 所述跨层特征融合模块中， 在通道维上对输出进 行融合， 并使用1 ×2的卷积核 进行特征提取。 9.根据权利要求1所述的混合傅立叶算子Transformer网络， 其特征在于， 无需将高光 谱图像进行降维处 理， 将原始图像的所有 波段作为网络 输入。权　利　要　求　书 2/2 页 3 CN 115272766 A 3