课题组张旭鸣硕士近期在遥感领域国际权威期刊IEEE Transactions on Geoscience and Remote Sensing 发表论文“Spectral-Spatial Self-Attention Networks for Hyperspectral Image Classification”。该期刊为国际遥感领域顶级期刊，最新影响因子5.855，中科院JCR-2区（小类1区，TOP期刊）。这是张旭鸣硕士发表的第二篇TOP期刊。张旭鸣硕士获得2021年校优秀硕士论文。
论文通过分析高光谱数据的特点和现有基于CNN的不足，设计一种基于光谱-空间自注意力机制的卷积神经网络，能够更加充分地提取更具判别性的全局光谱和空间特征。
研究背景
近年来，深度学习（deep learning）算法已成功突破传统特征提取技术的局限性。它能够自动提取深层特征，并在计算机视觉领域取得重大进展。卷积神经网络（convolutional neural network, CNN）作为一种典型的深度学习算法，由于局部感受野和权重共享的良好特性，使其在学习空间特征时不破坏原有的空间结构，并大大减少网络参数，被广泛用于高光谱图像分类。
CNN在高光谱图像的光谱-空间特征提取和数据分类方面表现出良好的性能。但基于CNN的分类方法仍存在一些局限性，比如卷积核对其输入数据同等对待；由于其局部感受野，只能对局部特征建模，由此会错失全局信息。近年来，注意力机制已成为深度神经网络中的一个重要概念，其基本思想是让网络学会在全局范围内关注重要信息，忽略次要信息。因此，注意力机制的出现可以弥补CNN的缺陷，并被用于HSI的分类研究。本文针对高光谱空谱信息丰富，而传统CNN只能捕获局部光谱和空间特征的缺陷，通过分析Patch-based CNN和1-D CNN的特点，设计了一种基于光谱-空间自注意力机制的卷积神经网络。
研究方法
本文提出的算法主要包含三个部分：
空间子网络引入所提出的空间自注意力模块来捕获中心像素与其周围像素之间的空间相关性。
同时，光谱子网络引入了所提出的光谱自注意力模块，捕获局部光谱特征上的远程相关性。
最后，使用“得分加权”融合方法融合提取的空间特征和光谱特征并分类。
图1 提出的光谱-空间自注意力网络
结果结论
（1）为了验证所提空间自注意力模块的有效性，分别在在Pavia University (PU)、Salinas (SA)、KSC和University of Houston（UH）四个数据集上测试了添加空间自注意力模块的空间子网络（简称“Spa-A”）和不添加空间自注意力模块的空间子网络（简称“Spa”）的分类性能。结果表明，使用空间自注意力模块可以以较低的标准差实现较高的分类精度，尤其是在训练样本较少的情况下。
（a） （b）
（c） （d）
图2 空间自注意力模块对所提空间子网络性能的影响：(a) PU；(b) SA；(c) UH；(d) KSC
（2）与不添加光谱自注意力模块的光谱子网络（简称“Spa”）相比，添加光谱自注意力模块的光谱子网络（分别简称“Spa-A”）可以显著提高分类性能。
（a） （b）
（c） （d）
图3 光谱自注意力模块对所提光谱子网络性能的影响：(a) PU；(b) SA；(c) UH；(d) KSC
（3）与其它基于CNN的方法在PU、SA、KSC和UH四个数据集上进行对比实验。结果表明所提方法在OA、AA、Kappa以及大多数类别上都优于其它对比方法。此外，所提方法获得的分类图具有最少的噪声和最清晰的物体边界，与GT图最为接近。
表1 SA数据集上不同方法的分类精度比较
Class | CDCNN | SSRN | FDSSC | LSMSC | ASSMN | DBMA | DBDA | SSSAN |
OA (%) | 86.80 | 96.62 | 97.73 | 98.17 | 98.44 | 98.34 | 98.41 | 98.75 |
AA (%) | 93.54 | 98.49 | 99.03 | 99.08 | 99.36 | 99.26 | 98.77 | 99.32 |
Kappa× 100 | 85.41 | 96.23 | 97.51 | 97.96 | 98.26 | 98.15 | 98.23 | 98.60 |
1 | 88.61 | 100 | 100 | 100 | 100.00 | 100 | 100 | 100 |
2 | 98.39 | 99.98 | 99.96 | 99.69 | 100.00 | 100 | 100 | 99.94 |
3 | 97.69 | 100 | 100 | 96.26 | 99.89 | 100 | 100 | 99.89 |
4 | 98.77 | 99.52 | 99.20 | 98.01 | 100 | 96.12 | 93.98 | 99.69 |
5 | 97.58 | 99.63 | 96.44 | 99.87 | 99.30 | 100 | 99.92 | 97.67 |
6 | 99.13 | 100 | 99.95 | 100 | 100 | 99.97 | 99.87 | 99.87 |
7 | 99.16 | 100 | 100 | 99.73 | 100 | 100 | 100 | 99.89 |
8 | 87.46 | 95.57 | 92.86 | 98.71 | 95.51 | 93.91 | 99.19 | 97.72 |
9 | 99.79 | 100 | 99.88 | 99.70 | 100 | 99.87 | 100 | 99.48 |
10 | 91.30 | 97.45 | 98.19 | 99.64 | 99.62 | 99.97 | 92.24 | 99.78 |
11 | 88.60 | 98.24 | 98.47 | 91.66 | 100 | 100 | 100 | 100 |
12 | 99.34 | 99.87 | 99.90 | 99.94 | 100 | 100 | 100 | 100 |
13 | 95.29 | 99.75 | 100 | 100 | 100 | 99.87 | 99.88 | 99.14 |
14 | 96.18 | 99.93 | 99.79 | 99.43 | 100 | 99.89 | 99.90 | 99.90 |
15 | 63.25 | 85.83 | 97.20 | 92.81 | 96.21 | 98.60 | 94.33 | 96.12 |
16 | 96.03 | 100 | 100 | 98.34 | 99.30 | 100 | 100 | 100 |
5.73
0.98
1.43
0.43
0.36
0.39
0.45
0.28
2.27
0.38
0.25
0.12
0.05
0.27
0.07
0.16
6.22
1.08
1.58
0.42
0.26
0.42
0.51
0.19
图4 SA数据集上不同方法的分类图：（a）FCM；（b）GT；（c）CDCNN；（d）SSRN；（e）FDSSC; （f）LSMSC；（g）ASSMN；（h）DBMA；（i）DBDA；（j）SSSAN
为了评估所提方法的效率，我们将其与其它七种方法的训练和测试时间进行了比较。试验结果表明，所提方法用相对较少时间，取得了更高的分类性能。
表2 不同方法训练和测试时间的比较
Dataset | Time | CDCNN | SSRN | FDSSC | LSMSC | ASSMN | DBMA | DBDA | SSSAN |
PU | Ttrain (s) | 104.50 | 132.33 | 185.21 | 92.95 | 1340.06 | 186.85 | 125.56 | 120.82 |
Ttest (s) | 14.26 | 58.70 | 19.46 | 16.69 | 306.99 | 24.13 | 27.90 | 25.51 | |
SA | Ttrain (s) | 153.07 | 329.56 | 628.20 | 125.64 | 2387.10 | 797.30 | 344.70 | 203.51 |
Ttest (s) | 17..98 | 76.27 | 30.52 | 20.89 | 354.38 | 45.75 | 42.92 | 32.51 | |
UH | Ttrain (s) | 156.98 | 307.17 | 573.75 | 221.54 | 4158.01 | 321.54 | 314.35 | 214.71 |
Ttest (s) | 4.10 | 4.56 | 4.74 | 7.64 | 88.38 | 7.56 | 7.52 | 6.57 | |
KSC | Ttrain (s) | 48.14 | 143.57 | 239.33 | 89.20 | 780.69 | 155.14 | 162.07 | 117.45 |
Ttest (s) | 1.72 | 7.20 | 7.36 | 4.76 | 33.43 | 3.59 | 4.16 | 6.22 |
论文标题
Spectral-Spatial Self-Attention Networks for Hyperspectral Image Classification
发表期刊
IEEE Transactions on Geoscience and Remote Sensing
论文全文链接
https://ieeexplore.ieee.org/document/9508777/