论文部分内容阅读
光谱特征反映了目标材质构成和目标状态的本质特征,不同目标材质不同状态下的光谱辐射特性差异反映了其本征差异。在多时相多光谱分类问题和高光谱分类问题中,其数据具有维度高、相关性强和非线性等特点,如何分辨具有不同辐射特性的目标,尤其是光谱特性差异不大的相似类别仍是一个困难的问题。
分析了认知心理学和认知神经科学中的注意力机制研究现状,认知心理学中的注意力模型解释了注意力如何关注高优先级的输入信息而忽略其他输入信息的处理流程,而神经科学中的电生理研究,刺激技术,成像研究以及神经病学损伤个体数据都反映了注意过程的神经处理机制。深度神经网络模型中,注意力机制在很多领域中已经得到了成功的应用。受深度网络序列模型研究范式的启发,将注意力机制与高光谱以及密集时相多光谱分类网络相结合,研究了几种高光谱以及多时相多光谱分类算法,并利用注意力机制重点关注目标类别之间的细微光谱差异和时相物候差异。其主要创新点如下:
针对高光谱类别间存在的某些细微差异,提出了一种基于光谱注意力机制的SA-CNN-GRU(Spectral-Attention-CNN-GRU)分类模型。该模型把高光谱像元看作一个光谱序列,首先利用CNN卷积层提取像元邻域的空间信息,然后利用GRU(Gated Recurrent Unit)门控循环单元对光谱序列进行建模,并引入光谱注意力模块关注光谱谱段间的差异,对于类别差异较大的光谱谱段得到较大的注意力权重,类别差异小的光谱谱段得到较小的注意力权重。实验分析表明,注意力模块提高了高光谱分类模型的精度,尤其是那些具有细微光谱差异误分率较高的类别。除此之外,模型中的注意力权重在一定意义上还表明了各个谱段的可分离性以及对高光谱的光谱波段优选也具有重要的定性和定量参考价值。
针对作物分类问题中某些相似作物之间的差异主要表现为细微物候差异的情况,提出了一种关注作物细微物候差异的分类方法。该方法在时间序列信息处理中引入注意力机制,通过观察物候序列的差异,对于作物的物候差异较大的时段投入更多的关注,从而强化作物在特定关键时间段的特征表达,其对于特定情况的作物分类可以起到关键作用。对于Sentinel-2和Landsat-8的密集时相数据,首先利用卷积层统一Sentinel-2和Landsat-8的空间-光谱特征尺度,然后通过一个信息查询模块搜索各个时段的信息量,即得到各时段注意力权重。实验结果表明,该方法在密集时相的作物分类任务中相比其他方法可以达到更好效果,特别是对那些具有相似物候规律且误分率较高的作物类别。
借鉴自然语言处理中近来取得极大成功的Transformer模型架构,提出了一种CNN-Transformer模型对多时相多光谱数据进行作物分类。该方法将多时相数据视为一序列特征,并从自然语言处理中借鉴了具有强大的序列信息建模能力的Transformer架构,对作物分类中时间序列之间的相关性进行建模。模型中,首先获得统一的多时相特征,然后得到序列信息的特征嵌入和位置嵌入。其次,使用从Transformer得到的编码器模块来表达序列的相关性,并且通过将编码器模块堆叠获得序列的深度模式特征。在实验中,结果证明了所提出的CNN-Transformer方法与传统方法相比具有明显优势。
借鉴挤压激励变换(SENet)思想和基于交错组卷积的模型冗余消除策略,进一步研究了基于组注意力和交错组卷积的高效多时相多光谱农作物分类模型。模型利用组特征挤压激励变换得到时相序列中各个特征组的注意力权重,通过组注意力“特征重标定”策略对序列组特征进行重新标定强化作物的细微物候差异。并利用交错组卷积中计算量较小的稀疏核矩阵相乘代替普通卷积计算中的稠密矩阵运算,通过引入交错组卷积模块,模型参数得以降低,整体模型得以简化。该模型不但可以提取密集时相中各作物的细微物候差异,其模型计算效率也得以提升。
分析了认知心理学和认知神经科学中的注意力机制研究现状,认知心理学中的注意力模型解释了注意力如何关注高优先级的输入信息而忽略其他输入信息的处理流程,而神经科学中的电生理研究,刺激技术,成像研究以及神经病学损伤个体数据都反映了注意过程的神经处理机制。深度神经网络模型中,注意力机制在很多领域中已经得到了成功的应用。受深度网络序列模型研究范式的启发,将注意力机制与高光谱以及密集时相多光谱分类网络相结合,研究了几种高光谱以及多时相多光谱分类算法,并利用注意力机制重点关注目标类别之间的细微光谱差异和时相物候差异。其主要创新点如下:
针对高光谱类别间存在的某些细微差异,提出了一种基于光谱注意力机制的SA-CNN-GRU(Spectral-Attention-CNN-GRU)分类模型。该模型把高光谱像元看作一个光谱序列,首先利用CNN卷积层提取像元邻域的空间信息,然后利用GRU(Gated Recurrent Unit)门控循环单元对光谱序列进行建模,并引入光谱注意力模块关注光谱谱段间的差异,对于类别差异较大的光谱谱段得到较大的注意力权重,类别差异小的光谱谱段得到较小的注意力权重。实验分析表明,注意力模块提高了高光谱分类模型的精度,尤其是那些具有细微光谱差异误分率较高的类别。除此之外,模型中的注意力权重在一定意义上还表明了各个谱段的可分离性以及对高光谱的光谱波段优选也具有重要的定性和定量参考价值。
针对作物分类问题中某些相似作物之间的差异主要表现为细微物候差异的情况,提出了一种关注作物细微物候差异的分类方法。该方法在时间序列信息处理中引入注意力机制,通过观察物候序列的差异,对于作物的物候差异较大的时段投入更多的关注,从而强化作物在特定关键时间段的特征表达,其对于特定情况的作物分类可以起到关键作用。对于Sentinel-2和Landsat-8的密集时相数据,首先利用卷积层统一Sentinel-2和Landsat-8的空间-光谱特征尺度,然后通过一个信息查询模块搜索各个时段的信息量,即得到各时段注意力权重。实验结果表明,该方法在密集时相的作物分类任务中相比其他方法可以达到更好效果,特别是对那些具有相似物候规律且误分率较高的作物类别。
借鉴自然语言处理中近来取得极大成功的Transformer模型架构,提出了一种CNN-Transformer模型对多时相多光谱数据进行作物分类。该方法将多时相数据视为一序列特征,并从自然语言处理中借鉴了具有强大的序列信息建模能力的Transformer架构,对作物分类中时间序列之间的相关性进行建模。模型中,首先获得统一的多时相特征,然后得到序列信息的特征嵌入和位置嵌入。其次,使用从Transformer得到的编码器模块来表达序列的相关性,并且通过将编码器模块堆叠获得序列的深度模式特征。在实验中,结果证明了所提出的CNN-Transformer方法与传统方法相比具有明显优势。
借鉴挤压激励变换(SENet)思想和基于交错组卷积的模型冗余消除策略,进一步研究了基于组注意力和交错组卷积的高效多时相多光谱农作物分类模型。模型利用组特征挤压激励变换得到时相序列中各个特征组的注意力权重,通过组注意力“特征重标定”策略对序列组特征进行重新标定强化作物的细微物候差异。并利用交错组卷积中计算量较小的稀疏核矩阵相乘代替普通卷积计算中的稠密矩阵运算,通过引入交错组卷积模块,模型参数得以降低,整体模型得以简化。该模型不但可以提取密集时相中各作物的细微物候差异,其模型计算效率也得以提升。