基于深度学习的高光谱图像分类方法.pdf

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010981310.1 (22)申请日 2020.09.17 (71)申请人 哈尔滨理工大学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号 (72)发明人 孙崐张天意 (74)专利代理机构 哈尔滨市伟晨专利代理事务 所(普通合伙) 23209 代理人 曹徐婷 (51)Int.Cl. G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的高光谱图像分类方法 (57)摘要

2、 一种基于深度学习的高光谱图像分类方法， 属于高光谱图像分类技术领域。 本发明所要解决 的问题是深度学习时缺少训练样本， 许多卷积神 经网络的方法不能得到很好的训练从而造成过 拟合现象的问题。 包括S1.提取高光谱图像块， 将 高光谱图像提取为带有标签的B*B*L的像素块； S2.将高光谱数据块按照mixup方法进行混合； S3.通过3DCNN对数据进行特征提取； S4.将提取 的特征进行特征融合； S5.特征融合后的高光谱 图像分类。 S6.运用SENet网络提取光谱信息。 本 发明针对提高网络分类性能降低高光谱图像样 本与维度之间的不平衡容易产生的休斯现象以 及小样本训练深度网络产生的过拟

3、合现象， 通过 使用特征融合的方法将提取到的光谱信息和空 间信息融合后进行分类。 权利要求书2页 说明书4页 附图2页 CN 112101467 A 2020.12.18 CN 112101467 A 1.一种基于深度学习的高光谱图像分类方法， 其特征在于， 包括以下步骤： S1.提取高光谱图像块， 将高光谱图像提取为带有标签的B*B*L的像素块； S2.将高光谱数据块按照mixup方法进行混合； S3.通过3DCNN对数据进行特征提取； S4.将提取的特征进行特征融合； S5.特征融合后的高光谱图像分类； S6.运用SENet网络提取光谱信息。 2.根据权利要求1所述的一种基于深度学习的高光

4、谱图像分类方法， 其特征在于： 所述 S1.中提取高光谱图像块， 将高光谱图像提取为带有标签的B*B*L的像素块的具体方法是： 提取为带有标签的B*B*L的像素块， B*B是空间尺寸的大小， L为光谱的波段数。 3.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法， 其特征在于： 所述 S2.中将高光谱数据块按照mixup方法进行混合的具体方法为： 对于输入的一个批次的高光 谱数据块文本将其随机抽取进行混合， 混合公式如下： 其中， (xi， yi)， (xj， yj)是从训练数据中随机抽取的两个样本， 是mixup方法的权值， 服 从Beta， 其取值范围为 0， 1。 4.根据权利

5、要求1所述的一种基于深度学习的高光谱图像分类方法， 其特征在于： 所述 的S3.中通过3DCNN对数据进行特征提取的具体方法为： 通过以下公式获得第l层的第j个特 征图的位置(x,y,z)上的神经元的值： 其中Hl， Wl,Rl为三维卷积核的大小， Rl为卷积核的深度， m为(l-1)层特征层的个数， 连接权重， blj为偏置， f()为激活函数。 5.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法， 其特征在于： 所述 的S4.中， 将提取的特征进行特征融合的具体方法为： 利用三维卷积核对数据进行卷积运 算， 按照以下公式运算： 其中f()为激活函数， 激活函数为线性整流函数(Re

6、lu),线性整流函数Relu计算方法 f(v)max(0， v)。 6.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法， 其特征在于： 所述 的S5.中， 特征融合后的高光谱图像分类的具体方法为： 将最后一个三维卷积层输出的特征 图展成一维向量与全连接层相连， 在输出层采用Softmax函数作为激活函数， 以完成高光谱 图像的多分类， Softmax激活函数计算方法如以下公式： 权利要求书 1/2 页 2 CN 112101467 A 2 7.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法， 其特征在于： 所述 的S6.中， 运用SE-Net网络提取光谱信息的具体方法为：

7、利用squeeze及excitation这一对 计算方式对特征通道进行标记， 得到每个通道对模型的贡献情况， 并根据这组权重对任务 中影响较小的特征通道进行抑制， 特征分权重算法公式如下： 其中uc是C 通过卷积操作得到的输出， vc是所用滤波器核的第c个通道参数； Feq代表 压缩操作； Zc是得到的通道权值。 权利要求书 2/2 页 3 CN 112101467 A 3 一种基于深度学习的高光谱图像分类方法 技术领域 0001 本发明涉及高光谱图像分类方法， 特别涉及一种基于深度学习的高光谱图像分类 方法。 背景技术 0002 高光谱遥感在获取目标空间信息的时候， 同时也获得了目标光谱域上

8、的信息。 高 光谱图像分类问题是高光谱遥感图像处理问题中的研究基础， 它的主要目的是根据高光谱 遥感图像中的光谱信息和空间信息将图像中的每个像元划分为不同的地物类别。 高光谱图 像分类技术被广泛应用于农业生产、 环境监测、 矿产勘测、 军事目标识别等领域。 高光谱图 像具有小样本、 维度高、 数据结构三维等特点。 高光谱图像具有小样本特性， 标注高光谱图 像复杂、 昂贵而且只能由专家来完成导致了为高光谱图像分类提供的标注像素是有限的， 但是深度学习通常需要大量的训练样本。 由于训练样本不足许多卷积神经网络的方法不能 得到很好的训练从而造成过拟合现象。 并且高光谱图像具有高维特性当训练样本与光谱

9、波 段的数目比例过小时， 会有 “休斯” 现象产生。 发明内容 0003 本发明研发的目的是针对提高网络分类性能降低高光谱图像样本与维度之间的 不平衡容易产生的休斯现象以及小样本训练深度网络产生的过拟合现象， 通过使用特征融 合的方法将提取到的光谱信息和空间信息融合后进行分类， 从而提高网络分类性能。 0004 在下文中给出了关于本发明的简要概述， 以便提供关于本发明的某些方面的基本 理解。 应当理解， 这个概述并不是关于本发明的穷举性概述。 它并不是意图确定本发明的关 键或重要部分， 也不是意图限定本发明的范围。 0005 一种基于深度学习的高光谱图像分类方法， 包括以下步骤： 0006 S

10、1.提取高光谱图像块， 将高光谱图像提取为带有标签的B*B*L的像素块； 0007 S2.将高光谱数据块按照mixup方法进行混合； 0008 S3.通过3DCNN对数据进行特征提取； 0009 S4.将提取的特征进行特征融合； 0010 S5.特征融合后的高光谱图像分类； 0011 S6.运用SENet网络提取光谱信息； 0012 优选的， 所述S1.中提取高光谱图像块， 将高光谱图像提取为带有标签的B*B*L的 像素块的具体方法是： 提取为带有标签的B*B*L的像素块， B*B是空间尺寸的大小， L为光谱 的波段数。 0013 优选的， 所述S2.中将高光谱数据块按照mixup方法进行混合

11、的具体方法为： 对于 输入的一个批次的高光谱数据块文本将其随机抽取进行混合， 混合公式如下： 0014 说明书 1/4 页 4 CN 112101467 A 4 0015 0016 其中， (xi， yi)， (xj， yj)是从训练数据中随机抽取的两个样本， 是mixup方法的权 值， 服从Beta， 其取值范围为 0， 1。 0017 优选的， 所述的S3.中通过3DCNN对数据进行特征提取的具体方法为： 通过以下公 式获得第l层的第j个特征图的位置(x,y,z)上的神经元的值： 0018 0019 其中Hl， Wl,Rl为三维卷积核的大小， Rl为卷积核的深度， m为(l-1)层特征层的

12、个 数，连接权重， blj为偏置， f ()为激活函数。 0020 优选的， 所述的S4.中， 将提取的特征进行特征融合的具体方法为： 利用三维卷积 核对数据进行卷积运算， 按照以下公式运算： 0021 0022 其中f()为激活函数， 激活函数为线性整流函数(Relu),线性整流函数Relu计算 方法f(v)max(0， v)。 0023 优选的， 所述的S5.中， 特征融合后的高光谱图像分类的具体方法为： 将最后一个 三维卷积层输出的特征图展成一维向量与全连接层相连， 在输出层采用Softmax函数作为 激活函数， 以完成高光谱图像的多分类， Softmax激活函数计算方法如以下公式： 0

13、024 0025 优选的， 所述的S6.中， 运用SE-Net网络提取光谱信息的具体方法为： 利用squeeze 及excitation这一对计算方式对特征通道进行标记， 得到每个通道对模型的贡献情况， 并 根据这组权重对任务中影响较小的特征通道进行抑制， 特征分权重算法公式如下： 0026 0027 0028 其中uc是C 通过卷积操作得到的输出， vc是所用滤波器核的第c个通道参数； Feq代 表压缩操作； Zc是得到的通道权值。 0029 本发明的技术方案， 具有如下有益效果： 本发明提供的一种基于深度学习的高光 谱图像分类方法通过将高光谱数据块按照mixup方法对高光谱图像进行混合，

14、可以降低高 光谱图像样本与维度之间的不平衡容易产生的休斯现象以及小样本训练深度网络产生的 过拟合现象， 提高网络的泛化能力； 通过特征融合的方法将提取到的光谱信息和空间信息 融合后进行分类， 提高高光谱图像分类性能。 说明书 2/4 页 5 CN 112101467 A 5 附图说明 0030 图1是高光谱图像分类方法的流程图； 0031 图2是M-3DCNN网络结构图； 0032 图3是二维卷积与三维卷积操作对比图； 0033 图4是特征融合的高光谱图像分类方法； 0034 图5是SENet网络的示意图； 具体实施方式 0035 为使本发明的目的、 技术方案和优点更加清楚明了， 下面通过附图

15、中示出的具体 实施例来描述本发明。 但是应该理解， 这些描述只是示例性的， 而并非要限制本发明的范 围。 此外， 在以下说明中， 省略了对公知结构和技术的描述， 以避免不必要地混淆本发明的 概念。 0036 一种基于深度学习的高光谱图像分类方法， 包括以下步骤： 0037 S1.提取高光谱图像块， 将高光谱图像提取为带有标签的B*B*L的像素块的具体方 法是： 提取为带有标签的B*B*L的像素块， B*B是空间尺寸的大小， L为光谱的波段数。 0038 S2.将高光谱数据块按照mixup方法进行混合的具体方法为： 对于输入的一个批次 的高光谱数据块文本将其随机抽取进行混合， 混合公式如下： 0

16、039 0040 0041 其中， (xi， yi)， (xj， yj)是从训练数据中随机抽取的两个样本， 是mixup方法的权 值， 服从Beta， 其取值范围为 0， 1。 0042 利用mixup方法产生虚拟数据然后将虚拟数据送入到设计好的三维卷积神经网络 提取特征， 将提取的空间-光谱联合特征送入逻辑回归得到分类结果， M-3DCNN具体网络结 构如图2所示。 将mixup方法引入到高光谱图像分类的问题中以解决高光谱图像样本与维度 之间的不平衡产生的休斯现象以及用小样本训练深度网络产生的过拟合现象， 提高网络的 泛化能力。 0043 S3.通过3DCNN对数据进行特征提取的具体方法为：

17、 通过以下公式获得第l层的第j 个特征图的位置(x,y,z)上的神经元的值： 0044 0045 其中Hl， Wl,Rl为三维卷积核的大小， Rl为卷积核的深度， m为(l-1)层特征层的个 数，连接权重， blj为偏置， f ()为激活函数。 0046 传统的二维卷积神经网络已经在图像分类以及目标识别等领域取得了显著的成 果。 卷积神经网络主要特点为： 局部连接， 权值共享。 一个完整的CNN步骤应该包含一个卷积 层一个池化层。 二维卷积最显著的优点是， 提供了一种直接从原始输入影像中直接提取特 征的有效方法， 然而， 直接将二维卷积应用到高光谱图像中要求对网络的每一个二维输入 做卷积， 每

18、个卷积都有一系列可学习的参数。 高光谱图像的光谱维通常有几百个通道， 这就 说明书 3/4 页 6 CN 112101467 A 6 将产生大量的需要学习的参数， 随着计算成本的增加， 这可能会导致过拟合。 在三维卷积提 出前， 为了解决这一问题， 通常使用降维的方法来减少光谱维数以进行特征提取和分类， 但 是降维可能会损失细节信息。 我们在此将三维卷积应用到高光谱图像处理中。 三维卷积用 三维核函数来做三维卷积操作， 可以同时提取空间特征和光谱特征。 图3给出了二维卷积和 三维卷积的操作对比图。 0047 S4.将提取的特征进行特征融合的具体方法为： 利用三维卷积核对数据进行卷积 运算， 按

19、照以下公式运算： 0048 0049 其中f()为激活函数， 激活函数为线性整流函数(Relu),线性整流函数Relu计算 方法f(v)max(0， v)。 0050 S5.特征融合后的高光谱图像分类的具体方法为： 将最后一个三维卷积层输出的 特征图展成一维向量与全连接层相连， 在输出层采用Softmax函数作为激活函数， 以完成高 光谱图像的多分类， Softmax激活函数计算方法如以下公式： 0051 0052 S6.运用SE-Net网络提取光谱信息的具体方法为： 利用squeeze及excitation这一 对计算方式对特征通道进行标记， 得到每个通道对模型的贡献情况， 并根据这组权重对任 务中影响较小的特征通道进行抑制， 特征分权重算法公式如下： 0053 0054 0055 其中uc是C 通过卷积操作得到的输出， vc是所用滤波器核的第c个通道参数； Feq代 表压缩操作； Zc是得到的通道权值。 说明书 4/4 页 7 CN 112101467 A 7 图1 图2 说明书附图 1/2 页 8 CN 112101467 A 8 图3 图4 图5 说明书附图 2/2 页 9 CN 112101467 A 9