农作物遥感图像分类方法.pdf

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410005163.2(22)申请日 2024.01.03(71)申请人 环天智慧科技股份有限公司地址 620500 四川省眉山市仁寿县视高街道中粮加州智慧城B座2层(72)发明人 赵凌园罗梓菲周旷杨博张焰(74)专利代理机构 成都嘉企源知识产权代理有限公司 51246专利代理师 吴宇(51)Int.Cl.G06V 10/764(2022.01)G06V 20/13(2022.01)G06V 20/10(2022.01)G06V 10/774(2022.01)G06V 10/74(2022.

2、01)G06V 10/80(2022.01)G06V 10/82(2022.01)G06N 3/084(2023.01)(54)发明名称一种农作物遥感图像分类方法(57)摘要本发明公开了一种农作物遥感图像分类方法，包括获取农作物原始遥感影像；根据网络输入要求将遥感影像进行切片得到农作物多光谱图片；从多光谱图中提取RGB波段得到彩色的RGB图像；在多光谱图片上根据可见光与近红外波段反射率计算得到NDVI值并得到NDVI图像；将NDVI图像进行归一化处理；将归一化后的NDVI图像与RGB图像进行融合得到RGB图像；构建自注意力网络模型，将RGB图像的通道数据作为自注意力网络模型的输入；利用已标记的

3、农作物分类数据对自注意力网络模型进行训练。通过这种方法能够有效降低噪声影响，方便对农作物进行分类。权利要求书2页 说明书8页 附图1页CN 117496281 A2024.02.02CN 117496281 A1.一种农作物遥感图像分类方法，其特征在于：包括以下步骤；S1，获取农作物原始遥感影像；根据网络输入要求将遥感影像进行切片得到农作物多光谱图片；S2.1，从多光谱图中提取RGB波段得到彩色的RGB图像；S2.2，在多光谱图片上根据可见光与近红外波段反射率计算得到NDVI值并得到NDVI图像；S3，将NDVI图像进行归一化处理；S4，将归一化后的NDVI图像的平均NDVI值参与权重因子计算

4、，并与RGB对应通道图像进行融合得到RGB图像；其中权重因子根据作物类型不同进行调整；S5，构建自注意力网络模型，将RGB图像的通道数据作为自注意力网络模型的输入；构建自注意网络模型包括如下步骤：A.将遥感影像X切割为N个固定大小16*16的图像块，将图像块序列化为Xi；Xi表示第i个图像块的原始图像数据，i(1,2,.,N)；B.进行特征嵌入，转换为向量Ei，具体表示为：其中，We和be是线性映射的权重和偏置；C.将位置信息Pi与向量Ei相加，得到含有位置信息的特征Hi，具体表示为：D.将每个输入Xi都通过权重矩阵WQ、Wk、Wv的学习得到Q、K、V序列；E.进行多头划分，用缩放点积进行计算

5、，使得注意力网络模型可以有效地捕获遥感影像中的复杂结构和特征；F.使用全连接层对特征进行非线性变换整合；G.对整个特征序列进行池化，得到完整的图像表示；S6，利用已标记的农作物分类数据对自注意力网络模型进行训练；在自注意力网络模型的多头注意力层中引入Dropout机制并且将权重的计算过程纳入模型的训练过程，通过反向传播算法调整权重；权重的计算过程如下：第一步，使用点积计算序列长度为d的每一对位置(i，j)的相关性分数Score，如下所示：其中，Q表示查询矩阵；KT表示键矩阵的转置矩阵；表示缩放因子用于稳定模型；第二步，将分数进行归一化得到权重，表示i对于j的注意力分布；使用Softmax 函数

6、来确保权重之和为1，具体为：权利要求书1/2 页2CN 117496281 A2其中，Weight(i,j)表示位置(i，j)的注意力权重；exp()是指数函数；表示第i个位置和第j个位置的相关性分数；第三步，值加权求和，获得注意力的最终表示，具体表示为：其中，Output(i)为注意力分布的最终表示；Value(j)表示j位置的值；将Q、K、V参数化，使它们成为可学习的参数。2.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：NDVI值计算方法如下；其中，NIR是近红外波段的反射值，Red是红色波段的反射值。3.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：融合后的

7、RGB图像的红色通道数据R计算方式如下；其中，R为RGB图像红色通道数据，Wr是用于调整NDVI对红色通道的权重因子，R0,255；融合后的RGB图像的绿色通道数据G计算方式如下；其中，G为RGB图像绿色通道数据，Wg是用于调整NDVI对绿色通道的权重因子；G0,255融合后的RGB图像的蓝色通道B与融合前的RGB图像绿色通道B保持一致。4.根据权利要求3所述的一种农作物遥感图像分类方法，其特征在于：用于调整NDVI对红色通道的权重因子Wr以及用于调整NDVI对绿色通道的权重因子Wg，根据具体农作物进行调整。5.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：农作物原始遥感影像包含

8、多时相原始遥感影像。6.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：S6结束之后使用验证数据集来评估经过训练的模型性能并进行调参。7.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：农作物原始遥感影像获取后进行大气校正处理。权利要求书2/2 页3CN 117496281 A3一种农作物遥感图像分类方法技术领域0001本发明属于人工智能领域、卫星遥感技术领域，具体为一种农作物遥感图像分类方法。背景技术0002精准农业是一种利用先进的技术和信息化手段来实现农业生产全过程精确管理的方法。它包括了多种技术，如遥感、全球定位系统（GPS）、地理信息系统（GIS）、物联网（Io

9、T）等，旨在实现农作物生长环境的实时监测、数据分析和决策支持，从而提高农作物产量和质量，减少资源浪费和环境污染。通过对不同农作物进行分类，可以更准确地了解不同作物的生长需求、病虫害易发情况等信息，有针对性地制定施肥、灌溉、病虫害防控等方案，从而最大程度地满足作物的生长需求，提高产量和品质。遥感图像能够覆盖大范围的土地，且其获取不需要对土地进行干预，不会破坏农田，还可以捕捉到不同季节和生长阶段的农作物信息，监测作物周期性变化，这使得遥感技术非常适合用于农业环境中。但是，光谱数据中可能包含来自传感器本身或数据传输过程中的噪声，这些噪声可以干扰数据的准确性和一致性。与此同时，农作物在不同季节和生长阶

10、段的外观和光谱特性都会发生变化，这需要模型具有时序性的理解和适应能力。除此之外，不同农作物类别的样本数量可能差异很大，导致类别不平衡问题，这可能导致模型倾向于预测数量更多的类别。以下介绍现有技术方案。0003第一种为基于机器学习模型的高光谱遥感影像农作物分类方法。该方法提取每个像素的光谱特征、纹理特征，使用支持向量机SVM、随机森林等模型学习特征之间的关系来进行分类。在申请号为CN2021114869135的专利中利用多时相卫星影像数据进行作物分类，具体方法如下：1，对卫星影像数据进行预处理的操作；对卫星影像数据进行多维特征因子的提取，特征因子包括：光谱、纹理和植被指数；2，对各个特征因子进行

11、不同组合下的多通道数据融合，将不同组合的多通道融合数据结合地面真实样本训练支持向量机分类器；3，基于训练完成的支持向量机分类器得到农作物分类初始结果。但是该方法存在特征冗余，仅仅依靠传统机器学习分类的方法也没有很好地抑制光谱信息中的大量噪声。0004第二种为基于时序物候特征曲线的农作物分类方法。该方法对时间序列数据进行物候提取，即从数据中提取反映农作物生长周期的特征。常用的方法包括NDVI（归一化植被指数）时间序列曲线的分析，通过找到特定物候事件的时间点（如播种、萌芽、开花、结果等）来描述不同生长阶段。在公开号为CN110160992A的专利中公开了一种基于植被覆盖度时间序列的农作物分类方法，

12、包括如下：1，获取含有红光波段和近红外波段的遥感影像数据，构建覆盖农作物生长周期的遥感影像时间序列，并计算得到NDVI时间序列；2，基于步骤1得到的NDVI时间序列，计算得到植被覆盖度（FVC）时间序列；3，通过实地调查或历史图件，获取农作物样本数据；4，以FVC时间序列和样本数据作为输入，采用随机森林分类器，对研究区的农作物进行分类，形成农作物分类结果图。但数据质量和物候提取的准确性对于这种方法的成功至关重要。在现实场景下，不同作物的生长周期不一致，一段时间内同一区域可能说明书1/8 页4CN 117496281 A4复种不同类型农作物，难以建立精准的NDVI时间序列曲线。发明内容0005本

13、发明的目的在于提供一种农作物遥感图像分类方法，以解决背景技术中提出的以下技术问题：现有技术中的基于高光谱遥感影像对农作物进行分类的方法存在特征冗余，依靠传统机器学习分类的方法不能够有效抑制光谱信息中的大量噪声。0006为解决上述技术问题，本发明所采用的技术方案是：一种农作物遥感图像分类方法，包括以下步骤；S1，获取农作物原始遥感影像；根据网络输入要求将遥感影像进行切片得到农作物多光谱图片；S2.1，从多光谱图中提取RGB波段得到彩色的RGB图像；S2.2，在多光谱图片上根据可见光与近红外波段反射率计算得到NDVI值并得到NDVI图像；S3，将NDVI图像进行归一化处理；S4，将归一化后的NDV

14、I图像的平均NDVI值参与权重因子计算，并与RGB对应通道图像进行融合得到RGB图像；其中权重因子根据作物类型不同进行调整；S5，构建自注意力网络模型，将RGB图像的通道数据作为自注意力网络模型的输入；构建自注意网络模型包括如下步骤：A.将遥感影像X切割为N个固定大小16*16的图像块，将图像块序列化为Xi；Xi表示第i个图像块的原始图像数据，i(1,2,.,N)；B.进行特征嵌入，转换为向量Ei，具体表示为：其中，We和be是线性映射的权重和偏置；C.将位置信息Pi与向量Ei相加，得到含有位置信息的特征Hi，具体表示为：D.将每个输入Xi都通过权重矩阵WQ、Wk、Wv的学习得到Q、K、V序列

15、；E.进行多头划分，用缩放点积进行计算，使得注意力网络模型可以有效地捕获遥感影像中的复杂结构和特征；F.使用全连接层对特征进行非线性变换整合；G.对整个特征序列进行池化，得到完整的图像表示；S6，利用已标记的农作物分类数据对自注意力网络模型进行训练；在自注意力网络模型的多头注意力层中引入Dropout机制并且将权重的计算过程纳入模型的训练过程，通过反向传播算法调整权重；权重的计算过程如下：第一步，使用点积计算序列长度为d的每一对位置(i，j)的相关性分数Score，如下所示：说明书2/8 页5CN 117496281 A5其中，Q表示查询矩阵；KT表示键矩阵的转置矩阵；表示缩放因子用于稳定模型

16、；第二步，将分数进行归一化得到权重，表示i对于j的注意力分布；使用Softmax 函数来确保权重之和为1，具体为：其中，Weight(i,j)表示位置(i，j)的注意力权重；exp()是指数函数；Score(i,j)表示第i个位置和第j个位置的相关性分数；第三步，值加权求和，获得注意力的最终表示，具体表示为：其中，Output(i)为注意力分布的最终表示；Value(j)表示j位置的值；将Q、K、V参数化，使它们成为可学习的参数。0007进一步地，NDVI值计算方法如下；其中，NIR是近红外波段的反射值，Red是红色波段的反射值。0008进一步地，融合后的RGB图像的红色通道数据R计算方式如下

17、；中，R为RGB图像红色通道数据，Wr是用于调整NDVI对红色通道的权重因子，R0,255；融合后的RGB图像的绿色通道数据G计算方式如下；其中，G为RGB图像绿色通道数据，Wg是用于调整NDVI对绿色通道的权重因子；G0,255融合后的RGB图像的蓝色通道B与融合前的RGB图像绿色通道B保持一致。0009进一步地，用于调整NDVI对红色通道的权重因子Wr以及用于调整NDVI对绿色通道的权重因子Wg，根据具体农作物进行调整。0010进一步地，农作物原始遥感影像包含多时相原始遥感影像。0011进一步地，S6结束之后使用验证数据集来评估经过训练的模型性能并进行调参。0012进一步地，农作物原始遥感

18、影像获取后进行大气校正处理。0013与现有技术相比，本发明具有以下有益效果：本发明使用了RGB（红、绿、蓝）彩色图像数据以及基于多光谱图像计算后得到的NDVI图像，然后进行数据融合。将融合后的图像数据将作为自注意力网络模型的输入数据。说明书3/8 页6CN 117496281 A6融合后的图像能够更加清楚的反映植被情况，在将融合后的图像通道数据输入自注意力网络模型后，自注意力机制可以根据元素之间的相似性自动分配更小的权重给噪声或不相关的元素。这意味着噪声元素的影响被降低，而清晰信号的权重更大，从而减少了噪声的影响。附图说明0014图1为本发明的流程图。具体实施方式0015下面将结合本发明实施例

19、中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。0016实施例一。0017一种农作物遥感图像分类方法，如图1所示，包括以下步骤；S1，获取农作物原始遥感影像；根据网络输入要求将遥感影像进行切片得到农作物多光谱图片；具体的，本实施例的农作物原始遥感影像源于哨兵二号，对农作物原始遥感影像进行切割得到农作物区域的多光谱图片。多光谱图片中应包含RGB波段和近红外波段。0018S2.1，从多光谱图中提取RGB波段得到

20、彩色的RGB图像；RGB图像能够提供地表的颜色信息。卫星传感器的波段范围为400nm1000nm。按照蓝光、绿光、红光的波长范围（蓝光450nm510nm、绿光510nm580nm、蓝光630nm690nm），依次提取band1、band2、band3作为RGB影像的B、G、R通道，再进行RGB彩色合成。0019S2.2，在多光谱图片上根据可见光与近红外波段反射率计算得到NDVI值并得到NDVI图像；NDVI值对植物的生长情况非常敏感。在一个优选实施例中，NDVI值计算方法如下；其中，NIR是近红外波段的反射值，RED是红色波段的反射值。红色波段的反射值来源于可见光的反射值。对获得的NDVI值

21、进行映射处理。0020S3，将NDVI图像进行归一化处理，归一化植被指数的范围一般在1到1之间，其中1表示没有植被，1表示浓密的植被。使用线性变换将NDVI映射到0到1。下面是线性映射的公式：将NDVI图像进行归一化处理是为了方便NDVI值与RGB图像权重计算相匹配，也就是方便RGB图像和NDVI图像的通道融合。0021S4，将归一化后的NDVI图像的NDVI值求全局平均，平均NDVI作为权重因子的依据与RGB图像的对应通道进行融合得到RGB图像；其中权重因子根据作物类型不同进行调整。0022具体的，通过将归一化NDVI图像的NDVI值求全局平均。在自注意力网络模型进行说明书4/8 页7CN

22、117496281 A7训练前，自适应参数Wr、Wg强化颜色通道，增强不同作物类别差异。此处需要说明权重因子在01之间。在一个优选实施例中，融合后的RGB图像的红色通道数据R计算方式如下；其中，R为RGB图像红色通道数据，Wr是用于调整NDVI对红色通道的权重因子，R0,255。单张图NDVI值取平均得到AverageNDVI；融合后的RGB图像的绿色通道数据G计算方式如下；其中，G为RGB图像绿色通道数据，Wg是用于调整NDVI对绿色通道的权重因子，G0,255；融合后的RGB图像的蓝色通道B与融合前的RGB图像绿色通道B保持一致。蓝色通道通常用于表示非植被地表，因此保持不变。0023在一个

23、优选实施例中，融合后的RGB图像对NDVI值高，稀疏的、叶绿素含量较低的作物类型，自适应权重增强红光波段表达。更加茂密、紧凑的植物类型其红色通道就会被抑制。绿色通道根据归一化NDVI进行调整，较高的NDVI值可以表示更茂密的植被类型，因此可以增加绿色通道的亮度，以突出植被。蓝色通道通常用于表示非植被地表。0024RGB图像与NDVI图像的通道融合方法在不同类型的农作物中可以产生不同的效果，其有效性取决于作物的特性和生长情况。例如，叶状作物通常会有明显的绿色植被，增强绿色通道，能使植被更加明显。水稻是一种特殊的农作物，在水稻的不同生育阶段水体特征有所改变，不变的蓝色通道可以保护这一特征，以更好地

24、区分不同生育阶段的水稻。果树通常在开花和结果时，叶子具有较高的NDVI值，果实和花朵的NDVI较低。因此，对于果树的图像，使用NDVI来调整RG通道有助于突出果树的花朵和果实部分。0025不同类型的作物可能对NDVI值的敏感性不同，本实施例基于作物类型调整通道权重因子。例如，对于森林等茂密植被，需要更强的NDVI权重来突出植被特征，而对于低矮稀疏农作物，需要较小的权重。最后，权重因子平衡RGB三个通道的作用，以确保它们都能为分类提供有用的信息。0026S5，构建自注意力网络模型，将RGB图像的通道数据作为自注意力网络模型的输入；构建自注意网络模型包括如下步骤：A.将遥感影像X切割为N个固定大小

25、16*16的图像块，将图像块序列化为Xi；Xi表示第i个图像块的原始图像数据，i(1,2,.,N)；B.进行特征嵌入，转换为向量Ei，具体表示为：其中，We和be是线性映射的权重和偏置；C.将位置信息Pi与向量Ei相加，得到含有位置信息的特征Hi，具体表示为：说明书5/8 页8CN 117496281 A8D.将每个输入Xi都通过权重矩阵WQ、Wk、Wv的学习得到Q、K、V序列；E.进行多头划分，用缩放点积进行计算，使得模型可以有效地捕获遥感影像中的复杂结构和特征；F.使用全连接层对特征进行非线性变换整合；G.对整个特征序列进行池化，得到完整的图像表示；也就是说，自注意力网络模型由五部分组成：

26、第一部分为图像块化，将遥感影像X切割为N个固定大小16*16的图像块后，图像块序列化为Xi，i(1,2,.,N)，再进行特征嵌入，转换为向量Ei，具体表示为：其中，We和be是线性映射的权重和偏置；第二部分为位置编码，将位置信息Pi与影像向量相加，得到含有位置信息的特征Hi，具体表示为：第三部分为MSA多头注意力计算，每个输入Xi都通过权重矩阵WQ、Wk、Wv的学习得到Q、K、V序列，再进行多头划分，用缩放点积进行计算，使得模型可以有效地捕获遥感影像中的复杂结构和特征；第四部分为MLP多层感知机，使用全连接层对特征进行非线性变换整合；第五部分是全局平均池化，对整个特征序列进行池化，得到完整的图

27、像表示。0027自注意力网络模型的结构允许它自动学习图像中的关键特征，并可以处理多通道数据。自注意力网络模型使用自注意力机制来捕捉图像中不同区域之间的关系。在自注意力机制中，每个输入元素都会分配一个权重，该权重表示与其他元素之间的关联程度。这些权重是通过计算查询键值之间的关系来确定的。当处理具有噪声的输入时，自注意力机制可以根据元素之间的相似性自动分配更小的权重给噪声或不相关的元素。这意味着噪声元素的影响被降低，而清晰信号的权重更大，从而减少了噪声的影响。自注意力网络模型通常包含多个注意力头，多个注意力头可以学习不同的关系，以更全面地捕捉输入序列的结构信息。Q、K和V映射到一个相等的序列长度的

28、输出。输出序列为Z=(Z1,Zn)，表示为输入参数的线性变换加权和。各层的注意力权重可表示为：其中，MSA表示多头自注意力机制；k表示层数，k1,2,.,n。LN表示为归一化，Zk表示在k层经过多头注意力计算后的序列输出；MLP表示多层感知机，用于分类任务；Zk表示该k层的最终输出；Zk1表示上一层的输出。0028在处理噪声时，对单一注意力头可能引入噪声，多头注意力可以允许模型从不同角度理解输入，不同头之间的组合可以降低对特定噪声的敏感性，并且在多头注意力层中引入Dropout机制，即在训练时以一定的概率随机将一些神经元的输出置零。这有助于防止模型过拟合训练数据，使其对噪声更加鲁棒。我们将融合

29、后的多通道图像作为自注意力网络模型的输入，利用网络的自适应能力从数据中学习到的特征权重。在自注意力机制中，注说明书6/8 页9CN 117496281 A9意力用于处理输入序列中不同位置的信息，并动态地计算权重。权重的计算过程如下：第一步，使用点积计算序列长度为d的每一对位置(i，j)的相关性分数Score，如下所示：其中，Q表示查询矩阵；KT表示键矩阵的转置矩阵；表示缩放因子用于稳定模型；第二步，将分数进行归一化得到权重，表示i对于j的注意力分布；使用Softmax 函数来确保权重之和为1，具体为：其中，Weight(i,j)表示位置(i，j)的注意力权重；exp()是指数函数；Score(

30、i,j)表示第i个位置和第j个位置的相关性分数；第三步，值加权求和，获得注意力的最终表示，具体表示为：其中，Output(i)为注意力分布的最终表示；Value(j)表示j位置的值；将Q、K、V参数化，使它们成为可学习的参数。并将权重的计算过程纳入模型的训练过程，通过反向传播算法调整权重。0029因此不需要手动设计复杂的特征提取器。自注意力网络模型可以提升对复杂季节及光照数据中噪声的鲁棒性，自动适应不同季节、不同光照的数据。在本实例中，数据集包含多个时相的数据，对于农田，模型可以学到在春季和夏季常见的绿色植被特征。这使得模型能够泛化到新的季节情况。另外，自注意力机制允许模型对图像中的不同位置动

31、态调整权重。模型在不同光照条件下自适应地关注更重要的区域，例如，调整到阳光直射的区域，避开阴影区域。此外，基于比例计算的NDVI可以减少光照的噪声干扰，提高特征表达的精确性。网络模型将学习如何从通道数据中提取颜色和季节特征，并将它们用于分类不同的农作物类别。0030在一个优选实施例中，农作物原始遥感影像包含多时相原始遥感影像。将多时相的RGB彩色图像与多光谱图像计算得到的NDVI指数图像融合后的通道数据作为自注意力网络模型的输入，实际上在数据层面上融合了颜色特征和植被覆盖和健康程度的遥感指数，提高了关键颜色通道特征的权重，为农作物遥感图像分类带来了多方面的优势和丰富性。此外，利用自注意力机制能

32、够捕获输入图像中的全局信息，这使得模型能够在不同时间点的遥感图像中同时增强作物的关键特征，有助于更好地理解作物的不同生长阶段。0031在一个优选实施例中，S6结束之后使用验证数据集来评估经过训练的模型性能并进行调参。在训练模型时，将数据集分为训练集、验证集和测试集三部分。训练集用于模型的参数训练和优化过程，验证集用于调整模型的超参数和评估模型在未见过的数据上的性说明书7/8 页10CN 117496281 A10能，而测试集则是用于最终评估模型的泛化能力。0032在一个优选实施例中，农作物原始遥感影像获取后进行大气校正处理。大气校正的目的是消除大气和光照等因素对地物反射的影响，获得地物反射率、辐射率、地表温度等正式物理模型参数，包括消除大气中水蒸气、氧气、二氧化碳、甲烷和臭氧等对地物反射的影响；消除大气分子和气溶胶散射的影响。0033尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。说明书8/8 页11CN 117496281 A11图1说明书附图1/1 页12CN 117496281 A12