基于二值量化网络的高光谱图像分类方法.pdf

《基于二值量化网络的高光谱图像分类方法.pdf》由会员分享，可在线阅读，更多相关《基于二值量化网络的高光谱图像分类方法.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010151137.2 (22)申请日 2020.03.06 (71)申请人 西安电子科技大学 地址 710071 陕西省西安市太白南路2号 (72)发明人 雷杰苏展吴凌云李云松 谢卫莹张鑫 (74)专利代理机构 陕西电子工业专利中心 61205 代理人 田文英王品华 (51)Int.Cl. G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/00(2006.01) (54)发明名称 基于二值量化网。

2、络的高光谱图像分类方法 (57)摘要 本发明提出了一种基于二值量化网络的高 光谱图像分类方法， 主要解决高光谱图像的边缘 模糊、 模型复杂和提取云的空间特征信息不足的 技术问题。 实现步骤为： 生成训练集； 构建全精度 卷积神经网络； 训练全精度卷积神经网络； 构建 二值量化卷积神经网络； 初始化二值量化卷积神 经网络的； 训练二值量化卷积神经网络； 对高光 谱图像进行分类。 本发明利用了七个量化模块， 简化了传统的卷积神经网络结构， 充分提取高光 谱图像云层的空间特征信息， 在节省计算资源的 同时提高了高光谱图像云分类的精度。 权利要求书3页 说明书8页 附图2页 CN 111382788 。

3、A 2020.07.07 CN 111382788 A 1.一种基于二值量化网络的高光谱图像分类方法， 其特征在于， 利用交叉熵损失函数 对全精度卷积神经网络进行训练， 利用训练好的全精度卷积神经网络初始化二值量化卷积 神经网络， 利用交叉熵损失函数对初始化后的二值量化卷积神经网络进行训练； 该方法具 体步骤包括如下： (1)生成训练集： (1a)将N张大小为WHC含有云层的高光谱图像裁剪成M张大小为512512N的高 光谱图像， 其中， 60N120， W、 H和C分别表示高光谱图像的宽、 高和波段数， 1000W2000， 1000H2000， 3C256， W、 H和C的单位为像素， 8。

4、000M16000； (1b)利用云占比公式， 计算裁剪后每幅图像的云占比， 将云占比低于10的裁剪后高 光谱图像判为无云图， 其余的判为有云图； (1c)从所有的无云图和所有的有云图中各自随机选取80高光谱图像组成训练集， 若 训练集中的高光谱图像是有云图， 那么实际有云的概率值为1， 实际无云的概率值为0， 否 则， 实际有云的概率值为0， 实际无云的概率值为1； (2)构建全精度卷积神经网络： (2a)搭建一个10层的全精度卷积神经网络， 其结构依次为： 第一卷积层第二卷积层 第三卷积层第四卷积层第五卷积层第六卷积层第七卷积层池化层Pool1全 连接层FC1； (2b)设置全精度卷积神经。

5、网络每层的尺寸大小如下： 将第一至第五卷积层的卷积核的个数依次设置为16， 32， 64， 128， 256， 每个卷积核的大 小均设置为33， 卷积步长均设置为2； 将第六至第七卷积层的卷积核的个数依次设置为128， 256， 每个卷积核大小均设置为1 1， 卷积步长均设置为1； 池化层Pool1采用平均池化方式， 将池化层的池化卷积核大小设置为44， 池化步长设 置为4； 将全连接层FC1的输出节点个数设置为2； (3)训练全精度卷积神经网络： (3a)将训练集输入到全精度卷积神经网络中， 得到全连接层FC1的两个输出节点值， 利 用soft-max多分类函数分别计算全精度卷积神经网络预测。

6、有云的概率值和预测无云的概 率值； (3b)将全精度卷积神经网络预测有云的概率值和预测无云的概率值分别输入到交叉 熵损失函数中， 得到损失值； (3c)利用损失值和梯度下降法， 计算全精度量化卷积神经网络中每个卷积层的每个卷 积核的所有权重的梯度和全连接层FC1的每个输出节点的所有权重的梯度； (3d)利用每个卷积层的每个卷积核的所有梯度和全连接层FC1的每个输出节点的所有 梯度， 迭代更新全精度卷积神经网络中每个卷积层的每个卷积核的所有权重和全连接层 FC1的每个输出节点的所有权重， 直到交叉熵损失值小于0.1时， 得到训练好的全精度卷积 神经网络,保存训练好的全精度卷积神经网络中每个卷积层。

7、的每个卷积核的所有权重和全 连接层FC1的每个输出节点的所有权重； (4)构建二值量化卷积神经网络： 权利要求书 1/3 页 2 CN 111382788 A 2 (4a)搭建一个10层的二值量化卷积神经网络， 其结构依次为： 第一量化模块第二量 化模块第三量化模块第四量化模块第五量化模块第六量化模块第七量化模块 池化层Pool2全连接层FC2； 每个量化模块中只有一个卷积层； (4b)设置二值量化卷积神经网络每层的尺寸大小如下： 将第一至第五量化模块中卷积层的卷积核的个数依次设置为16， 32， 64， 128， 256， 每个 卷积核大小均设置为33， 卷积步长均设置为2； 将第六至第七量。

8、化模块中卷积层的卷积核的个数依次设置为128， 256， 每个卷积核大 小均设置为11， 卷积步长均设置为1； 池化层Pool2采用平均池化方式， 将池化层的池化卷积核大小设置为44， 池化步长设 置为4； 将全连接层FC2的输出节点个数设置为2； (5)初始化二值量化卷积神经网络： (5a)将训练好的全精度卷积神经网络中第一至第七卷积层的每个卷积核的每个权重， 分别赋值给二值量化卷积神经网络中第一至第七量化模块中卷积层的每个卷积核的每个 权重， 将赋值后的二值量化卷积神经网络中每个卷积核的所有权重组成一个权重矩阵； (5b)利用下式， 二值量化每个量化模块中卷积层的每个卷积核的权重矩阵： 其。

9、中， Wlk表示二值量化后第l个量化模块中卷积层的第k个卷积核的权重矩阵， nlk表示 二值量化后第l个量化模块中卷积层的第k个卷积核的权重矩阵中元素的总数，表示赋 值后第l个量化模块中卷积层的第k个卷积核的权重矩阵， |1表示一范数操作， *表示 乘法操作， sign()表示符号函数； (5c)将训练好的全精度卷积神经网络中全连接层FC1的每个输出节点的所有权重， 各自 赋值给二值量化卷积神经网络中全连接层FC2的每个输出节点的所有权重； (6)训练二值量化卷积神经网络： 将训练集输入到初始化后的二值量化卷积神经网络中， 采用与步骤(3)训练全精度卷 积神经网络相同的步骤训练初始化后的二值量。

10、化卷积神经网络， 得到训练好的二值量化卷 积神经网络； (7)对高光谱图像进行分类： 将一幅待分类的高光谱图像输入到训练好的二值量化卷积神经网络中， 得到全连接层 FC2的两个输出节点值， 若第一个输出节点值大于第二个输出节点值则判定输入的待分类 的高光谱图像为有云图， 否则， 判为无云图。 2.根据权利要求1所述的基于二值量化网络的高光谱图像分类方法， 其特征在于， 步骤 (1b)中所述的云占比公式如下： 其中， i表示裁剪后第i幅图像的云占比， pi表示裁剪后第i幅图像中云像素点的总数， 权利要求书 2/3 页 3 CN 111382788 A 3 qi表示裁剪后第i幅图像中像素点的总数。。

11、 3.根据权利要求1所述的基于二值量化网络的高光谱图像分类方法， 其特征在于， 步骤 (3a)中所述的soft-max多分类函数如下： 其中， 表示预测有云的概率值， exp表示以自然常数e为底的指数操作， t1表示全连接 层的第一个输出节点值， t2表示全连接层的第二个输出节点值， 表示预测无云的概率值。 4.根据权利要求3所述的基于二值量化网络的高光谱图像分类方法， 其特征在于， 步骤 (3b)中所述的交叉熵损失函数如下： 其中， L表示两个预测概率值与两个实际概率值之间的损失值， y1表示实际有云的概率 值， y2表示实际无云的概率值， log表示以10为底的对数操作。 权利要求书 3/。

12、3 页 4 CN 111382788 A 4 基于二值量化网络的高光谱图像分类方法 技术领域 0001 本发明属于图像处理技术领域， 更进一步涉及图像分类技术领域中的一种基于二 值量化网络的高光谱图像分类方法。 本发明可用于从高光谱图像中分类出有云图像和无云 图像。 背景技术 0002 高光谱成像仪可以在数百个狭窄波段内对物体进行成像， 其波段范围从可见光覆 盖到红外波段，“图谱合一” 的特点使其能获得更多的信息。 目前高光谱数据处理已成为了 国内外的一个重要研究领域。 其中， 高光谱图像云分类在航空飞行保障和天气预报等方面 都具有重要的理论价值和应用前景。 根据云的占比， 高光谱图像可以分为。

13、少云和多云两大 类别。 然而， 高光谱图像千变万化， 无论云的高度、 厚度、 种类以及太阳高度角等因素， 还是 高光谱图像中个别通道中的噪声以及部分云层在红外和水汽上的特征与晴空的特征近似 等都会干扰到高光谱图像的分类结果。 基于深度学习的神经网络技术通过特有的非线性映 射、 自学习、 自组织的信息处理能力可以深度挖掘图像特征信息。 0003 西北工业大学在其申请的专利文献 “基于三维轻量化深度网络的高光谱图像分类 方法” (专利申请号： 201811542534.1， 申请公开号： 109753996A)中提出了一种高光谱图像 分类方法。 该方法设计了两种轻量化模块， 其中一个轻量化模块具有。

14、4个卷积层， 另一个具 有3个卷积层。 该方法利用7个轻量化模块， 2个池化层和1个全连接层构建三维轻量化深度 网络实现了有限样本条件下， 高光谱图像深度特征的自主提取。 该方法通过修改全连接层 的输出通道数来处理不同领域的高光谱图像分类。 当全连接层的输出通道数设置为2时， 该 方法即可从高光谱图像中分类出有云图像和无云图像。 该方法虽然考虑到了网络的轻量化 设计， 但是， 该方法仍然存在的不足之处是， 该方法提取云的边缘信息时容易受到下垫面地 物信息的干扰， 使得该方法提取到的图像特征信息存在冗余， 网络模型容易产生过拟合现 象， 导致云分类后的高光谱图像的边缘模糊。 而且该方法设计的两种。

15、轻量化模块结构复杂， 加深了神经网络的层数， 使得该方法复杂度高， 计算资源消耗巨大。 0004 云南电网有限责任公司电力科学研究院在其申请的专利文献 “一种基于扁平混合 卷积神经网络的高光谱图像分类方法” (专利申请号： 201910901178.6， 申请公开号： 110689065A)中提出了一种高光谱图像分类方法。 该方法利用多种维度的卷积， 在初级神经 网络模型中引入3个三维卷积， 3个池化层和1个二维卷积层， 将学习到的空间-谱间特征进 行整合， 使之在较少的训练样本下也能保持特征学习能力。 该方法采用softmax分类器对神 经网络提取的高光谱图像特征信息进行提纯并给出高光谱图像。

16、每个类别的预测概率。 当 softmax分类器的类别数设置为2时， 该方法即可从高光谱图像中分类出有云图像和无云图 像。 该方法虽然考虑到了三维卷积内存占用大、 耗时长的问题， 但是， 该方法仍然存在的不 足之处是， 该方法构建的神经网络保留了三维卷积和大量的浮点参数， 使得该方法占用高 额的存储空间， 产生大量的乘法运算， 并且该方法构建的神经网络仅有1个二维卷积层， 使 得该方法应用在高光谱图像云分类时提取云的空间特征信息不足， 降低了高光谱图像的云 说明书 1/8 页 5 CN 111382788 A 5 分类精度。 发明内容 0005 本发明的目的在于针对上述现有技术存在的不足， 提出。

17、了一种基于二值量化网络 的高光谱图像分类方法， 用于解决现有高光谱图像分类方法用于云分类时存在的图像边缘 模糊、 方法复杂度高、 运算量大和分类精度低的技术问题。 0006 为实现上述目的， 本发明的思路是， 先构建全精度卷积神经网络， 将训练集输入到 全精度卷积神经网络， 利用交叉熵损失函数对全精度卷积神经网络进行训练， 然后构建二 值量化卷积神经网络， 利用训练好的全精度卷积神经网络初始化二值量化卷积神经网络， 再利用交叉熵损失函数对二值量化卷积神经网络进行训练， 最后将待分类的高光谱图像输 入到训练好的二值量化卷积神经网络中， 对高光谱图像进行分类。 0007 本发明的技术方案包括如下步。

18、骤： 0008 (1)生成训练集： 0009 (1a)将N张大小为WHC含有云层的高光谱图像裁剪成M张大小为512512N 的高光谱图像， 其中， 60N120， W、 H和C分别表示高光谱图像的宽、 高和波段数， 1000W 2000， 1000H2000， 3C256， W、 H和C的单位为像素， 8000M16000； 0010 (1b)利用云占比公式， 计算裁剪后每幅图像的云占比， 将云占比低于10的裁剪 后高光谱图像判为无云图， 其余的判为有云图； 0011 (1c)从所有的无云图和所有的有云图中各自随机选取80高光谱图像组成训练 集， 若训练集中的高光谱图像是有云图， 那么实际有云。

19、的概率值为1， 实际无云的概率值为 0， 否则， 实际有云的概率值为0， 实际无云的概率值为1； 0012 (2)构建全精度卷积神经网络： 0013 (2a)搭建一个10层的全精度卷积神经网络， 其结构依次为： 第一卷积层第二卷 积层第三卷积层第四卷积层第五卷积层第六卷积层第七卷积层池化层Pool1 全连接层FC1； 0014 (2b)设置全精度卷积神经网络每层的尺寸大小如下： 0015 将第一至第五卷积层的卷积核的个数依次设置为16， 32， 64， 128， 256， 每个卷积核 的大小均设置为33， 卷积步长均设置为2； 0016 将第六至第七卷积层的卷积核的个数依次设置为128， 25。

20、6， 每个卷积核大小均设 置为11， 卷积步长均设置为1； 0017 池化层Pool1采用平均池化方式， 将池化层的池化卷积核大小设置为44， 池化步 长设置为4； 0018 将全连接层FC1的输出节点个数设置为2； 0019 (3)训练全精度卷积神经网络： 0020 (3a)将训练集输入到全精度卷积神经网络中， 得到全连接层FC1的两个输出节点 值， 利用soft-max多分类函数分别计算全精度卷积神经网络预测有云的概率值和预测无云 的概率值； 0021 (3b)将全精度卷积神经网络预测有云的概率值和预测无云的概率值分别输入到 交叉熵损失函数中， 得到损失值； 说明书 2/8 页 6 CN 。

21、111382788 A 6 0022 (3c)利用损失值和梯度下降法， 计算全精度量化卷积神经网络中每个卷积层的每 个卷积核的所有权重的梯度和全连接层FC1的每个输出节点的所有权重的梯度； 0023 (3d)利用每个卷积层的每个卷积核的所有梯度和全连接层FC1的每个输出节点的 所有梯度， 迭代更新全精度卷积神经网络中每个卷积层的每个卷积核的所有权重和全连接 层FC1的每个输出节点的所有权重， 直到交叉熵损失值小于0.1时， 得到训练好的全精度卷 积神经网络,保存训练好的全精度卷积神经网络中每个卷积层的每个卷积核的所有权重和 全连接层FC1的每个输出节点的所有权重； 0024 (4)构建二值量化。

22、卷积神经网络： 0025 (4a)搭建一个10层的二值量化卷积神经网络， 其结构依次为： 第一量化模块第 二量化模块第三量化模块第四量化模块第五量化模块第六量化模块第七量化 模块池化层Pool2全连接层FC2； 0026 每个量化模块中只有一个卷积层； 0027 (4b)设置二值量化卷积神经网络每层的尺寸大小如下： 0028 将第一至第五量化模块中卷积层的卷积核的个数依次设置为16， 32， 64， 128， 256， 每个卷积核大小均设置为33， 卷积步长均设置为2； 0029 将第六至第七量化模块中卷积层的卷积核的个数依次设置为128， 256， 每个卷积 核大小均设置为11， 卷积步长均。

23、设置为1； 0030 池化层Pool2采用平均池化方式， 将池化层的池化卷积核大小设置为44， 池化步 长设置为4； 0031 将全连接层FC2的输出节点个数设置为2； 0032 (5)初始化二值量化卷积神经网络： 0033 (5a)将训练好的全精度卷积神经网络中第一至第七卷积层的每个卷积核的每个 权重， 分别赋值给二值量化卷积神经网络中第一至第七量化模块中卷积层的每个卷积核的 每个权重， 将赋值后的二值量化卷积神经网络中每个卷积核的所有权重组成一个权重矩 阵； 0034 (5b)利用下式， 二值量化每个量化模块中卷积层的每个卷积核的权重矩阵： 0035 0036 其中， Wlk表示二值量化后。

24、第l个量化模块中卷积层的第k个卷积核的权重矩阵， nlk 表示二值量化后第l个量化模块中卷积层的第k个卷积核的权重矩阵中元素的总数，表 示赋值后第l个量化模块中卷积层的第k个卷积核的权重矩阵， |1表示一范数操作， * 表示乘法操作， sign()表示符号函数； 0037 (5c)将训练好的全精度卷积神经网络中全连接层FC1的每个输出节点的所有权 重， 各自赋值给二值量化卷积神经网络中全连接层FC2的每个输出节点的所有权重； 0038 (6)训练二值量化卷积神经网络： 0039 将训练集输入到初始化后的二值量化卷积神经网络中， 采用与步骤(3)训练全精 度卷积神经网络相同的步骤训练初始化后的二。

25、值量化卷积神经网络， 得到训练好的二值量 化卷积神经网络； 说明书 3/8 页 7 CN 111382788 A 7 0040 (7)对高光谱图像进行分类： 0041 将一幅待分类的高光谱图像输入到训练好的二值量化卷积神经网络中， 得到全连 接层FC2的两个输出节点值， 若第一个输出节点值大于第二个输出节点值则判定输入的待 分类的高光谱图像为有云图， 否则， 判为无云图。 0042 本发明与现有技术相比较， 具有以下优点： 0043 第一， 本发明通过生成的高光谱图像训练集对全精度卷积神经网络进行训练并保 存训练好的全精度卷积神经网络中每个卷积层的每个卷积核的所有权重和全连接层的每 个节点的所。

26、有权重， 再将训练好的全精度卷积神经网络中第一至第七卷积层的每个卷积核 的每个权重依次赋值给二值量化卷积神经网络中第一至第七量化模块中卷积层的每个卷 积核的每个权重， 然后将训练好的全精度卷积神经网络中全连接层的每个节点的每个权重 依次赋值给二值量化卷积神经网络中全连接层的每个节点的每个权重， 避免了高光谱图像 中下垫面地物信息的干扰， 减少了高光谱图像特征信息的冗余， 精简了二值量化卷积神经 网络结构， 解决了现有技术高光谱图像的边缘模糊和神经网络结构复杂的问题， 使得本发 明在优化神经网络结构的同时避免了高光谱图像的边缘模糊问题。 0044 第二， 本发明通过生成的高光谱图像训练集对二值量。

27、化卷积神经网络进行训练， 减少了二值量化卷积神经网络的浮点参数， 降低了二值量化卷积神经网络的乘法运算数 量， 提取了充足的高光谱图像云的空间特征信息， 解决了现有技术神经网络高额的存储空 间和提取云的空间特征信息不足的问题， 使得本发明在节省大量存储空间的同时提高了高 光谱图像云分类的精度。 附图说明 0045 图1是本发明的流程图； 0046 图2是本发明的仿真结果图， 其中， 图2(a)为云占比5的多光谱无云图， 图2(b)为 云占比7的多光谱无云图， 图2(c)为云占比61的多光谱有云图， 图2(d)为云占比32的 多光谱有云图。 具体实施方式 0047 下面结合附图对本发明做进一步的。

28、描述。 0048 参照附图1， 对本发明的具体步骤做进一步的描述。 0049 步骤1.生成训练集。 0050 将N张大小为WHC含有云层的高光谱图像裁剪成M张大小为512512N的高 光谱图像， 其中， 60N120， W、 H和C分别表示高光谱图像的宽、 高和波段数， 1000W 2000， 1000H2000， 3C256， W、 H和C的单位为像素， 8000M16000。 0051 利用云占比公式， 计算裁剪后每幅图像的云占比， 将云占比低于10的裁剪后高 光谱图像判为无云图， 其余的判为有云图。 0052 所述的云占比公式如下： 0053 0054 其中，i表示裁剪后第i幅图像的云占。

29、比， pi表示裁剪后第i幅图像中云像素点的总 说明书 4/8 页 8 CN 111382788 A 8 数， qi表示裁剪后第i幅图像中像素点的总数。 0055 从所有的无云图和所有的有云图中各自随机选取80高光谱图像组成训练集， 若 训练集中的高光谱图像是有云图， 那么实际有云的概率值为1， 实际无云的概率值为0， 否 则， 实际有云的概率值为0， 实际无云的概率值为1。 0056 步骤2.构建全精度卷积神经网络。 0057 搭建一个10层的全精度卷积神经网络， 其结构依次为： 第一卷积层第二卷积层 第三卷积层第四卷积层第五卷积层第六卷积层第七卷积层池化层Pool1全 连接层FC1。 005。

30、8 设置全精度卷积神经网络每层的尺寸大小如下。 0059 将第一至第五卷积层的卷积核的个数依次设置为16， 32， 64， 128， 256， 每个卷积核 的大小均设置为33， 卷积步长均设置为2。 0060 将第六至第七卷积层的卷积核的个数依次设置为128， 256， 每个卷积核大小均设 置为11， 卷积步长均设置为1。 0061 池化层Pool1采用平均池化方式， 将池化层的池化卷积核大小设置为44， 池化步 长设置为4。 0062 将全连接层FC1的输出节点个数设置为2。 0063 步骤3.训练全精度卷积神经网络。 0064 将训练集输入到全精度卷积神经网络中， 得到全连接层FC1的两个。

31、输出节点值， 利 用soft-max多分类函数分别计算全精度卷积神经网络预测有云的概率值和预测无云的概 率值。 0065 所述的将训练集输入到全精度卷积神经网络中， 得到全连接层FC1的两个输出节 点值的步骤如下： 0066 第1步， 将5125124像素大小的高光谱图像输入到全精度卷积神经网络的第一 卷积层， 依次进行卷积操作和非线性Relu变换， 得到25625616像素大小的第一卷积层 的输出特征图。 0067 第2步， 将第一卷积层的输出特征图输入到第二卷积层， 依次进行卷积操作和非线 性Relu变换， 得到12812832像素大小的第二卷积层的输出特征图。 0068 第3步， 将第二。

32、卷积层的输出特征图输入到第三卷积层， 依次进行卷积操作和非线 性Relu变换， 得到646464像素大小的第三卷积层的输出特征图。 0069 第4步， 将第三卷积层的输出特征图输入到第四卷积层， 依次进行卷积操作和非线 性Relu变换， 得到3232128像素大小的第四卷积层的输出特征图。 0070 第5步， 将第四卷积层的输出特征图输入到第五卷积层， 依次进行卷积操作和非线 性Relu变换， 得到1616256像素大小的第五卷积层的输出特征图。 0071 第6步， 将第五卷积层的输出特征图输入到第六卷积层， 依次进行卷积操作和非线 性Relu变换， 得到1616128像素大小的第六卷积层的输。

33、出特征图。 0072 第7步， 将第六卷积层的输出特征图输入到第七卷积层， 依次进行卷积操作和非线 性Relu变换， 得到1616256像素大小的第七卷积层的输出特征图。 0073 第8步， 将第七卷积层的输出特征图输入到池化层Pool1， 经过平均池化操作， 得到 维数为4096的输出向量。 说明书 5/8 页 9 CN 111382788 A 9 0074 第9步， 将池化层的维数为4096的输出向量输入到全连接层FC1中， 得到两个输出 节点值。 0075 所述的soft-max多分类函数如下： 0076 0077 0078其中， 表示预测有云的概率值， exp表示以自然常数e为底的指数。

34、操作， t1表示全 连接层的第一个输出节点值， t2表示全连接层的第二个输出节点值， 表示预测无云的概 率值。 0079 将全精度卷积神经网络预测有云的概率值和预测无云的概率值分别输入到交叉 熵损失函数中， 得到损失值。 0080 所述的交叉熵损失函数如下： 0081 0082 其中， L表示两个预测概率值与两个实际概率值之间的损失值， y1表示实际有云的 概率值， y2表示实际无云的概率值， log表示以10为底的对数操作。 0083 利用损失值和梯度下降法， 计算全精度量化卷积神经网络中每个卷积层的每个卷 积核的所有权重的梯度和全连接层FC1的每个输出节点的所有权重的梯度。 0084 利用。

35、每个卷积层的每个卷积核的所有梯度和全连接层FC1的每个输出节点的所有 梯度， 迭代更新全精度卷积神经网络中每个卷积层的每个卷积核的所有权重和全连接层 FC1的每个输出节点的所有权重， 直到交叉熵损失值小于0.1时， 得到训练好的全精度卷积 神经网络,保存训练好的全精度卷积神经网络中每个卷积层的每个卷积核的所有权重和全 连接层FC1的每个输出节点的所有权重。 0085 步骤4.构建二值量化卷积神经网络。 0086 搭建一个10层的二值量化卷积神经网络， 其结构依次为： 第一量化模块第二量 化模块第三量化模块第四量化模块第五量化模块第六量化模块第七量化模块 池化层Pool2全连接层FC2。 008。

36、7 每个量化模块中只有一个卷积层。 0088 设置二值量化卷积神经网络每层的尺寸大小如下。 0089 将第一至第五量化模块中卷积层的卷积核的个数依次设置为16， 32， 64， 128， 256， 每个卷积核大小均设置为33， 卷积步长均设置为2。 0090 将第六至第七量化模块中卷积层的卷积核的个数依次设置为128， 256， 每个卷积 核大小均设置为11， 卷积步长均设置为1。 0091 由于七个量化模块中共有五个卷积核大小为33的卷积层， 因此， 二值量化卷积 神经网络具有很大的感受野， 能够充分提取出高光谱图像云层的空间特征信息。 0092 池化层Pool2采用平均池化方式， 将池化层。

37、的池化卷积核大小设置为44， 池化步 长设置为4。 说明书 6/8 页 10 CN 111382788 A 10 0093 将全连接层FC2的输出节点个数设置为2。 0094 步骤5.初始化二值量化卷积神经网络。 0095 将训练好的全精度卷积神经网络中第一至第七卷积层的每个卷积核的每个权重， 分别赋值给二值量化卷积神经网络中第一至第七量化模块中卷积层的每个卷积核的每个 权重， 将赋值后的二值量化卷积神经网络中每个卷积核的所有权重组成一个权重矩阵。 0096 利用下式， 二值量化每个量化模块中卷积层的每个卷积核的权重矩阵。 0097 0098 其中， Wlk表示二值量化后第l个量化模块中卷积层。

38、的第k个卷积核的权重矩阵， nlk 表示二值量化后第l个量化模块中卷积层的第k个卷积核的权重矩阵中元素的总数，表 示赋值后第l个量化模块中卷积层的第k个卷积核的权重矩阵， |1表示一范数操作， * 表示乘法操作， sign()表示符号函数。 0099 将训练好的全精度卷积神经网络中全连接层FC1的每个输出节点的所有权重， 各 自赋值给二值量化卷积神经网络中全连接层FC2的每个输出节点的所有权重。 0100 步骤6.训练二值量化卷积神经网络。 0101 将训练集输入到初始化后的二值量化卷积神经网络中， 采用与步骤3训练全精度 卷积神经网络相同的步骤训练初始化后的二值量化卷积神经网络， 得到训练好。

39、的二值量化 卷积神经网络。 0102 步骤7.对高光谱图像进行分类。 0103 将一幅待分类的高光谱图像输入到训练好的二值量化卷积神经网络中， 得到全连 接层FC2的两个输出节点值， 若第一个输出节点值大于第二个输出节点值则判定输入的待 分类的高光谱图像为有云图， 否则， 判为无云图。 0104 下面结合仿真实验对本发明的效果做进一步的说明： 0105 1.仿真实验条件： 0106 本发明的仿真实验的硬件平台： 处理器为Intel(R)Xeon(R)E5-2650 v4 CPU、 主频 为2.20GHz、 内存为125GB、 显卡为GeForce GTX 1080Ti。 0107 本发明的仿真。

40、实验的软件平台： python3.6和pytorch0.4.1。 0108 2.仿真内容及其结果分析： 0109 本发明的仿真实验是采用本发明的方法对高分一号机载相机拍摄的108张大小为 166315424含有云层的多光谱图像进行云分类， 多光谱图像是一种波段数小于10的高 光谱图像， 将108张大小为166315424含有云层的多光谱图像裁剪成15660张大小为512 5124的多光谱图像， 从15660张大小为5125124的多光谱图像中随机选取12528张 多光谱图像组成训练集， 将剩余的多光谱图像组成测试集。 0110 为了验证本发明的仿真实验效果， 将测试集中所有多光谱图像输入到训练。

41、好的二 值量化卷积神经网络中进行分类， 得到测试集中所有多光谱图像的分类结果， 图2是从测试 集中选取的分类难度最高的4张多光谱图。 0111 图2(a)和图2(b)代表测试集中分类难度最高的2张多光谱无云图， 大小均为512 5124个像素， 云占比均低于10。 图2(a)的水汽含量高使其难以被判为多光谱无云图， 图 说明书 7/8 页 11 CN 111382788 A 11 2(b)的下垫面地物的纹理特性与云层的纹理特性近似使其难以被判为多光谱无云图， 本发 明的方法能够将图2(a)和图2(b)正确地判为多光谱无云图， 说明本发明方法能够有效地避 免将水汽含量高的无云多光谱图误判为有云多。

42、光谱图， 能够区分下垫面地物和云层的纹理 特性。 0112 图2(c)和图2(d)代表测试集中分类难度最高的2张多光谱有云图， 大小均为512 5124个像素， 图2(c)的云占比为61， 图2(d)的云占比为32。 图2(c)大量云层的特征信 息与下垫面地物的特征信息大量混合使其难以被判为多光谱有云图， 图2(d)云层的特征信 息受到云层阴影面的特征信息的干扰使其难以被判为多光谱有云图， 本发明的方法能够将 图2(a)和图2(b)正确地判为多光谱有云图， 说明本发明方法能够有效地抑制下垫面地物特 征信息的干扰的同时能够有效地提取云层的空间特征信息， 得到正确的分类结果。 0113 为了证明本。

43、发明的云分类效果， 通过精度公式计算本发明在测试集中的多光谱图 像分类精度， 所述的精度公式如下： 0114 0115 其中， 表示本发明在测试集中的多光谱图像分类精度， 表示测试集中正确分类 的多光谱图像数目， 表示测试集中多光谱图像数目。 0116 使用本发明对测试集中所有多光谱图像进行云分类， 得到测试集中正确分类的多 光谱图像数目为3077， 已知测试集中多光谱图像数目为3132， 利用精度公式得到本发明在 测试集中的多光谱图像分类精度为98.25， 证明本发明可以得到很高的多光谱图像分类 精度。 0117 本发明的方法需要2130000个加法运算数量和319000000个乘法运算数量。

44、， 加法运 算数量是乘法运算数量的149倍， 需要9072个浮点参数量和457648个二值参数量， 二值参数 量是浮点参数量的50倍， 证明本发明可以节省大量的乘法运算数量和网络的浮点参数量。 0118 以上仿真实验表明： 本发明通过生成的高光谱图像训练集对全精度卷积神经网络 进行训练并保存训练好的全精度卷积神经网络中每个卷积层的每个卷积核的所有权重和 全连接层的每个节点的所有权重， 再将训练好的全精度卷积神经网络中第一至第七卷积层 的每个卷积核的每个权重依次赋值给二值量化卷积神经网络中第一至第七量化模块中卷 积层的每个卷积核的每个权重， 然后将训练好的全精度卷积神经网络中全连接层的每个节 点。

45、的每个权重依次赋值给二值量化卷积神经网络中全连接层的每个节点的每个权重， 能够 减少高光谱图像特征信息的冗余， 精简二值量化卷积神经网络结构， 通过生成的高光谱图 像训练集对二值量化卷积神经网络进行训练， 能够减少二值量化卷积神经网络的浮点参 数， 降低二值量化卷积神经网络的乘法运算数量， 解决了现有技术方法中存在的高光谱图 像的边缘模糊、 神经网络结构复杂、 神经网络高额的存储空间和提取云的空间特征信息不 足的问题， 是一种非常实用的高光谱图像分类方法。 说明书 8/8 页 12 CN 111382788 A 12 图1 说明书附图 1/2 页 13 CN 111382788 A 13 图2 说明书附图 2/2 页 14 CN 111382788 A 14 。