基于神经网络的PM25浓度值预测方法.pdf

《基于神经网络的PM25浓度值预测方法.pdf》由会员分享，可在线阅读，更多相关《基于神经网络的PM25浓度值预测方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910743315.8 (22)申请日 2019.08.13 (71)申请人 浙江工业大学 地址 310014 浙江省杭州市下城区朝晖六 区潮王路18号 (72)发明人 付明磊乐曹伟 (74)专利代理机构 杭州斯可睿专利事务所有限 公司 33241 代理人 王利强 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G01N 15/06(2006.01) (54)发明名称 一种基于神经网络的PM2.5浓度值预测方法 (57)摘。

2、要 一种基于神经网络的PM2.5浓度值预测方 法， 所述方法包括以下步骤： 步骤1、 采集原始数 据， 以PM2.5历史浓度值为主体； 步骤2、 采用模态 分解方法对PM2.5的历史浓度值进行分解并且挑 选其有效数据； 步骤3、 采用神经网络预测PM2.5 的浓度值。 本发明在对PM2.5浓度值的历史数据 进行模态分解之后， 对其模态分解的数据进行主 成分分析， 提取出和预测PM2.5浓度值相关度较 高的数据， 并结合有位置向量和注意力机制的变 换器神经网络， 提取各个时间点的数据特征， 并 在最后的预测结果上对其进行体现， 从而达到具 有较好的数据时序性体现并且在预测效率上具 有较大提高的效。

3、果。 权利要求书2页 说明书6页 附图3页 CN 110619384 A 2019.12.27 CN 110619384 A 1.一种基于神经网络的PM2.5浓度值预测方法， 其特征在于， 所述方法包括以下步骤： 步骤1、 采集原始数据， 以PM2.5历史浓度值为主体； 步骤2、 采用模态分解方法对PM2.5的历史浓度值进行分解并且挑选其有效数据， 其过 程如下： 步骤2.1、 将PM2.5的历史浓度值设定为时序信号A， 并将A表示为Aa1， a2， ai， .， aN， 其中， ai为第i个PM2.5的历史浓度值， i为整数且1iN， N为PM2.5历史浓度总 个数； 步骤2.2、 找到整段。

4、信号的所有局部极值点(最大值点和最小值点)， 并用Bi对这些极值 点进行标注， 其中1in， n为极值点的总个数； 步骤2.3、 将所有的相邻的Bi点用线段连接， 并用Ci标记这些线段的中点， Ci中的i的取 值范围为1in-1， n为极值点的总个数； 步骤2.4、 添加左边界中点C0和右边界的中点Cn； 步 骤 2 .5 、 用这 些 n + 1 个 中 点 构 造 m 个 差 值 曲 线 L1， . . .， Lm， 并 通 过 公 式 计算平均值， 其中， m1； 步骤2.6、 在A-L 重复上述2.22.5的步骤， 直到|L | ， 为可允许的最小误差， 或者 重复至初始设置的筛选次数。

5、K， 从而得到第一个模式I1； 步骤2.7、 对于A-I1的剩余值， 重复上述2.22.6的步骤， 得到I2， I3， .， Ip直到最后一 个残余量R， 其中， 1pn； 步骤2.8、 在有限的整数区间Kmin， Kmax更改筛选次数K， Kmin为K取值的最小值， Kmax为K 取值的最大值， 重复上步骤2.22.7， 计算A-R的方差 2和A的标准差 0， 并绘制以 / 0为纵 坐标， 以K的取值为纵坐标的关系图。 步骤2.9、 在Kmin， Kmax上找到 / 0最小的时候K对应的值K0， 用K0代入步骤2.22.7， 输 出整个分解模式。 步骤2.8、 对于已经得到的分解模式数据， 。

6、对其进行主成分分析， 根据需要提取出对 PM2.5浓度值影响较大的几组分量数据； 步骤3、 采用神经网络预测PM2.5的浓度值， 过程如下： 步骤3.1、 创建一个包含编码和解码两个模块的神经网络， 该神经网络主要由位置信息 计算层、 注意力机制层、 位置全连接前馈层组成； 步骤3.2、 设定网络的输入和输出维度， 并设定网络隐含层单元数M， 该节点单元数M采 用经验公式给出的估计值， 如下式所述： 上式中， a为输入层神经元个数， b为输出层的神经元个数， c是取值范围为010之间的 常数； 步骤3.3、 定义位置信息计算层输出公式， 偶数位置的输出PEpos， 2i和奇数位置的输出 PEp。

7、os， 2i+1分别为： 权利要求书 1/2 页 2 CN 110619384 A 2 其中， pos代表输入位置， i代表输入维度， dmodel为512， sin()为正弦函数， cos()为余弦 函数； 步骤3.4、 定义其注意力机制输出， 由下式表示 AttentionoutputAttention(Q， K， V) 其中， 上式中的Q是查询向量， K是键向量， V是值向量， 定义Q在第i维度上面的值为Qi， K 在第i维度上面的值为Ki， V在第i维度上面的值为Vi， Qi、 Ki、 Vi与输入值Xi之间存在以下关 系： QiXi*WiQ KiXi*WiK ViXi*WiV 上式中，。

8、 WiQ为Xi在Q层的权重， WiK为Xi在K层的权重， WiV为Xi在V层的权重； 步骤3.5、 全连接前馈层网络由一个ReLU激活函数和一个线性激活函数组成， 定义位置 全连接前馈层网络输出， 若将注意力机制层输出表示为Y1， 则全连接前馈层网络FFN输出 FFN(Y)为： FFN(Y)max(0， Y1W1+b1)W2+b2 其中， Y1R， W1为Y1在ReLU层的权重， ， W2为ReLU层的输出在线性函数层的权重， b1为 ReLU层的偏置系数， b2为线性函数层的偏置系数； 步骤3.6、 设定网络的期望最小误差值， 最大迭代次数和学习率； 步骤3.7、 将步骤2中分解后所得的数据。

9、输入到步骤3.13.6中所创建的神经网络中， 训练神经网络； 步骤3.8、 判断神经网络是否收敛， 当误差小于设定的神经网络的最小误差的时候， 神 经网络达到收敛； 步骤3.9、 将用于预测的PM2.5数据输入到已经训练完成的神经网络模型中， 得到PM2.5 浓度的最终预测值。 权利要求书 2/2 页 3 CN 110619384 A 3 一种基于神经网络的PM2.5浓度值预测方法 技术领域 0001 本发明涉及空气颗粒物PM2.5浓度值的预测技术领域， 尤其涉及一种基于神经网 络的PM2.5浓度值预测方法。 背景技术 0002 PM2.5微粒指环境空气中空气动力学当量直径小于等于2.5微米的。

10、微粒物质。 PM2.5粒径小， 面积大， 活性强， 容易附带有毒有害的物质， 并且能够做到在空气中长时间漂 浮、 远距离输送， 对大气环境和人体健康的影响很大。 因此， 对PM2.5浓度的监测和预测对于 社会有着很大的意义。 0003 为了解决上述问题， 任才溶等人在论文 基于随机森林和气象参数的PM2.5浓度等 级预测 中， 通过选择K-Means算法和随机森林方法进行PM2.5的浓度值预测。 黄婕等人在论 文 基于RNN-CNN集成深度学习模型的PM2.5小时浓度预测 中， 将记忆能力较强的循环神经 网络(RNN)和特征表达能力较强的卷积神经网络(CNN)作为基础， 采取Stacking集。

11、成策略对 两者进行融合,提出了RNN-CNN集成深度学习预测模型。 白盛楠等人在论文 基于LSTM循环 神经网络的PM2.5预测 中， 搭建多变量的LSTM循环神经网络PM2.5预测模型,实现PM2.5日 值浓度的预测。 李建更等人在论文 基于互补集合经验模态分解与支持向量回归的PM2.5质 量浓度预测 中， 建立了基于互补集合经验模态分解和支持向量回归的混合预测模型实现 了PM2.5浓度值的预测。 张静等人在论文 基于BP神经网络的沈阳城区PM2.5浓度预测中， 使 用BP神经网络对PM2.5质量浓度进行预测。 陈菊芬等人在论文 基于多模态支持向量回归的 PM2.5浓度预测 中， 利用基于多。

12、模态支持向量回归(MSVR)的混合预测模型， 有效提高了 PM2.5.浓度的预测精度。 0004 经调研分析， 目前PM2.5浓度值的预测均以各种神经网络为核心架构， 对PM2.5等 指标(如AQI， NO2浓度， SO2浓度， 风力大小， 湿度等)进行非线性回归分析， 神经网络的类型包 括BP神经网络、 CNN、 MSVR、 RNN、 LSTM等。 但是， 经文献调研发现， 虽然采用的都是历史PM2.5 浓度的数据作为模型预测的训练数据， 但是在模型预测的时候， 对PM2.5浓度数据的时序性 并没有很好的体现， 并且目前提出的神经网络模型， 在模型训练时， 由于不能很好的获得其 相应时间段的。

13、数据特征， 使得模型实现周期过长， 导致训练效率低下。 发明内容 0005 为了克服已有PM2.5浓度值预测方式对PM2.5浓度历史数据的时序性体现缺失并 且预测效率低下的不足， 本发明在对PM2.5浓度值的历史数据进行模态分解之后， 对其模态 分解的数据进行主成分分析， 提取出和预测PM2.5浓度值相关度较高的数据， 结合有位置向 量和注意力机制的变换器神经网络， 提取各个时间点的数据特征， 并在最后的预测结果上 对其进行体现， 从而达到具有较好的数据时序性体现并且在预测效率上具有较大提高的效 果。 0006 本发明解决其技术问题采用的技术方案是： 说明书 1/6 页 4 CN 110619。

14、384 A 4 0007 一种基于变换器神经网络的PM2.5浓度值预测方法， 所述方法包括以下步骤： 0008 步骤1、 采集原始数据， 以PM2.5历史浓度值为主体； 0009 步骤2、 采用模态分解方法对PM2.5的历史浓度值进行分解并且挑选其有效数据， 其过程如下： 0010 步骤2.1、 将PM2.5的历史浓度值设定为时序信号A， 并将A表示为Aa1， a2， ai， ， aN， 其中， ai为第i个PM2.5的历史浓度值， i为整数且1iN， N为PM2.5历史浓度总 个数； 0011 步骤2.2、 找到整段信号的所有局部极值点(最大值点和最小值点)， 并用Bi对这些 极值点进行标注。

15、， 其中1in， n为极值点的总个数； 0012 步骤2.3、 将所有的相邻的Bi点用线段连接， 并用Ci标记这些线段的中点， Ci中的i 的取值范围为1in-1， n为极值点的总个数； 0013 步骤2.4、 添加左边界中点C0和右边界的中点Cn； 0014 步骤2 .5 、 用这些n+1个中 点构造m个差值曲 线L1， ， Lm， 并通过公式 计算平均值， 其中， m1； 0015 步骤2.6、 在A-L 重复上述2.22.5的步骤， 直到|L | ， 为可允许的最小误差， 或者重复至初始设置的筛选次数K， 从而得到第一个模式I1； 0016 步骤2.7、 对于A-I1的剩余值， 重复上述。

16、2.22.6的步骤， 得到I2， I3， ， Ip直到最 后一个残余量R， 其中， 1pn； 0017 步骤2.8、 在有限的整数区间Kmin， Kmax更改筛选次数K， Kmin为K取值的最小值， Kmax 为K取值的最大值， 重复上步骤2.22.7， 计算A-R的方差 2和A的标准差 0， 并绘制以 /a0为 纵坐标， 以K的取值为纵坐标的关系图。 0018 步骤2.9、 在Kmin， Kmax上找到 /a0最小的时候K对应的值K0， 用K0代入步骤2.2 2.7， 输出整个分解模式。 0019 步骤2.8、 对于已经得到的分解模式数据， 对其进行主成分分析， 根据需要提取出 对PM2.5。

17、浓度值影响较大的几组分量数据； 0020 步骤3、 采用神经网络预测PM2.5的浓度值， 过程如下： 0021 步骤3.1、 创建一个包含编码和解码两个模块的神经网络， 该神经网络主要由位置 信息计算层、 注意力机制层、 位置全连接前馈层组成； 0022 步骤3.2、 设定网络的输入和输出维度， 并设定网络隐含层单元数M， 该节点单元数 M采用经验公式给出的估计值， 如下式所述： 0023 0024 上式中， a为输入层神经元个数， b为输出层的神经元个数， c是取值范围为010之 间的常数； 0025 步骤3.3、 定义位置信息计算层输出公式， 偶数位置的输出PEpos， 2i和奇数位置的输。

18、 出PEpos， 2i+1分别为： 说明书 2/6 页 5 CN 110619384 A 5 0026 0027 0028 其中， pos代表输入位置， i代表输入维度， dmodel为512， sin( )为正弦函数， cos( ) 为余弦函数； 0029 步骤3.4、 定义其注意力机制输出， 由下式表示 0030 AttentionoutputAttention(Q， K， V) 0031 其中， 上式中的Q是查询向量， K是键向量， V是值向量， 定义Q在第i维度上面的值为 Qi， K在第i维度上面的值为Ki， V在第i维度上面的值为Vi， Qi、 Ki、 Vi与输入值Xi之间存在以下 。

19、关系： 0032 QiXi*WiQ 0033 KiXi*WiK 0034 ViXi*WiV 0035 上式中， WiQ为Xi在Q层的权重， Wik为Xi在K层的权重， WiV为Xi在V层的权重； 0036 步骤3.5、 全连接前馈层网络由一个ReLU激活函数和一个线性激活函数组成， 定义 位置全连接前馈层网络输出， 若将注意力机制层输出表示为Y1， 则全连接前馈层网络FFN输 出FFN(Y)为： 0037 FFN(Y)max(0， Y1W1+b1)W2+b2 0038 其中， Y1R， W1为Y1在ReLU层的权重， ， W2为ReLU层的输出在线性函数层的权重， b1 为ReLU层的偏置系数。

20、， b2为线性函数层的偏置系数； 0039 步骤3.6、 设定网络的期望最小误差值， 最大迭代次数和学习率； 0040 步骤3.7、 将步骤2中分解后所得的数据输入到步骤3.13.6中所创建的神经网络 中， 训练神经网络； 0041 步骤3.8、 判断神经网络是否收敛， 当误差小于设定的神经网络的最小误差的时 候， 神经网络达到收敛； 0042 步骤3.9、 将用于预测的PM2.5数据输入到已经训练完成的神经网络模型中， 得到 PM2.5浓度的最终预测值。 0043 本发明的主要思路为首先对PM2.5的历史浓度值进行分解， 之后筛选出对原始 PM2.5数据有较大的影响的分解数据组， 输入定义好。

21、的变换器神经网络中， 进行模型的训 练， 等到模型误差小于期望误差， 将用于预测的PM2.5历史数据输入网络， 得到最终的预测 值。 0044 本发明的有益之处在于： 本发明能有效地突出PM2.5历史浓度值的时序性， 将 PM2.5浓度值的在各个时间点的特征取出来， 体现在最终的预测结果上， 另外由于使用了变 换器神经网络， 使得训练模型所需时间大幅减少， 提高了模型训练的效率， 加快了PM2.5浓 说明书 3/6 页 6 CN 110619384 A 6 度的预测速度。 附图说明 0045 图1是一种基于神经网络的PM2.5浓度值预测方法示意图。 0046 图2是数据分解和筛选流程图。 00。

22、47 图3是神经网络的训练流程图。 具体实施方式 0048 下面结合附图对本发明作进一步描述。 0049 参照图1图3， 一种基于神经网络的PM2.5浓度值预测方法， 所述方法包括以下步 骤： 0050 步骤1、 采集原始数据， 以杭州2018年1月份到2019年一月份的PM2.5历史浓度值为 主体， 将前11个月数据用于模型训练， 将最后一个月数据用于预测： 0051 步骤2、 采用模态分解方法对PM2.5的历史浓度值进行分解并且挑选其有效数据， 其过程如下： 0052 步骤2.1、 将PM2.5的历史浓度值设定为时序信号A， 并将A表示为Aa1， a2， ai， ， aN， 其中， ai为。

23、第i个PM2.5的历史浓度值， i为整数且1iN， N为PM2.5历史浓度总 个数； 0053 步骤2.2、 找到整段信号的所有局部极值点(最大值点和最小值点)， 并用Bi对这些 极值点进行标注， 其中1in， n为极值点的总个数； 0054 步骤2.3、 将所有的相邻的Bi点用线段连接， 并用Ci标记这些线段的中点， Ci中的i 的取值范围取值范围为1in-1， n为极值点的总个数； 0055 步骤2.4、 添加左边界中点C0和右边界的中点Cn； 0056 步骤2 .5 、 用这些n+1个中 点构造m个差值曲 线L1， ， Lm， 并通过公式 计算平均值， 其中， m1； 0057 步骤2.。

24、6、 在A-L 重复上述2.22.5的步骤， 直到|L | ， 为可允许的最小误差， 或者重复至初始设置的筛选次数K， 从而得到第一个模式I1； 0058 步骤2.7、 对于A-I1的剩余值， 重复上述2.22.6的步骤， 得到I2， I3， ， Ip直到最 后一个残余量R， 其中， 1pn； 0059 步骤2.8、 在有限的整数区间Kmin， Kmax更改筛选次数K， Kmin为K取值的最小值， Kmax 为K取值的最大值， 重复上步骤2.22.7， 计算A-R的方差 2和A的标准差 0， 并绘制以 / 0为 纵坐标， 以K的取值为纵坐标的关系图。 0060 步骤2.9、 在Kmin， Km。

25、ax上找到 /0最小的时候K对应的值K0， 用K0代入步骤2.2 2.7， 输出整个分解模式。 0061 步骤2.8、 对于已经得到的分解模式数据， 对其进行主成分分析， 根据需要提取出 对PM2.5浓度值影响较大的几组分量数据； 0062 步骤3、 采用神经网络预测PM2.5的浓度值， 过程如下： 0063 步骤3.1、 创建一个包含编码和解码两个模块的神经网络， 该神经网络主要由位置 说明书 4/6 页 7 CN 110619384 A 7 信息计算层、 注意力机制层、 位置全连接前馈层组成； 0064 步骤3.2、 设定网络的输入和输出维度， 并设定网络隐含层单元数M， 该节点单元数 M。

26、采用经验公式给出的估计值， 如下式所述： 0065 0066 上式中， a为输入层神经元个数， b为输出层的神经元个数， c是取值范围为010之 间的常数； 0067 步骤3.3、 定义位置信息计算层输出公式， 偶数位置的输出PEpos， 2i和奇数位置的输 出PEpos， 2i+1分别为： 0068 0069 0070 其中， pos代表输入位置， i代表输入维度， dmodel为512， sin( )为正弦函数， cos( ) 为余弦函数； 0071 步骤3.4、 定义其注意力机制输出， 由下式表示 0072 AttentionoutputAttention(Q， K， y) 0073 其。

27、中， 上式中的Q是查询向量， K是键向量， V是值向量， 定义Q在第i维度上面的值为 Qi， K在第i维度上面的值为Ki， V在第i维度上面的值为Vi， Qi、 Ki、 Vi与输入值Xi之间存在以下 关系： 0074 QiXi*WiQ 0075 KiXi*WiK 0076 ViXi*WiV 0077 上式中， WiQ为Xi在Q层的权重， Wik为Xi在K层的权重， WiV为Xi在V层的权重； 0078 步骤3.5、 全连接前馈层网络由一个ReLU激活函数和一个线性激活函数组成， 定义 位置全连接前馈层网络输出， 若将注意力机制层输出表示为Y1， 则全连接前馈层网络FFN输 出FFN(Y)为： 。

28、0079 FFN(Y)max(0， Y1W1+b1)W2+b2 0080 其中， Y1R， W1为Y1在ReLU层的权重， ， W2为ReLU层的输出在线性函数层的权重， b1 为ReLU层的偏置系数， b2为线性函数层的偏置系数； 0081 步骤3.6、 设定网络的期望最小误差值， 最大迭代次数和学习率； 0082 步骤3.7、 将步骤2中分解后所得的数据输入到步骤3.13.6中所创建的神经网络 中， 训练神经网络； 0083 步骤3.8、 判断神经网络是否收敛， 当误差小于设定的神经网络的最小误差的时 候， 神经网络达到收敛； 说明书 5/6 页 8 CN 110619384 A 8 0084 步骤3.9、 将用于预测的PM2.5数据输入到已经训练完成的神经网络模型中， 得到 PM2.5浓度的最终预测值。 说明书 6/6 页 9 CN 110619384 A 9 图1 说明书附图 1/3 页 10 CN 110619384 A 10 图2 说明书附图 2/3 页 11 CN 110619384 A 11 图3 说明书附图 3/3 页 12 CN 110619384 A 12 。