融合辅助信息与层级自注意力循环神经网络方面的情感分析方法.pdf

《融合辅助信息与层级自注意力循环神经网络方面的情感分析方法.pdf》由会员分享，可在线阅读，更多相关《融合辅助信息与层级自注意力循环神经网络方面的情感分析方法.pdf（7页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010224878.9 (22)申请日 2020.03.26 (71)申请人 辽宁工程技术大学 地址 123000 辽宁省阜新市细河区中华路 47号 (72)发明人 沈学利师雨晴孟祥福 (74)专利代理机构 北京华夏正合知识产权代理 事务所(普通合伙) 11017 代理人 陈晓宁 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/211(2020.01) G06F 40/289(2020.01) G06F。

2、 40/30(2020.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合辅助信息与层级自注意力循环神 经网络方面的情感分析方法 (57)摘要 本发明公开了一种融合辅助信息与层级自 注意力循环神经网络方面的情感分析方法， 对词 向量的模型进行改进； 引入层次化自注意力机制 模型； 通过方面情感分析领域广泛使用的数据集 进行验证。 本发明的融合辅助信息与层级自注意 力循环神经网络方面的情感分析方法针对传统 注意力机制不能够对方面特征进行有效的关注， 并且双向长短时记忆神经模型(BiLSTM)训练时 。

3、间长、 不能充分学习上下文信息等存在的问题。 本发明的方法在词向量中增加词性、 位置等方面 辅助信息， 然后通过双向门控循环神经网络 (BiGRU)进行序列化信息学习， 通过层次化自注 意力机制为单词层和句子层调整深层次信息特 征权重。 权利要求书1页 说明书4页 附图1页 CN 111428004 A 2020.07.17 CN 111428004 A 1.一种融合辅助信息与层级自注意力循环神经网络方面的情感分析方法， 其特征在 于， 包括以下步骤： 步骤1： 对词向量的模型进行改进； 步骤2： 引入层次化自注意力机制模型； 步骤3： 通过方面情感分析领域广泛使用的数据集进行验证。 2.如权。

4、利要求1所述的融合辅助信息与层级自注意力循环神经网络方面的情感分析方 法， 其特征在于， 在步骤1中， 将词性信息、 位置信息作为该模型的辅助信息， 来分析单词跟 方面之间的相关性。 3.如权利要求1所述的融合辅助信息与层级自注意力循环神经网络方面的情感分析方 法， 其特征在于， 在步骤2中， 在单词层引入注意力机制， 句子层引入自注意力机制， 采用基 于self-attention机制的模型对从数据集中提取出的方面词能够进行更深层的情感分类。 权利要求书 1/1 页 2 CN 111428004 A 2 一种融合辅助信息与层级自注意力循环神经网络方面的情感 分析方法 技术领域 0001 本发。

5、明属于情感分析的技术领域， 尤其涉及一种融合辅助信息与层级自注意力循 环神经网络方面的情感分析方法。 背景技术 0002 方面情感分析(Aspect-Based Sentiment Analysis， ABSA)是情感分析的一个重 要分支， 能够对文本内容进行细粒度的情感分类， 分析句子各个方面可能存在的不同情感 极性， 提高情感分类效率和精准度。 例如，“这家餐馆味道美味但是消费较高。 ” ， 在这句话 中，“味道” 对应的是积极情感， 而 “消费” 对应的是消极情感，“味道” 和 “消费” 对应的情感极 性不同。 说明一个句子各个方面可能存在不同的情感极性。 目前， 利用 Twitter分。

6、类器来进 行评估， 实验表明绝大部分的情感分类错误都是因为没有考虑方面信息， 由此可见方面情 感分析对于情感分类具有重要的作用。 0003 针对传统的注意力机制不能够对方面特征进行有效的关注； BiLSTM 训练时间长、 不能充分学习上下文信息； 并且多数的深度学习模型未能充分考虑层次化结构对情感倾向 性判定等存在的问题。 发明内容 0004 基于以上现有技术的不足， 本发明所解决的技术问题在于提供一种融合辅助信息 与层级自注意力循环神经网络方面的情感分析方法， 在词向量中增加词性、 位置等方面辅 助信息， 然后通过双向门控循环神经网络 (BiGRU)进行序列化信息学习， 通过层次化自注 意力。

7、机制为单词层和句子层调整深层次信息特征权重。 0005 为了解决上述技术问题， 针对磁声耦合的磁性纳米粒子浓度成像中磁性纳米粒子 浓度图像重建方法部分的缺失， 本发明提供一种融合辅助信息与层级自注意力循环神经网 络方面的情感分析方法， 包括以下步骤： 0006 步骤1： 对词向量的模型进行改进； 0007 步骤2： 引入层次化自注意力机制模型； 0008 步骤3： 通过方面情感分析领域广泛使用的数据集进行验证。 0009 可选的， 在步骤1中， 将词性信息、 位置信息作为该模型的辅助信息， 来分析单词跟 方面之间的相关性。 0010 可选的， 在步骤2中， 在单词层引入注意力机制， 句子层引入。

8、自注意力机制， 采用基 于self-attention机制的模型对从数据集中提取出的方面词能够进行更深层的情感分类。 0011 由上， 本发明的融合辅助信息与层级自注意力循环神经网络方面的情感分析方法 针对传统注意力机制不能够对方面特征进行有效的关注， 并且双向长短时记忆神经模型 (BiLSTM)训练时间长、 不能充分学习上下文信息等存在的问题。 本发明的方法在词向量中 增加词性、 位置等方面辅助信息， 然后通过双向门控循环神经网络(BiGRU)进行序列化信息 说明书 1/4 页 3 CN 111428004 A 3 学习， 通过层次化自注意力机制为单词层和句子层调整深层次信息特征权重。 00。

9、12 上述说明仅是本发明技术方案的概述， 为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施， 并且为了让本发明的上述和其他目的、 特征和优点能够 更明显易懂， 以下结合优选实施例， 并配合附图， 详细说明如下。 附图说明 0013 为了更清楚地说明本发明实施例的技术方案， 下面将对实施例的附图作简单地介 绍。 0014 图1为本发明的融合辅助信息与层级自注意力循环神经网络方面的情感分析方法 的流程图。 具体实施方式 0015 下面结合附图详细说明本发明的具体实施方式， 其作为本说明书的一部分， 通过 实施例来说明本发明的原理， 本发明的其他方面、 特征及其优点通过该详细说明将。

10、会变得 一目了然。 在所参照的附图中， 不同的图中相同或相似的部件使用相同的附图标号来表示。 0016 本发明在现有方面情感分析模型研究的基础上， 提出了基于层次化自注意力机制 和BiGRU的神经网络模型， 并在模型中添加了词性信息和位置信息。 该HSA-BiGRU模型如图1 所示， 结构分为单词注意力层， 句子自注意力层和情感分类层三部分。 0017 首先将句子中的词语用词向量进行表示， 同时添加了词性信息、 位置信息等辅助 信息提高方面级情感分析的准确度。 并且采用BiGRU对词向量进行编码来获取更高维的语 义信息， 捕捉上下文的语义信息。 然后将单词注意力层的输出作为句子自注意力层的输入。

11、， 将文本向量放入BiGRU 中进行特征提取， 采用句子自注意力层突出文本中的重点信息， 进 一步提高了情感分析的准确率。 最后通过非线性分类器softmax将文本进行分类， 从而获取 最终的情感分类结果。 0018 评价词是判断文本用户的情感极性的重要方式， 词性信息(Part of Speech information POS)的引入在方面情感分析任务中占有较高的位置权重。 0019 位置信息(location)作为另一个辅助信息， 它的添加是由于词语与方面词之间的 位置隐含着重要的信息， 距离方面越近的情感词的权重影响越大， 在生成句子向量时使用 位置权重来分析与方面情感分析有关的信息。。

12、 0020 每个词向量Vv1,v2,.,vn其对应的位置权重定义为： 0021 1, 2,., n (1) 0022 0023 vi ivi (3) 0024 其中， i是各个单词的索引， a是方面词的索引， 不同的单词其位置权重是不同的。 i和 i是位于方面词左侧的参数； r和 r是位于方面词右侧的词语的参数， m是方面词， vi 表示加权后的位置权重。 当训练时右侧的位置权重比左侧大的时候， 说明其右侧词语的方 说明书 2/4 页 4 CN 111428004 A 4 面情感表达的决定性要比左侧的强。 0025 自注意力机制(Self-Attention)是注意力机制的改进。 在句子层计算。

13、过程中， 自 注意力可以捕获同一个句子中单词之间的一些句法特征或者语义特征。 添加注意力机制能 够学习到一个句子的内部结构， 捕获句子中长距离的相互依赖的特征， 将句子中任意两个 单词的联系起来， 使得更容易解决句子产生的长期依赖问题。 并且自注意力机制能够减少 对外部信息的依赖， 具有很好的并行性， 从而提高情感分析的准确率。 自注意力机制的输出 可以按照下述公式计算: 0026 0027其中，表示调节因子， 一般情况下表示输入向量的维度。 Q、 K、 V 分别表示查询 (Query)、 键(Key)、 值(Value)。 0028 其自注意力机制的计算过程如下： 0029 1)输入的每个单。

14、词向量矩阵通过3个不同的权值矩阵分别得到 Q、 K、 V这样3个不 同的向量。 0030 2)为矩阵中的每个向量计算一个 “得分” 。 使用缩放点积的方法， 把 “得分” 除以 0031 3)对这个 “得分” 使用softmax激活函数。 0032 4)最后再乘上矩阵V， 得到最终的输出。 0033 在本发明实验中， 词向量采用Skip-Gram技术来初始化。 使用Adam 作为优化器是 因为该算法能计算参数的自适应学习率， 能够得到更好的结果。 0034 本发明通过采用SemEval2014数据集进行方面情感分析训练和评估模型， 并且通 过准确率(Accuracy)来衡量实验样本的好坏。 为。

15、了可以证明该模型的有效性， 将本发明提 出融合辅助信息的层次化自注意力机制的 BiGRU模型跟其它现有的方面情感模型方法进 行比较。 0035 SVM方法的准确率最低,在Laptop和Restaurant数据集上分别只占了 65.02和 53.57。 TD-LSTM把方面的因素加入到实验中， AE-LSTM是将单词隐层和方面相结合， 从表 格中的实验数据可以看出， 基于LSTM的方面情感分析优于只使用LSTM模型的方法。 IAN模型 是一种交互式的注意力模型， 实验结果在数据集上分别比LSTM模型提升了5 .65和 4.34， 说明考虑注意力机制能够影响模型的准确率。 BiGRU模型优于LST。

16、M模型， 因为BiGRU 的收敛速度较快， 计算更为简单， 参数更为少， 所以准确率有所提高。 HCP-BiGRU模型和HCA- BiGRU模型是基于HC-BiGRU 模型的基础上分别添加了词性信息和位置信息等辅助信息， HC-BiGRU采用的是双层注意力机制， 说明双层能够获取深层次的信息， 在单词层和句子层 获取了不同的权重。 HCP-BiGRU在Laptop和Restaurant数据集上比 HC-BiGRU模型分别提高 了0.47和0.6， HCA-BiGRU在Laptop和 Restaurant数据集上分别比HC-BiGRU模型提高 了0.15和0.63， 验证了添加词性信息和位置信息。

17、等辅助信息的有效性。 0036 本发明提出了HSA-BiGRU模型方法是在HC-BiGRU的基础上分别添加词性和位置等 辅助信息， 并且添加了Self-Attention机制。 实验结果表明， 准确率在Laptop和Restaurant 数据集上分别提高了3.72和2.77， 表明本发明提出的模型在方面情感分类问题中存在 说明书 3/4 页 5 CN 111428004 A 5 一定的优势。 0037 为了获取更深层次的情感特征信息， 本发明提出了一种融合辅助信息的层次化自 注意力的BiGRU方面情感分析模型。 考虑到评价词在方面情感分析任务中占有较高的位置 权重， 词语与方面词之间的位置隐含着重要的信息， 所以将词性信息、 位置信息作为该模型 的辅助信息添加到模型中。 0038 以上所述是本发明的优选实施方式而已， 当然不能以此来限定本发明之权利范 围， 应当指出， 对于本技术领域的普通技术人员来说， 在不脱离本发明原理的前提下， 还可 以做出若干改进和变动， 这些改进和变动也视为本发明的保护范围。 说明书 4/4 页 6 CN 111428004 A 6 图1 说明书附图 1/1 页 7 CN 111428004 A 7 。