一种基于最大熵模型的评价类型情绪分类方法及系统.pdf

本发明公开了一种基于最大熵模型的评价类型情绪分类方法及系统，该方法包括：获取原始评价语料，并从原始评价语料中提取特征信息集；将特征信息集中各类特征进行融合，处理得到可用语料；可用语料的语料格式与最大熵模型相匹配；将可用语料划分为训练语料和测试语料，利用训练语料训练最大熵模型，得到情绪分类模型；将测试语料输入情绪分类模型，对测试语料中评价类型的情绪进行分类，得到情绪分类结果。以上本发明提供的技术方案中，使用最大熵模型，能够充分利用了上下文信息，建立一个统一的概率模型，提高了评价类型情绪分类的性能。

权利要求书
1.  一种基于最大熵模型的评价类型情绪分类方法，其特征在于，包括：
获取原始评价语料，并从所述原始评价语料中提取特征信息集，所述特征信息集包括词特征、词性特征、评价对象特征及情感特征；
将所述特征信息集中各类特征进行融合，处理得到可用语料；所述可用语料的语料格式与最大熵模型相匹配；
将所述可用语料划分为训练语料和测试语料，利用所述训练语料训练最大熵模型，得到情绪分类模型；
将所述测试语料输入所述情绪分类模型，对所述测试语料中评价类型的情绪进行分类，得到情绪分类结果；
其中，所述评价类型包括食物、服务及价格。

2.  如权利要求1所述的方法，其特征在于，利用Stanford工具从所述原始评价语料中提取所述词性特征。

3.  如权利要求1所述的方法，其特征在于，结合预设情感字典从所述原始评价语料中提取所述情感特征。

4.  一种基于最大熵模型的评价类型情绪分类系统，其特征在于，包括：
特征信息集提取单元，用于获取原始评价语料，并从所述原始评价语料中提取特征信息集，所述特征信息集包括词特征、词性特征、评价对象特征及情感特征；
可用预料确定单元，用于将所述特征信息集中各类特征进行融合，处理得到可用语料；所述可用语料的语料格式与最大熵模型相匹配；
训练单元，用于将所述可用语料划分为训练语料和测试语料，利用所述训练语料训练最大熵模型，得到情绪分类模型；
情绪分类单元，用于将所述测试语料输入所述情绪分类模型，对所述测试语料中评价类型的情绪进行分类，得到情绪分类结果；
其中，所述评价类型包括食物、服务及价格。

说明书一种基于最大熵模型的评价类型情绪分类方法及系统
技术领域
本发明涉及信息抽取及模式识别技术领域，特别是涉及一种基于最大熵模型的评价类型情绪分类方法及系统。
背景技术
当今，随着互联网的高速发展和信息高速公路的兴起，网络信息数据不断增加，从而使得大量的信息以电子文本的形式呈现在人们面前。因此，如何从这些大量的信息中迅速、准确地提取出人们所需求的重要信息就越发重要。
信息抽取是从文本中自动获取信息的一种主要手段。信息抽取是将无结构的文本信息，按照人们的需求识别和抽取出来，转化为结构化或半结构化的信息，并采用数据库的形式存储，以便人们查询和进一步的分析、利用。在当今的日常生活中，我们将对评价对象的某段评价语句称为评价语料，评价语料中通常会包含着positive(积极)、negative(消极)、neutral(中立)、conflict(抵触)等等情绪类型。评价对象的类型(简称评价类型)包括food(食物)、service(服务)、price(价格)、Ambience(环境氛围)、anecdotes(趣闻轶事)/miscellaneous(其它方面)等等。举个例子，下面是一个评价语料：All the money went into the interior decoration(室内装修，归为环境氛围类型),none of it went to the chefs(厨师，归为食品类型)。该评价语料中有2个评价类型，分别为ambience、food，其中，ambience对应的情绪为positive，而food对应的情绪为negative。
目前，评价类型情绪分类方法大多是都是基于机器学习的方法，即使用统计的方法进行研究，其主要还是基于全监督的学习方法，这种方法把评价类型的情绪判别看成分类问题，选择合适的特征并使用合适的分类器来完成。基于机器学习的方法有效智能，但是却存在不能充分利用上下文信息，特征无法全局归一化等缺点，降低了分类性 能。
发明内容
有鉴于此，本发明提供了一种基于最大熵模型的评价类型情绪分类方法及系统，以达到充分利用上下文信息，特征全局化，进而提高分类性能的目的。
为解决上述技术问题，本发明提供一种基于最大熵模型的评价类型情绪分类方法，包括：
获取原始评价语料，并从所述原始评价语料中提取特征信息集，所述特征信息集包括词特征、词性特征、评价对象特征及情感特征；
将所述特征信息集中各类特征进行融合，处理得到可用语料；所述可用语料的语料格式与最大熵模型相匹配；
将所述可用语料划分为训练语料和测试语料，利用所述训练语料训练最大熵模型，得到情绪分类模型；
将所述测试语料输入所述情绪分类模型，对所述测试语料中评价类型的情绪进行分类，得到情绪分类结果；
其中，所述评价类型包括食物、服务及价格。
优选的，利用Stanford工具从所述原始评价语料中提取所述词性特征。
优选的，结合预设情感字典从所述原始评价语料中提取所述情感特征。
本发明还提供了一种基于最大熵模型的评价类型情绪分类系统，包括：
特征信息集提取单元，用于获取原始评价语料，并从所述原始评价语料中提取特征信息集，所述特征信息集包括词特征、词性特征、评价对象特征及情感特征；
可用预料确定单元，用于将所述特征信息集中各类特征进行融合，处理得到可用语料；所述可用语料的语料格式与最大熵模型相匹配；
训练单元，用于将所述可用语料划分为训练语料和测试语料，利 用所述训练语料训练最大熵模型，得到情绪分类模型；
情绪分类单元，用于将所述测试语料输入所述情绪分类模型，对所述测试语料中评价类型的情绪进行分类，得到情绪分类结果；
其中，所述评价类型包括食物、服务及价格。
以上本发明提供的技术方案中，使用最大熵模型，充分利用了上下文信息，建立一个统一的概率模型，提高了评价类型情绪分类的性能，具体包括：首先，获取原始评价语料，并从原始评价语料中提取特征信息集；然后，将特征信息集中各类特征进行融合，处理得到可用语料，这个可用语料的语料格式与最大熵模型相匹配；其次，将可用语料划分为训练语料和测试语料，利用训练语料训练最大熵模型，得到情绪分类模型；最后将测试语料输入情绪分类模型，对测试语料中评价类型的情绪进行分类，得到情绪分类结果，达到了充分利用上下文信息，特征全局化，进而提高分类性能的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明一种基于最大熵模型的评价类型情绪分类方法实施例1的流程图；
图2为本发明一种基于最大熵模型的评价类型情绪分类系统实施例1的结构框图示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的核心是提供一种基于最大熵模型的评价类型情绪分类方法及系统，以达到充分利用上下文信息，特征全局化，进而提高分类性能的目的。
本发明使用的语料来自于Aspect Based Sentiment Analysis(ABSA)的restaurants英文评测语料，共有3041句语句。本发明选用的评价标准是Acc.，即正确率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
参考图1，示出了本发明一种基于最大熵模型的评价类型情绪分类方法实施例1的流程图，该方法具体可以包括如下步骤：
步骤S100、获取原始评价语料，并从原始评价语料中提取特征信息集；
本发明中，上述特征信息集包括词特征、词性特征、评价对象特征及情感特征；其中，情感特征指评价语料的语句中积极情感词的个数，消极情感词的个数，语句中全部情感词打分的和，语句中情感词打分最高的分数。
本发明中，对于评价语料中词性特征的提取方法，我们可以利用Stanford工具从原始评价语料中提取词性特征。Stanford词性标注工具是目前比较先进且应用比较广泛的相关工具，本发明即利用这些工具来实现某些特征的获取。以下就是一个英文语句及其对应词性标注结果。
语句：But the staff was so horrible to us.
词性标注结果：But/CC the/DT staff/NN was/VBD so/RB horrible/JJto/TO us/PRP./.
评价对象及极性：staff_positive
情感特征：0、1、-1.0、0。
另外，对于情感特征的提取，可以结合预设情感字典从原始评价 语料中提取情感特征。
步骤S101、将特征信息集中各类特征进行融合，处理得到可用语料；可用语料的语料格式与最大熵模型相匹配；
本发明借助Stanford词性标注工具来获取词性特征，从原始评价语料中获取评价对象特征，结合已有的情感字典(SentiWordNet,subjectivity)与原始语料得到情感特征，将词特征，词性特征，评价对象特征，情感特征进行融合构建本发明所需的可用语料。
可用语料的格式需严格按照最大熵模型要求的格式，即每类特征占一列。
步骤S102、将可用语料划分为训练语料和测试语料，利用训练语料训练最大熵模型，得到情绪分类模型；
对于最大熵模型，一般认为是Jaynes第一次系统提出的，后来有人提出了相应的算法来估计对应的统计模型的参数。由于当时计算条件的限制，最大熵模型在人工智能和自然语言处理领域都没有得到广泛应用。上世纪90年代，IBM的研究员应用重新深入的研究了这个问题，系统地描述了条件最大熵的框架和实现算法，并在自然语言处理任务上取得了非常好的效果，引起了人们的重视。很快条件最大熵模型技术得到了广泛的传播，在自然语言处理的各个领域都取得了巨大的成功，在此基础上的一些深入研究工作也不断展开。最大熵模型已经成为近年来自然语言处理领域最成功的机器学习方法。
最大熵分类方法是基于最大熵信息理论的，其基本思想是为所有已知的因素建立模型，而把所有未知的因素排除在外。也就是说，要找到一种概率分布，满足所有已知的事实，但是让未知的因素最随机化。该方法最大的特点就是不需要满足特征与特征之间的条件独立。因此，该方法适合融合各种不一样的特征，而无需考虑它们之间的影响。
本发明使用最大熵模型，充分的利用上下文信息，建立一个统一的概率模型，其意义在于有利于提高评价类型情绪分类的效率及性能。
步骤S103、将测试语料输入情绪分类模型，对测试语料中评价类 型的情绪进行分类，得到情绪分类结果。
本发明中，上述评价类型可以包括食物、服务及价格，当然还可以包括环境氛围、趣闻轶事等等，本发明不做严格限定。
在最大熵模型下，预测条件概率P(c|D)的公式如下：
P(ci|D)=1Z(D)exp(Σkλk,cFk,c(D,ci))]]>
其中Z(D)是归一化因子。Fk,c是特征函数，定义为：
Fk,c(D,c′)=1,nk(d)>0and c′=c0,otherwise]]>
目前，最大熵概率模型的优势主要有以下两点：
首先，最大熵统计模型获得的是所有满足约束条件的模型中信息熵极大的模型；
其次，最大熵统计模型可以灵活地设置约束条件，通过约束条件的多少可以调节模型对未知数据的适应度和对已知数据的拟合程度；再次，它还能自然地解决了统计模型中参数平滑的问题。
基于上述分析，以上本发明提供的技术方案中，使用最大熵模型，能够充分利用了上下文信息，建立一个统一的概率模型，有效提高了评价类型情绪分类的性能。另外，实验证明本发明的方法在测试语料中取得了更好的分类正确率，表现优于一般的机器学习方法的效果，更适合应用到实际问题中。
与上述本发明一种基于最大熵模型的评价类型情绪分类方法实施例1相对应，本发明还提供了一种基于最大熵模型的评价类型情绪分类系统实施例1，参考图2，该系统200可以包括如下内容：
特征信息集提取单元201，用于获取原始评价语料，并从原始评价语料中提取特征信息集，特征信息集包括词特征、词性特征、评价对象特征及情感特征；
可用预料确定单元202，用于将特征信息集中各类特征进行融合，处理得到可用语料；可用语料的语料格式与最大熵模型相匹配；
训练单元203，用于将可用语料划分为训练语料和测试语料，利用训练语料训练最大熵模型，得到情绪分类模型；
情绪分类单元204，用于将测试语料输入情绪分类模型，对测试语料中评价类型的情绪进行分类，得到情绪分类结果。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
以上对本发明所提供的一种基于最大熵模型的评价类型情绪分类方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。