基于深度网络AS-LSTM的命名实体识别系统及识别方法.pdf

《基于深度网络AS-LSTM的命名实体识别系统及识别方法.pdf》由会员分享，可在线阅读，更多相关《基于深度网络AS-LSTM的命名实体识别系统及识别方法.pdf（15页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202011140319.6 (22)申请日 2020.10.22 (71)申请人 北京众标智能科技有限公司 地址 100084 北京市海淀区中关村东路1号 院8号楼一层CG05-067 (72)发明人 王国鸿 (74)专利代理机构 北京清大紫荆知识产权代理 有限公司 11718 代理人 秦亚群冯振华 (51)Int.Cl. G06F 40/295(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度网络AS-L。

2、STM的命名实体识别系统 及识别方法 (57)摘要 本发明提供了一种基于深度网络ASLSTM的 命名实体识别系统， 包括网络模型BIASLSTM CRF， 网络模型BIASLSTMCRF包括文本特征层、 上下文特征层BIASLSTM、 CRF层。 上下文特征层 BIASLSTM包括2个ASLSTM深度网络， 且2个AS LSTM深度网络拼接形成双向ASLSTM网络。 在本 发明中， 命名实体识别系统中设计新型的AS LSTM深度网络， 其能够获得输入文本中命名实体 前后文更加稳定和准确的细胞状态， 这种网络存 在对自身的倚重性学习， 因此既能学习到上下文 相关的语义表示， 也能增加应对前后文无。

3、关词语 的鲁棒性， 降低识别系统的错误。 权利要求书2页 说明书7页 附图5页 CN 112257447 A 2021.01.22 CN 112257447 A 1.基于深度网络AS-LSTM的命名实体识别系统， 其特征在于： 包括网络模型BI-AS- LSTM-CRF， 所述网络模型BI-AS-LSTM-CRF包括文本特征层、 上下文特征层BI-AS-LSTM、 CRF 层； 所述文本特征层用于提取文本中输入文本的特征信息， 所述上下文特征层BI-AS-LSTM 用于对提取的特征信息输出得到输出序列并获得上下文特征， 所述CRF层用于获取上下文 特征在输入文本中的位置信息及实体标签； 所述上。

4、下文特征层BI-AS-LSTM包括2个AS-LSTM深度网络， 且2个所述AS-LSTM深度网络 拼接形成双向AS-LSTM网络。 2.根据权利要求1所述的命名实体识别系统， 其特征在于： 所述AS-LSTM深度网络包括 遗忘门、 输出门、 输入门、 权重门， 且所述权重门与文本的当前输入关联。 3.根据权利要求2所述的命名实体识别系统， 其特征在于： 命名实体识别系统还包括 Random Replace训练方法， 所述Random Replace训练方法与所述AS-LSTM深度网络结合， 使 命名实体识别系统以半热启动方式启动。 4.根据权利要求2所述的命名实体识别系统， 其特征在于： 命名。

5、实体识别系统还包括存 量数据库， 所述存量数据库用于在训练集的基础上使用Random Replace训练方法构建增量 训练集。 5.基于深度网络AS-LSTM的命名实体识别方法， 应用于命名实体识别系统对文本进行 识别， 其特征在于， 包括以下步骤： S1、 网络模型BI-AS-LSTM-CRF的构建； S2、 确定识别目标， 通过区别标注方式标注命名实体的识别语料； S3、 将S2中的识别语料划分为训练集和测试集； S4、 将训练集输入网络模型BI-AS-LSTM-CRF中进行训练， 得到命名实体训练模型； S5、 采用S4中命名实体训练模型对S3中的测试集进行命名实体识别， 得到命名实体识。

6、 别模型的识别结果； S6、 对S5中得到的命名实体识别模型的识别结果在测试集上的准确率及召回率进行计 算和对比。 6.根据权利要求5所述的命名实体识别方法， 其特征在于， 包括以下步骤： S1、 网络模型BI-AS-LSTM-CRF的构建； S2、 确定识别目标， 通过区别标注方式标注命名实体的识别语料； S3、 将S2中的识别语料划分为训练集和测试集； S301、 准备识别目标的存量数据库； S4、 以S3中的训练集为基础， 采用S301中存量数据库随机替换得到增量训练集； S401、 将S3中的训练集与S4中的增量训练集合并， 并输入S1的网络模型BI-AS-LSTM- CRF中进行训练。

7、， 得到命名实体识别模型； S5、 采用S401中得到的命名实体训练模型对S3中的测试集进行命名实体识别， 得到命 名实体识别模型的识别结果； S6、 对S5中命名实体识别模型的识别结果在测试集上的准确率及召回率进行计算和对 比。 7.根据权利要求5或6所述的命名实体识别方法， 其特征在于， 网络模型BI-AS-LSTM- CRF的构建： 包括文本中输入文本的特征信息提取、 特征信息输出得到输出序列、 获取输入 权利要求书 1/2 页 2 CN 112257447 A 2 文本的上下文特征、 上下文特征经BIO标注输入文本中每个词在文本中的位置信息， 并获得 实体标签。 8.根据权利要求5或6。

8、所述的命名实体识别方法， 其特征在于， 命名实体中识别语料的 标注， 包括以B-PRO标注识别目标的开头、 以I-PRO标注识别目标的中间部分。 9.根据权利要求5或6所述的命名实体识别方法， 其特征在于， 步骤S3中， 训练集与测试 集的比例为(10:1)(2:1)。 10.根据权利要求9所述的命名实体识别方法， 其特征在于， 步骤S3中， 训练集与测试集 的比例为4:1。 权利要求书 2/2 页 3 CN 112257447 A 3 基于深度网络AS-LSTM的命名实体识别系统及识别方法 技术领域 0001 本发明属于人工智能自然语言处理领域， 涉及自然语言处理领域中命名实体识别 技术， 。

9、具体为基于深度网络AS-LSTM的命名实体识别系统及识别方法。 背景技术 0002 随着人工智能技术的发展， 机器学习成为自然语言处理最常用的方法之一。 深度 学习作为机器学习的分支， 由于近年来CPU/GPU硬件算力提升以及深度网络的优化发展， 在 自然语言处理的几乎所有子任务领域获得了最优效果， 包括对话系统， 命名实体识别， 语言 翻译等任务， 其中， 命名实体识别(NER)也成为自然语言处理领域中最常见的问题。 0003 命名实体识别(NER)中深度学习网络已经是目前业界和学界公认的方法， 其是通 过人工标注得到训练集， 然后构建深度网络并进行训练， 得到NER识别模型。 NER深度网。

10、络发 展至今， 多数使用名为LSTM的长短期记忆网络， 但是在实际的预测中发现以下几方面问题： 1.深度学习网络存在前后文鲁棒性较弱的问题； 2.在进行模型预测时， 当改变了前后文一 两个不重要的词时， 往往会严重影响预测结果的精度； 3.命名实体识别时， 人工标注的训练 集时间成本和人工成本都很高， 且前期的训练集较少， 冷启动的效率较低， 无法进入一个快 速的模型迭代周期。 0004 例如， 中国已公开发明专利CN109871541A， 提供了一种适用于多语言多领域的命 名实体识别方法， 采用该专利提供的NER建立方法使用了LSTM长短期记忆网络。 但是其依然 需要大量的标注数据以提高识别。

11、的精度， 且无法解决LSTM的前后文鲁棒性不足的问题。 0005 例如， 中国已公开发明专利CN111091002A， 提供了一种中文命名实体的识别方法， 其特点是采用CWS和POS标签信息用于单词关系推断， 通过对抗学习中包含的NER、 CWS和POS 标记任务中提取与实体边界有关的公共信息。 但是其依旧需要大量标注信息， 大大提高了 识别的时间成本和人工成本。 0006 因此， 有必要对现有的命名实体识别技术予以改进。 发明内容 0007 本发明的目的在于提高命名实体识别的准确率及召回率， 解决现有的长短期记忆 网络(LSTM网络)在实际使用中出现的前后文鲁棒性较差、 时间成本高、 人工成。

12、本高等方面 的不足， 解决目前深度模型在冷启动的训练集样本量不足和迭代效率低下问题， 提供了一 种基于深度网络AS-LSTM的命名实体识别系统及识别方法。 0008 实现发明目的的技术方案如下： 0009 本发明提供了一种基于深度网络AS-LSTM的命名实体识别系统， 包括网络模型BI- AS-LSTM-CRF， 网络模型BI-AS-LSTM-CRF包括文本特征层、 上下文特征层BI-AS-LSTM、 CRF 层； 文本特征层用于提取文本中输入文本的特征信息， 上下文特征层BI-AS-LSTM用于对提 取的特征信息输出得到输出序列并获得上下文特征， CRF层用于获取上下文特征在输入文 本中的位。

13、置信息及实体标签。 说明书 1/7 页 4 CN 112257447 A 4 0010 上下文特征层BI-AS-LSTM包括2个AS-LSTM深度网络， 且2个AS-LSTM深度网络拼接 形成双向AS-LSTM网络。 0011 在本发明中， 命名实体识别系统中设计新型的AS-LSTM深度网络， 其能够抛弃输入 文本中所有前后文细胞状态的影响， 这种网络存在对自身的倚重性学习， 因此既能学习到 上下文相关的语义表示， 也能增加应对前后文无关词语的鲁棒性， 降低识别系统的错误。 0012 进一步的， AS-LSTM深度网络包括遗忘门、 输出门、 输入门、 权重门， 且所述权重门 与文本的当前输入关。

14、联。 0013 通常， 传统的LSTM网络由遗忘门、 输出门、 输入门三个门组成， 这些门的参数计算 不仅与文本的当前输入有关系， 还与文本的上一个输入有关， 通过恰当的构建LSTM可以学 习到上下文的语义关系。 但是， 在实际的使用过程中， 通过LSTM训练的模型则会表现出前后 文鲁棒性较差的特性， 在改变前后一两个不相关的词语， 可能会导致完全不同的预测结果， 例如 “北京” 的词汇， 在很多上下文语境中都属于 “地点” 的语义， 但是在实际的训练集中很 难覆盖所有场景， 使用LSTM网络导致预测错误的情况并不少见。 0014 因此， 本发明对LSTM进行了优化， 在传统的LSTM的基础上。

15、， 增加了一个权重门， 形 成了新的AS-LSTM深度网络。 在AS-LSTM深度网络中权重门只和当前输入有关， AS-LSTM深度 网络使用时不仅可以学习到上下文的语义信息， 而且在面对前后文的干扰信息时呈现了很 强的鲁棒性， 因此在实际的NER(命名实体识别)任务中取得了更加精确的效果。 0015 进一步的， 命名实体识别系统还包括Random Replace训练方法， Random Replace 训练方法与AS-LSTM深度网络结合， 使命名实体识别系统以半热启动方式启动。 0016 进一步的， 命名实体识别系统还包括存量数据库， 存量数据库用于在训练集的基 础上使用Random Re。

16、place训练方法构建增量训练集。 具体的， 存量数据库可以在少量训练 集的基础上使用Random Replace方法， 将已经完成标注的命名实体采用Random Replace训 练方法随机替换成存量数据库中的名称， 进而构建形成增量训练集， 构建完成后与最初的 少量训练集合并后输入到模型进行训练。 0017 命名实体识别系统中， AS-LSTM深度网络结合Random Replace训练方法， 再结合存 量机构数据库的应用， 通过列举相关前后文语义表示， 能够在训练集合上使用随机替换角 色名称形成增量训练集， 并结合AS-LSTM深度网络对自身的学习性能， 找到了快速迭代模型 的捷径， 将。

17、冷启动的迭代周期大幅度缩短。 0018 本发明还提供了一种基于深度网络AS-LSTM的命名实体识别方法， 应用于上述命 名实体识别系统对文本进行识别， 以深度网络AS-LSTM形成的命名实体识别系统的启动形 式为冷启动。 命名实体识别方法包括以下步骤： 0019 S1、 网络模型BI-AS-LSTM-CRF的构建； 0020 S2、 确定识别目标， 通过区别标注方式标注命名实体的识别语料； 0021 S3、 将S2中的识别语料划分为训练集和测试集； 0022 S4、 将训练集输入网络模型BI-AS-LSTM-CRF中进行训练， 得到命名实体训练模型； 0023 S5、 采用S4中命名实体训练模。

18、型对S3中的测试集进行命名实体识别， 得到命名实 体识别模型的识别结果； 0024 S6、 对S5中得到的命名实体识别模型的识别结果在测试集上的准确率及召回率进 行计算和对比。 说明书 2/7 页 5 CN 112257447 A 5 0025 为了对上述命名实体识别方法的改进， 将冷启动的迭代周期大幅度缩短， 通过增 加存量数据库来提高训练集的量， 产生大量的增量训练集， 获取快速迭代模型的捷径。 命名 实体识别方法通过深度网络AS-LSTM结合存量数据库及Random Replace训练方法形成的命 名实体识别系统的启动形式为半热启动。 具体的， 命名实体识别方法包括以下步骤： 0026 。

19、S1、 网络模型BI-AS-LSTM-CRF的构建； 0027 S2、 确定识别目标， 通过区别标注方式标注命名实体的识别语料； 0028 S3、 将S2中的识别语料划分为训练集和测试集； 0029 S301、 准备识别目标的存量数据库； 0030 S4、 以S3中的训练集为基础， 采用S301中存量数据库随机替换得到增量训练集； 0031 S401、 将S3中的训练集与S4中的增量训练集合并， 并输入S1的网络模型BI-AS- LSTM-CRF中进行训练， 得到命名实体识别模型； 0032 S5、 采用S401中得到的命名实体训练模型对S3中的测试集进行命名实体识别， 得 到命名实体识别模型。

20、的识别结果； 0033 S6、 对S5中命名实体识别模型的识别结果在测试集上的准确率及召回率进行计算 和对比。 0034 其中， 在网络模型BI-AS-LSTM-CRF的构建中， 包括文本中输入文本的特征信息提 取、 特征信息输出得到输出序列、 获取输入文本的上下文特征、 上下文特征经BIO标注输入 文本中每个词在文本中的位置信息， 并获得实体标签等多个步骤。 0035 其中， 在命名实体中识别语料的标注步骤中， 包括以B-PRO标注识别目标的开头、 以I-PRO标注识别目标的中间部分。 0036 其中， 在步骤S3中， 训练集与测试集的比例为(10:1)(2:1)。 0037 优选的， 在步。

21、骤S3中， 训练集与测试集的比例为4:1。 0038 与现有技术相比， 本发明的有益效果是： 0039 1.命名实体识别系统中设计新型的AS-LSTM深度网络， 其能够获得输入文本中命 名实体前后文更加稳定和准确的细胞状态， 这种网络存在对自身的倚重性学习， 因此既能 学习到上下文相关的语义表示， 也能增加应对前后文无关词语的鲁棒性， 降低识别系统的 错误。 0040 2.AS-LSTM深度网络、 Random Replace训练方法、 存量数据库三者的结合应用， 将 命名实体识别系统由冷启动模式转换为半热启动模式， 能够大大缩短了冷启动的迭代周 期， 提高了模型迭代效率， 并使预测结果更加精。

22、确和稳定。 附图说明 0041 为了更清楚地说明本发明实施例技术方案， 下面将对实施例描述中所需要使用的 附图作简单地介绍。 显而易见地， 下面描述中的附图仅仅是本发明为了更清楚地说明本发 明实施例或现有技术中的技术方案， 对于本领域普通技术人员来讲， 在不付出创造性劳动 的前提下， 还可以根据这些附图获得其他的附图。 0042 图1为传统的LSTM长短期记忆网络的示意图； 0043 图2a为传统的LSTM网络及本发明的AS-LSTM深度网络中的遗忘门的示意图； 0044 图2b为传统的LSTM网络及本发明的AS-LSTM深度网络中的输入门的示意图； 说明书 3/7 页 6 CN 112257。

23、447 A 6 0045 图2c为传统的LSTM网络及本发明的AS-LSTM深度网络中的输出门的示意图； 0046 图3为本发明命名实体识别系统中双向AS-LSTM网络的示意图； 0047 图4为本发明的双向AS-LSTM网络中AS-LSTM深度网络的示意图； 0048 图5为本发明的双向AS-LSTM网络中AS-LSTM深度网络的权重门的示意图； 0049 图6为本发明命名实体识别方法中AS-LSTM深度网络形成的冷启动的流程图； 0050 图7为本发明命名实体识别方法中AS-LSTM深度网络与Random Replace训练方法 结合形成的半热启动的流程图。 具体实施方式 0051 下面结。

24、合具体实施例来进一步描述本发明， 本发明的优点和特点将会随着描述而 更为清楚。 但这些实施例仅是范例性的， 并不对本发明的范围构成任何限制。 本领域技术人 员应该理解的是， 在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进 行修改或替换， 但这些修改和替换均落入本发明的保护范围内。 0052 在本实施例的描述中， 需要理解的是， 术语 “中心” 、“纵向” 、“横向” 、“上” 、“下” 、 “前” 、“后” 、“左” 、“右” 、“竖直” 、“水平” 、“顶” 、“底” 、“内” 、“外” 等指示的方位或位置关系为 基于附图所示的方位或位置关系， 仅是为了便于描述本发明创造和简。

25、化描述， 而不是指示 或暗示所指的装置或元件必须具有特定的方位、 以特定的方位构造和操作， 因此不能理解 为对本发明创造的限制。 0053 此外， 术语 “第一” 、“第二” 、“第三” 等仅用于描述目的， 而不能理解为指示或暗示 相对重要性或者隐含指明所指示的技术特征的数量。 由此， 限定有 “第一” 、“第二” 等的特征 可以明示或者隐含地包括一个或者更多个该特征。 在本发明创造的描述中， 除非另有说明， “多个” 的含义是两个或两个以上。 0054 实施例1： 0055 本实施例公开了一种基于深度网络AS-LSTM的命名实体识别系统， 在本实施方式 中， 命名实体识别系统包括网络模型BI。

26、-AS-LSTM-CRF， 网络模型BI-AS-LSTM-CRF包括文本 特征层、 上下文特征层BI-AS-LSTM、 CRF层。 0056 通常来说， 传统的命名实体识别系统中， 命名实体识别的网络模型BI-LSTM-CRF中 的BI-LSTM网络是由2个LSTM网络拼接形成双向LSTM网络， 如图1所示。 具体的， LSTM网络由 遗忘门(如图2a)、 输出门(如图2b)、 输入门(如图2c)三个门组成， 其网络的核心是细胞状 态， 用贯穿细胞的水平线表示， 细胞状态像传送带一样， 它贯穿整个细胞却只有很少的分 支， 这样能保证信息不变的流过整个网络， 这种网络结构能够学习上下文语义表示，。

27、 从而十 分常见地用在了上下文相关的自然语言处理任务上。 其中， ft (Wfht-1,xt+bf)为遗忘 门； it (Wiht-1,xt+bi)为输入门； ot (Woht-1,xt+bo)为输出门； CtftCt-1+it tanh(Wcht-1,xt+bc)表示的是细胞状态； htottanh(Ct)表示的是双向LSTM网络的输 出。 0057 这些门的参数计算不仅与文本的当前输入有关系， 还与文本的上一个输入有关， 通过恰当的构建LSTM可以学习到上下文的语义关系。 但是， 在实际的使用过程中， 通过LSTM 训练的模型则会表现出前后文鲁棒性较差的特性， 在改变前后一两个不相关的词语。

28、， 可能 会导致完全不同的预测结果， 例如 “北京” 的词汇， 在很多上下文语境中都属于 “地点” 的语 说明书 4/7 页 7 CN 112257447 A 7 义， 但是在实际的训练集中很难覆盖所有场景， 使用LSTM网络导致预测错误的情况并不少 见。 0058 本发明对LSTM进行了优化， 在传统的LSTM的基础上， 增加了一个权重门， 形成了新 的AS-LSTM深度网络(如图4所示)。 即， AS-LSTM深度网络包括遗忘门(如图2a)、 输出门(如图 2b)、 输入门(如图2c)、 权重门(如图5)， 且权重门与文本的当前输入关联， AS-LSTM深度网络 使用时不仅可以学习到上下文。

29、的语义信息， 而且在面对前后文的干扰信息时呈现了很强的 鲁棒性， 因此在实际的NER(命名实体识别)任务中取得了更加精确的效果。 其中， ft (Wf ht-1,xt+bf)为遗忘门； it (Wiht-1,xt+bi)为输入门； ot (Woht-1,xt+bo)为输出 门； CtftCt-1+ittanh(Wcht-1,xt+bc)表示的是细胞状态； Attanh(xtWA)为权重 门； htottanh(Ct)At表示的是双向LSTM网络的输出， 权重选择门只与当前输入有关 系， 抛弃了所有前后文细胞状态的影响， 这种网络存在对自身的倚重性学习， 因此既能学习 到上下文相关的语义表示， 。

30、也能增加应对前后文无关词语的鲁棒性。 0059 在本实施例中， 上下文特征层BI-AS-LSTM包括2个AS-LSTM深度网络， 且2个AS- LSTM深度网络拼接形成双向AS-LSTM网络， 如图3所示。 0060 在本实施例中， 文本特征层用于提取文本中输入文本的特征信息， 例如， 其能够对 输入文本的词语与词语和句子与句子的特征信息进行提取。 0061 在本实施例中， 上下文特征层BI-AS-LSTM用于对提取的特征信息输出得到输出序 列并获得上下文特征， 具体的， 上下文特征层BI-AS-LSTM将文本特征层所提取特征信息(如 序列)通过双向门控循环网络(即双向AS-LSTM网络)得到。

31、输出序列， 经线性层得到句子的上 下文特征； 0062 在本实施例中， CRF层为条件随机场模型， 可以学习到命名实体表述的转移矩阵， 例如： 以公司结尾的词语更可能被判定为企业实体， 通常将神经网络配合CRF使用。 CRF层用 于获取上下文特征在输入文本中的位置信息及实体标签， 具体的， CRF层将上下文特征通过 BIO标注的每个词在输入文本中的位置信息， 通过条件随机场CRF得到输入文本的实体标 签。 0063 在本发明中， 命名实体识别系统中设计新型的AS-LSTM深度网络， 其能够抛弃输入 文本中所有前后文细胞状态的影响， 这种网络存在对自身的倚重性学习， 因此既能学习到 上下文相关的。

32、语义表示， 也能增加应对前后文无关词语的鲁棒性， 降低识别系统的错误。 0064 实施例2： 0065 由于命名实体识别系统大多为冷启动的方式， 其具有效率低的问题， 目前学术界 和业界已经尝试使用一些方法， 最常见的是使用预训练模型进行word embedding， 例如 ELMO， BERT， GPT-3等参数量极大的预训练模型作为上游词向量的生成器， 然后进行fine tune调优下游任务， 但是对于很多且或科研单位来说， 这种预训练模型带来的计算资源和 成本过大， 服务接口反应速度过慢， 例如BERT在普通GPU推算下的NER模型预测速度在500ms 左右， 这种速度很慢满足日常的使用。

33、和服务。 0066 因此， 本实施例是在实施例1的基础上进行改进的， 在命名实体识别系统中增加 Random Replace训练方法， Random Replace训练方法与AS-LSTM深度网络结合， 使命名实体 识别系统以半热启动方式启动。 0067 更近一步的， 命名实体识别系统还包括存量数据库， 存量数据库用于在训练集的 说明书 5/7 页 8 CN 112257447 A 8 基础上使用Random Replace训练方法构建增量训练集。 具体的， 存量数据库可以在少量训 练集的基础上使用Random Replace方法， 将已经完成标注的命名实体采用Random Replace 训。

34、练方法随机替换成存量数据库中的名称， 进而构建形成增量训练集， 构建完成后与最初 的少量训练集合并后输入到模型进行训练。 0068 命名实体识别系统中， AS-LSTM深度网络结合Random Replace训练方法， 再结合存 量机构数据库的应用， 通过列举相关前后文语义表示， 能够在训练集合上使用随机替换角 色名称形成增量训练集， 并结合AS-LSTM深度网络对自身的学习性能， 找到了快速迭代模型 的捷径， 将冷启动的迭代周期大幅度缩短。 0069 实施例3： 0070 如图6所示， 本实施例公开了一种基于深度网络AS-LSTM的命名实体识别方法， 应 用于上述命名实体识别系统对文本进行识。

35、别， 以深度网络AS-LSTM形成的命名实体识别系 统的启动形式为冷启动。 命名实体识别方法包括以下步骤： 0071 S1、 网络模型BI-AS-LSTM-CRF的构建； 0072 具体的， 网络模型BI-AS-LSTM-CRF的构建中， 包括文本中输入文本的特征信息提 取、 特征信息输出得到输出序列、 获取输入文本的上下文特征、 上下文特征经BIO标注输入 文本中每个词在文本中的位置信息， 并获得实体标签等多个步骤。 0073 S2、 确定识别目标， 通过区别标注方式标注命名实体的识别语料； 0074 例如： 命名实体识别方法应用在招投标公告的识别时， 将招投标公告的标的物作 为NER(命名。

36、实体识别)识别目标， 标注命名实体识别语料， 按照B-PRO标注标的物的开头， I- PRO标注标的物的中间部分。 0075 S3、 将S2中的识别语料划分为训练集和测试集； 0076 具体的， 训练集与测试集的比例为(10:1)(2:1)， 在本步骤中， 训练集与测试集 的比例优选为为4： 1。 0077 S4、 将训练集输入网络模型BI-AS-LSTM-CRF中进行训练， 得到命名实体训练模型； 0078 S5、 采用S4中命名实体训练模型对S3中的测试集进行命名实体识别， 得到命名实 体识别模型(即NER识别模型)的识别结果； 0079 具体的， 命名实体识别模型的识别精度能够达到F1s。

37、core。 0080 S6、 对S5中得到的命名实体识别模型的识别结果在测试集上的准确率及召回率进 行计算和对比。 0081 实施例4： 0082 如图7所示， 为了对实施例3中命名实体识别方法的改进， 将冷启动的迭代周期大 幅度缩短， 通过增加存量数据库来提高训练集的量， 产生大量的增量训练集， 获取快速迭代 模型的捷径。 命名实体识别方法通过深度网络AS-LSTM结合存量数据库及Random Replace 训练方法形成的命名实体识别系统的启动形式为半热启动。 0083 命名实体识别方法包括以下步骤： 0084 S1、 网络模型BI-AS-LSTM-CRF的构建； 0085 具体的， 网络。

38、模型BI-AS-LSTM-CRF的构建中， 包括文本中输入文本的特征信息提 取、 特征信息输出得到输出序列、 获取输入文本的上下文特征、 上下文特征经BIO标注输入 文本中每个词在文本中的位置信息， 并获得实体标签等多个步骤。 说明书 6/7 页 9 CN 112257447 A 9 0086 S2、 确定识别目标， 通过区别标注方式标注命名实体的识别语料； 0087 例如： 命名实体识别方法应用在招投标公告的识别时， 将采购人和代理机构作为 NER识别目标， 标注命名实体识别语料， 按照B-ORG1标注采购人的开头， I-ORG1标注采购人 的中间部， B-ORG3标注代理机构的开头， I-。

39、ORG3标注代理机构的中间部分。 0088 具体的， 在命名实体中识别语料的标注步骤中， 包括以B-PRO标注识别目标的开 头、 以I-PRO标注识别目标的中间部分。 0089 S3、 将S2中的识别语料划分为训练集和测试集； 0090 具体的， 训练集与测试集的比例为(10:1)(2:1)， 在本步骤中， 训练集与测试集 的比例优选为为4： 1。 0091 S301、 准备识别目标的存量数据库； 0092 S4、 以S3中的训练集为基础， 采用S301中存量数据库随机替换得到增量训练集； 0093 S401、 将S3中的训练集与S4中的增量训练集合并， 并输入S1的网络模型BI-AS- LS。

40、TM-CRF中进行训练， 得到命名实体识别模型； 0094 S5、 采用S401中得到的命名实体训练模型对S3中的测试集进行命名实体识别， 得 到命名实体识别模型(即NER识别模型)的识别结果； 0095 具体的， 命名实体识别模型的识别精度能够达到F1score。 0096 S6、 对S5中命名实体识别模型的识别结果在测试集上的准确率及召回率进行计算 和对比。 0097 以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发明的精 神和原则之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。 0098 此外， 应当理解， 虽然本说明书按照实施方式加以。

41、描述， 但并非每个实施方式仅包 含一个独立的技术方案， 说明书的这种叙述方式仅仅是为清楚起见， 本领域技术人员应当 将说明书作为一个整体， 各实施例中的技术方案也可以经适当组合， 形成本领域技术人员 可以理解的其他实施方式。 说明书 7/7 页 10 CN 112257447 A 10 图1 图2a 说明书附图 1/5 页 11 CN 112257447 A 11 图2b 图2c 说明书附图 2/5 页 12 CN 112257447 A 12 图3 图4 说明书附图 3/5 页 13 CN 112257447 A 13 图5 图6 说明书附图 4/5 页 14 CN 112257447 A 14 图7 说明书附图 5/5 页 15 CN 112257447 A 15 。