文本摘要生成方法、装置、计算机设备及可读存储介质.pdf

《文本摘要生成方法、装置、计算机设备及可读存储介质.pdf》由会员分享，可在线阅读，更多相关《文本摘要生成方法、装置、计算机设备及可读存储介质.pdf（18页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010912303.6 (22)申请日 2020.09.02 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平安金融中 心23楼 (72)发明人 回艳菲王健宗程宁 (74)专利代理机构 深圳市精英专利事务所 44242 代理人 武志峰 (51)Int.Cl. G06F 16/34(2019.01) G06F 40/211(2020.01) G06F 40/289(2020.01) G06F 40/30(。

2、2020.01) G06F 40/253(2020.01) G06K 9/62(2006.01) (54)发明名称 文本摘要生成方法、 装置、 计算机设备及可 读存储介质 (57)摘要 本申请实施例提供了一种文本摘要生成方 法、 装置、 计算机设备及计算机可读存储介质。 本 申请实施例属于自然语言处理技术领域， 通过获 取待处理文本， 及基于待处理文本获取待处理文 本所对应的文本向量， 将文本向量输入至预设 Transformer模型进行处理， 以得到待处理文本 所对应的第一输出向量， 将第一输出向量输入至 预设Seq2Seq模型进行处理， 以得到待处理文本 所对应的第二输出向量， 根据第二输。

3、出向量生成 待处理文本所对应的文本摘要， Transformer使 用多头注意力机制弥补了Seq2Seq的缺陷， Transformer和Seq2Seq模型能够充分的互补， 实 现更丰富的编码向量表示， 提升了生成文本摘要 的准确性。 权利要求书2页 说明书11页 附图4页 CN 112052329 A 2020.12.08 CN 112052329 A 1.一种文本摘要生成方法， 其特征在于， 所述方法包括： 获取待处理文本， 并基于所述待处理文本获取所述待处理文本所对应的文本向量； 将所述文本向量输入至预设Transformer模型进行处理， 以得到所述待处理文本所对 应的第一输出向量； 。

4、将所述第一输出向量输入至预设Seq2Seq模型进行处理， 以得到所述待处理文本所对 应的第二输出向量； 根据所述第二输出向量生成所述待处理文本所对应的文本摘要。 2.根据权利要求1所述待处理文本摘要生成方法， 其特征在于， 所述根据所述第二输出 向量生成所述待处理文本所对应的文本摘要的步骤包括： 将所述第二输出向量进行多分类， 以得到所述第二输出向量所对应的分布概率； 判断所述分布概率是否大于或者等于预设概率阈值； 若所述分布概率大于或者等于所述预设概率阈值， 将所述分布概率所对应的第二输出 向量作为目标向量； 获取所述目标向量所对应的目标句子； 将所述目标句子进行组合， 以生成所述待处理文本。

5、所对应的文本摘要。 3.根据权利要求2所述待处理文本摘要生成方法， 其特征在于， 所述将所述第二输出向 量进行多分类， 以得到所述第二输出向量所对应的分布概率的步骤包括： 将所述第二输出向量输入至基于Sotfmax函数的预设分类器； 根据所述Sotfmax函数对所述第二输出向量进行多分类， 以得到所述第二输出向量所 对应的分布概率。 4.根据权利要求1-3任一项所述待处理文本摘要生成方法， 其特征在于， 所述获取待处 理文本， 并基于所述待处理文本获取所述待处理文本所对应的文本向量的步骤包括： 获取待处理文本， 并将所述待处理文本进行分词， 以得到所述待处理文本所包括的词 语； 对所述词语进行。

6、词嵌入以得到所述词语所对应的词向量； 将所述待处理文本根据所述待处理文本中所包含的标点符号进行切割， 以得到所述待 处理文本中所包含的句子； 基于所述词向量， 将所述句子进行句子嵌入以得到所述句子所对应的句子向量； 将所有所述句子向量进行组合以得到所述待处理文本所对应的文本向量。 5.根据权利要求4所述待处理文本摘要生成方法， 其特征在于， 所述基于所述词向量， 将所述句子进行句子嵌入以得到所述句子所对应的句子向量的步骤包括： 获取所述句子中所包含的词语； 根据所述词向量及所述句子中所包含的词语， 得到所述句子所对应的句子向量。 6.根据权利要求5所述待处理文本摘要生成方法， 其特征在于， 所。

7、述根据所述词向量及 所述句子中所包含的词语， 得到所述句子所对应的句子向量的步骤包括： 获取所述句子中所包含的词语所对应的词向量； 将所有所述句子中所包含的词语所对应的词向量进行相加并取平均， 以得到所述句子 所对应的句子向量。 7.根据权利要求4所述待处理文本摘要生成方法， 其特征在于， 所述基于所述词向量， 权利要求书 1/2 页 2 CN 112052329 A 2 将所述句子进行句子嵌入以得到所述句子所对应的句子向量的步骤包括： 判断所述句子中是否包含预设词语； 若所述句子中未包含预设词语， 将所述句子作为目标句子； 基于所述词向量， 将所述目标句子进行句子嵌入以得到所述目标句子所对应。

8、的句子向 量。 8.一种文本摘要生成装置， 其特征在于， 包括： 获取单元， 用于获取待处理文本， 并基于所述待处理文本获取所述待处理文本所对应 的文本向量； 第一输入单元， 用于将所述待处理文本向量输入至预设Transformer模型进行处理， 以 得到所述待处理文本所对应的第一输出向量； 第二输入单元， 用于将所述第一输出向量输入至预设Seq2Seq模型进行处理， 以得到所 述待处理文本所对应的第二输出向量； 生成单元， 用于根据所述第二输出向量生成所述待处理文本所对应的文本摘要。 9.一种计算机设备， 其特征在于， 所述计算机设备包括存储器以及与所述存储器相连 的处理器； 所述存储器用于。

9、存储计算机程序； 所述处理器用于运行所述计算机程序， 以执行 如权利要求1-7任一项所述方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计 算机程序被处理器执行时可实现如权利要求1-7中任一项所述方法的步骤。 权利要求书 2/2 页 3 CN 112052329 A 3 文本摘要生成方法、 装置、 计算机设备及可读存储介质 技术领域 0001 本申请涉及自然语言处理技术领域， 尤其涉及一种文本摘要生成方法、 装置、 计算 机设备及计算机可读存储介质。 背景技术 0002 文本摘要是自然语言处理领域的一项重要研究， 根据实现方式不同， 将其分为抽 。

10、取式和生成式。 抽取式摘要应用比较简单， 并且被广泛使用， 其原理主要是摘取文本中的重 要句子或段落， 将其以某种方式进行拼接并输出。 生成式摘要是基于不同的形式对原文本 的核心内容以及概念进行重新表示， 生成的摘要无需与原文本相同。 早期方法是使用图进 行人工特征工程， 也存在通过计算句子间的相似度， 来获取权重最大的几个句子， 并对其根 据特定的方法进行拼接。 现在主要把焦点集中在数据驱动的神经网络上， 通过编解码进行 文本摘要的生成。 0003 然而传统的方法中， 没有对文本数据进行充分的利用， 导致进行了不太合理的信 息抽取， 致使抽取的摘要内容准确性不高。 发明内容 0004 本申请。

11、实施例提供了一种文本摘要生成方法、 装置、 计算机设备及计算机可读存 储介质， 能够解决传统技术中对摘要内容进行抽取存在准确性较低的技术问题。 0005 第一方面， 本申请实施例提供了一种文本摘要生成方法， 所述方法包括： 获取待处 理文本， 并基于所述待处理文本获取所述待处理文本所对应的文本向量； 将所述待处理文 本向量输入至预设Transformer模型进行处理， 以得到所述待处理文本所对应的第一输出 向量； 将所述第一输出向量输入至预设Seq2Seq模型进行处理， 以得到所述待处理文本所对 应的第二输出向量； 根据所述第二输出向量生成所述待处理文本所对应的文本摘要。 0006 第二方面，。

12、 本申请实施例还提供了一种文本摘要生成装置， 包括： 获取单元， 用于 获取待处理文本， 并基于所述待处理文本获取所述待处理文本所对应的文本向量； 第一输 入单元， 用于将所述待处理文本向量输入至预设Transformer模型进行处理， 以得到所述待 处理文本所对应的第一输出向量； 第二输入单元， 用于将所述第一输出向量输入至预设 Seq2Seq模型进行处理， 以得到所述待处理文本所对应的第二输出向量； 生成单元， 用于根 据所述第二输出向量生成所述待处理文本所对应的文本摘要。 0007 第三方面， 本申请实施例还提供了一种计算机设备， 其包括存储器及处理器， 所述 存储器上存储有计算机程序，。

13、 所述处理器执行所述计算机程序时实现所述待处理文本摘要 生成方法的步骤。 0008 第四方面， 本申请实施例还提供了一种计算机可读存储介质， 所述计算机可读存 储介质存储有计算机程序， 所述计算机程序被处理器执行时使所述处理器执行所述待处理 文本摘要生成方法的步骤。 0009 本申请实施例提供了一种文本摘要生成方法、 装置、 计算机设备及计算机可读存 说明书 1/11 页 4 CN 112052329 A 4 储介质。 本申请实施例通过获取待处理文本， 并基于所述待处理文本获取所述待处理文本 所对应的文本向量， 将所述待处理文本向量输入至预设Transformer模型进行处理， 以得到 所述待。

14、处理文本所对应的第一输出向量， 将所述第一输出向量输入至预设Seq2Seq模型进 行处理， 以得到所述待处理文本所对应的第二输出向量， 根据所述第二输出向量生成所述 待处理文本所对应的文本摘要， 由于使用了Transformer和Seq2Seq分别为抽取模型和摘要 模型， Transformer使用多头注意力机制弥补了Seq2Seq的缺陷， Transformer和Seq2Seq模 型能够充分的互补， 从而实现更丰富的编码向量表示， 能够实现通过对待处理文本进行抽 取， 生成内容连贯、 句意通顺的文本摘要， 提升了生成文本摘要的准确性。 附图说明 0010 为了更清楚地说明本申请实施例技术方案。

15、， 下面将对实施例描述中所需要使用的 附图作简单地介绍， 显而易见地， 下面描述中的附图是本申请的一些实施例， 对于本领域普 通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。 0011 图1为本申请实施例提供的文本摘要生成方法的一个流程示意图； 0012 图2为本申请实施例提供的文本摘要生成方法中模型流程示意图； 0013 图3为本申请实施例提供的文本摘要生成方法的一个子流程示意图； 0014 图4为本申请实施例提供的文本摘要生成装置的一个示意性框图； 以及 0015 图5为本申请实施例提供的计算机设备的示意性框图。 具体实施方式 0016 下面将结合本申请实。

16、施例中的附图， 对本申请实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例是本申请一部分实施例， 而不是全部的实施例。 基于本申 请中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例， 都属于本申请保护的范围。 0017 应当理解， 当在本说明书和所附权利要求书中使用时， 术语 “包括” 和 “包含” 指示 所描述特征、 整体、 步骤、 操作、 元素和/或组件的存在， 但并不排除一个或多个其它特征、 整 体、 步骤、 操作、 元素、 组件和/或其集合的存在或添加。 0018 请参阅图1， 图1为本申请实施例提供的文本摘要生成方法的一个流程示意图。

17、。 如 图1所示， 该方法包括以下步骤S101-S105： 0019 S101、 获取待处理文本， 并基于所述待处理文本获取所述待处理文本所对应的文 本向量。 0020 具体地， 针对要生成摘要的待处理文本， 获取待处理文本， 并根据待处理文本生成 待处理文本所对应的文本向量。 生成文本向量时， 可以先对待处理文本进行分词以得到待 处理文本所包含的词语， 然后将词语进行词嵌入以得到所述待处理文本所对应的词向量。 其中， 词嵌入， 英文为Word Embedding， 是指将一个词语(Word)转换为一个向量(Vector)表 示， 是单词的一种数值化表示方式， 一般情况下会将一个单词映射到一个。

18、高维的向量中(词 向量)来代表这个单词， 词嵌入有时又被叫作 “word2vec， 可以通过Embedding Layer、 Word2Vec或者GloVe等方式实现。 0021 将待处理文本中所包含的词语进行词嵌入后， 可以将待处理文本根据待处理文本 说明书 2/11 页 5 CN 112052329 A 5 中所包含的标点符号进行分割以得到待处理所包含的不同句子， 进而通过预设分词方式获 取每个句子中所包含的词语， 由于已经得到每个词语所对应的词向量， 因此， 可以获得组成 句子的所有词语各自所对应的词向量， 进而根据组成句子的词语所对应的词向量， 通过句 子嵌入获得句子所对应的句子向量，。

19、 由于待处理文本是由句子组成的， 获得每个句子所对 应的句子向量后， 即可得到所述待处理文本所对应的文本向量， 每一个句子对应一个句子 向量， 若干个句子就对应若干个句子向量， 将所述句子向量可以看作序列， 从而后续将生成 待处理所对应的文本摘要当做序列分类问题。 其中 ， 句子嵌入， 英文为Sentence Em bedding ， 是指将一个 句子转换为 句子向量表示的 方式 ， 句子向量 (英文为 Sentencevector)是指数值化表示句子的方式， 可以通过平均词向量、 TFIDF加权平均词向 量或者SIF加权平均词向量等方式实现。 0022 进一步地， 获取文本， 将文本提取成初。

20、始句子， 并将初始句子组成初始句子集合 后， 以得到初始句子集合后， 再将提取的初始句子进行抽取， 以筛选出目标句子组成文本摘 要， 可以从初始句子中筛选出与生成文本摘要有关的初始目标句子以组成初始目标句子集 合， 进而对初始目标句子而不是所有的初始句子进行抽取， 由于减小了处理句子的句子数 量， 可以提高文本摘要生成的效率。 例如， 对于每个文本Dj， 初始包含n个句子， 可以提取其 中的m个句子， 以组成初始目标句子集合， 然后从初始目标句子集合中进行抽取句子， 以生 成文本摘要， 例如， 如下公式(1)所示。 0023 0024其中，用于描述第j个文本的第m个句子， 表示第j个文本的句子。

21、子集合。 0025 S102、 将所述待处理文本向量输入至预设Transformer模型进行处理， 以得到所述 待处理文本所对应的第一输出向量。 0026 具体地， 获得待处理文本所对应的文本向量后， 其中， 文本向量是由句子向量组成 的， 将所述待处理文本向量输入至预设Transformer模型进行处理， 以得到所述待处理文本 所对应的第一输出向量， 所述第一输出向量中包括各个句子所对应的句子向量。 请参阅图 2， 图2为本申请实施例提供的文本摘要生成方法中模型流程示意图。 如图2所示， 将文本向 量所对应的句子向量S1、 S2、 S3Sn输入至Transformer中， 经由Transfo。

22、rmer所包括的 Transformer Encoder层进行编码处理， 即可得到所述待处理文本所对应的第一输出向量 从而充分使用了Transformer的多头注意力机制以弥补Seq2Seq模型的 缺陷， 而使对所述待处理文本进行编码得到的向量表示更丰富， 提升了向量表示的准确性。 0027 其中， Transformer由Encoder(即编码)和Decoder(即解码)两个部分组成， Encoder和Decoder都包含6个block。 Transformer中单词的输入表示x由单词Embedding和 位置Embedding相加得到。 单词的Embedding有很多种方式可以获取， 例如。

23、可以采用 Word2Vec或者Glove等算法预训练得到， 也可以在Transformer中训练得到。 位置Embedding 用PE表示， PE的维度与单词Embedding是一样的， PE可以通过训练得到， 也可以使用公式计 算得到。 0028 Transformer的工作流程如下： 0029 1)获取输入句子的每一个单词的表示向量X， X由单词的Embedding和单词位置的 Embedding相加得到。 说明书 3/11 页 6 CN 112052329 A 6 0030 2)将得到的单词表示向量矩阵(如上图所示， 每一行是一个单词的表示x)传入 Encoder中， 经过6个Encod。

24、erblock后可以得到句子所有单词的编码信息矩阵。 0031 3)将Encoder输出的编码信息矩阵C传递到Decoder中， Decoder依次会根据当前翻 译过的单词1i翻译下一个单词i+1。 0032 S103、 将所述第一输出向量输入至预设Seq2Seq模型进行处理， 以得到所述待处理 文本所对应的第二输出向量。 0033 具体地， 将通过预设Transformer模型得到的所述待处理文本所对应的第一输出 向量输入至预设Seq2Seq模型进行处理， 以得到所述待处理文本所对应的第二输出向量。 0034 其中， Seq2Seq模型是输出的长度不确定时采用的模型， Seq2Seq属于En。

25、coder- Decoder结构的一种， 是利用两个RNN， 一个RNN作为Encoder， 另一个RNN作为Decoder。 Encoder负责将输入序列压缩成指定长度的向量， 这个向量就可以看成是这个序列的语义， 这个过程称为编码， 获取语义向量最简单的方式就是直接将最后一个输入的隐状态作为语 义向量， 也可以对最后一个隐含状态做一个变换得到语义向量， 还可以将输入序列的所有 隐含状态做一个变换得到语义变量。 Decoder则负责根据语义向量生成指定的序列， 这个过 程也称为解码， 最简单的方式是将Encoder得到的语义变量作为初始状态输入到Decoder的 RNN中， 得到输出序列。 。

26、0035 在本申请实施例生成文本摘要的过程中， 使用Transformer编码器作为对输入语 句的第一次编码处理， 以得到所述待处理文本所对应的第一输出向量， 将所述第一输出向 量输入至预设Seq2Seq模型进行第二次编码处理， 以得到所述待处理文本所对应的第二输 出向量。 预设Seq2Seq模型可以采用一个单层的单向的GRU-RNN， 它的输入是Transformer的 输出即第一输出向量。 0036 由GRU-RNN产生的固定的向量表示作为解码器的初始状态， 在每一个时间步， 解码 器收到之前产生的词汇yt-1和隐状态st-1， 在每个时间步输出的yt是经过Softmax分类器得 到的概率。

27、。 0037 本申请实施例中， 针对要生成连贯的、 从语法上讲正确的句子， 需要去学习长期的 依赖， 由于Transformer使用多头注意力机制弥补了Seq2Seq的缺陷， 通过Transformer和 Seq2Seq模型能够充分的互补， 以充分发挥两种模型的各自功能， 在功能互补方面效果显 著， 使得到的向量含义更为丰富， 对文本数据进行充分的利用而进行合理的信息抽取， 充分 表征了待处理文本中的句子上下文的信息， 从而实现更丰富的编码向量表示， 使抽取的摘 要内容连贯、 句意通顺， 提升了生成文本摘要的准确性。 0038 S104、 基于所述第二输出向量生成所述待处理文本所对应的文本摘要。

28、。 0039 具体地， 通过预设Seq2Seq模型进行处理得到所述待处理文本所对应的第二输出 向量， 在所述第二输出向量的基础上， 生成所述待处理文本所对应的文本摘要， 可以再通过 对所述第二输出向量进行多分类， 以得到所述第二输出向量的分布概率， 获取分布概率最 高的第二输出向量作为目标向量， 将目标向量所对应的句子作为摘要， 从而实现针对待处 理文本进行抽取， 以生成内容连贯、 句意通顺的文本摘要， 例如， 对于给定的中文文本， 本申 请实施例可以对待处理中文文本进行处理， 进而生成待处理中文文本所对应的文本摘要， 能够提高生成中文文本所对应的文本摘要的准确性。 0040 在本申请实施例中。

29、， 由于使用了Transformer和Seq2Seq分别为抽取模型和摘要模 说明书 4/11 页 7 CN 112052329 A 7 型， 以基于混合二次编码再解码， 对初始文本先用Transformer模型进行编码， 然后对 Transformer的输出所对应的第一输出向量， 经过Seq2Seq模型进行二次编码， 以得到所述 待处理文本所对应的第二输出向量， 基于所述第二输出向量生成所述待处理文本所对应的 文本摘要， 由于要生成连贯的、 从语法上讲正确的句子， 需要去学习长期的依赖， 而 Transformer使用多头注意力机制弥补了Seq2Seq的缺陷， 实践表明Transformer和。

30、Seq2Seq 模型能够充分的互补， 从而实现更丰富的编码向量表示， 能够实现对文本进行抽取， 生成内 容连贯、 句意通顺的文本摘要， 提升了生成文本摘要的准确性。 0041 请参阅图3， 图3为本申请实施例提供的文本摘要生成方法的一个子流程示意图。 如图3所示， 在该实施例中， 所述基于所述第二输出向量生成所述待处理文本所对应的文本 摘要的步骤包括： 0042 S301、 将所述第二输出向量进行多分类， 以得到所述第二输出向量所对应的分布 概率； 0043 S302、 判断所述分布概率是否大于或者等于预设概率阈值； 0044 S303、 若所述分布概率小于所述预设概率阈值， 不将所述分布概率。

31、所对应的第二 输出向量作为目标向量； 0045 S304、 若所述分布概率大于或者等于所述预设概率阈值， 将所述分布概率所对应 的第二输出向量作为目标向量； 0046 S305、 获取所述目标向量所对应的目标句子； 0047 S306、 将所述目标句子进行组合， 以生成所述待处理文本所对应的文本摘要。 0048 进一步地， 所述将所述第二输出向量进行多分类， 以得到所述第二输出向量所对 应的分布概率的步骤包括： 0049 将所述第二输出向量输入至基于Sotfmax函数的预设分类器； 0050 根据所述Sotfmax函数对所述第二输出向量进行多分类， 以得到所述第二输出向 量所对应的分布概率。 。

32、0051 具体地， 基于Transformer和Seq2Seq分别为抽取模型和摘要模型对初始文本进行 处理， 以得到第二输出向量后， 将所述第二输出向量进行多分类， 可以使用Sotfmax函数进 行多分类， 由于Softmax是用于分类过程， 用来实现多分类的， 它把一些输入的向量映射到 (0-1)之间的实数， 并且归一化保证和为1， 从而使得多分类的概率之和也刚好为1， 其中， Softmax可以分为soft和max， max也就是最大值， 假设有两个变量a， b。 如果ab， 则max为a， 反之为b。 那么在分类问题里面， 如果只有max， 输出的分类结果只有a或者b， 是个非黑即白 的。

33、结果， 但是在实践中， 希望输出的是取到某个分类的概率， 或者说， 希望分值大的那一项 被经常取到， 而分值较小的那一项也有一定的概率偶尔被取到， 所以应用到了soft的概念， 即最后的输出是每个分类被取到的概率， 从而在将所述第二输出向量通过基于Sotfmax函 数的预设分类器进行多分类， 根据所述Sotfmax函数对所述第二输出向量进行多分类， 以得 到所述第二输出向量所对应的分布概率后， 判断所述分布概率是否大于或者等于预设概率 阈值， 若所述分布概率大于或者等于所述预设概率阈值， 将所述分布概率所对应的第二输 出向量作为目标向量， 获取所述目标向量所对应的目标句子， 将所述目标句子进行。

34、组合， 以 生成所述待处理文本所对应的文本摘要。 0052 在本申请实施例中， 针对生成文本摘要的抽取模型中， 最后一层采用Softmax做的 说明书 5/11 页 8 CN 112052329 A 8 多分类， 从而可以使抽取模型可以学到包含在句子中的摘要的概率分布。 0053 进一步地， 在本申请实施例中， 还使用一种F1方法创建提取标签， 请参阅图2中每 个句子向量所对应的1和0标签， 用标签1描述生成文本摘要所采取的句子， 用标签0描述从 摘要中排除该句子， 假设每个相关的摘要来源于至少一个待处理文本中的句子， 目标是识 别最相似的文本句子， 句子级相似度得分是基于句子的二元重叠。 此。

35、外， 每当二元重叠集合 中的两个单词都是停用词时， 将相似度得分减去1， 从而能够捕捉更重要的相似点。 0054 因为生成的文本摘要是待处理文本中的一个片段， 所以大多数标签都是0(从摘要 中排除)。 因此， 较高的分类精度并不一定转化为高度突出的摘要。 因此， 本文考虑F1得分， 它是精度和回忆的加权平均值， 并在最小化损失时应用一个早期停止标准， 如果F1得分在 一定数量的训练期后没有增加。 此外， 在训练中， 可以综合平衡标签， 通过强迫一些随机的 句子被标记为1， 然后掩盖它们的权重。 其中， F1分数， 英文为F1 Score， 是用来衡量二分类 模型精确度的一种指标， 它同时兼顾了。

36、分类模型的精确率和召回率， F1分数可以看作是模 型精确率和召回率的一种调和平均， 它的最大值是1， 最小值是0。 0055 在一实施例中， 所述获取待处理文本， 并基于所述待处理文本获取所述待处理文 本所对应的文本向量的步骤包括： 0056 获取待处理文本， 并将所述待处理文本进行分词， 以得到所述待处理文本所包括 的词语； 0057 对所述词语进行词嵌入以得到所述词语所对应的词向量； 0058 将所述待处理文本根据所述待处理文本中所包含的标点符号进行切割， 以得到所 述待处理文本中所包含的句子； 0059 基于所述词向量， 将所述句子进行句子嵌入以得到所述句子所对应的句子向量； 0060 。

37、将所有所述句子向量进行组合以得到所述待处理文本所对应的文本向量。 0061 进一步地， 所述基于所述词向量， 将所述句子进行句子嵌入以得到所述句子所对 应的句子向量的步骤包括： 0062 获取所述句子中所包含的词语； 0063 根据所述词向量及所述句子中所包含的词语， 得到所述句子所对应的句子向量。 0064 具体地， 获取要生成文本摘要的待处理文本后， 先对待处理文本进行分词， 以得到 所述待处理文本所包括的词语。 其中， 分词， 又称为中文分词， 中文分词根据基于词典分词 算法进行， 也可以基于统计的机器学习算法， 例如常用算法包括HMM、 CRF、 SVM及深度学习等 算法， 其中， S。

38、tanford及、 Hanlp分词工具是基于CRF算法。 0065 得到所述待处理文本所包括的词语后， 对所述词语进行词嵌入以得到所述词语所 对应的词向量， 由于词嵌入是将词语映射到数值向量来描述该词语的方式， 因此， 可以得到 词语所对应的词向量。 由于待处理文本中一般通过标点符号进行断句， 也可以将标点符号 作为对句子的划分， 因此， 可以利用标点符号对待处理文本进行切割， 以识别出所述待处理 文本中所包含的句子， 从而得到所述待处理文本中包含的句子。 得到句子后， 由于句子由词 语组成， 利用已进行对句子进行的分词， 即可确定句子由哪些词语组成， 获得组成句子的词 语后， 由于已经得到词。

39、语所对应的词向量， 基于所述词向量， 将所述句子进行句子嵌入， 即 可得到所述句子所对应的句子向量， 例如图3中的S1、 S2、 S3Sn， 由S1、 S2、 S3Sn组成的句 子向量集合， 即为所述待处理文本所对应的文本向量。 说明书 6/11 页 9 CN 112052329 A 9 0066 在一实施例中， 所述根据所述词向量及所述句子中所包含的词语， 得到所述句子 所对应的句子向量的步骤包括： 0067 获取所述句子中所包含的词语所对应的词向量； 0068 将所有所述句子中所包含的词语所对应的词向量进行相加并取平均， 以得到所述 句子所对应的句子向量。 0069 具体地， 获取所述句子。

40、中所包含的词语所对应的词向量， 将所有所述句子中所包 含的词语所对应的词向量进行相加并取平均， 以得到所述句子所对应的句子向量。 其中， Transformer的输入是待处理文本的表示， 待处理文本的表示是由一些列句子表示组合而 成， 而每个句子的表示是通过对其组成词的向量进行平均得到的， 将文本中包含的所有句 子各自所对应的向量组合， 即得到文本向量。 0070 在一实施例中， 所述基于所述词向量， 将所述句子进行句子嵌入以得到所述句子 所对应的句子向量的步骤包括： 0071 判断所述句子中是否包含预设词语； 0072 若所述句子中未包含预设词语， 将所述句子作为目标句子； 0073 基于所。

41、述词向量， 将所述目标句子进行句子嵌入以得到所述目标句子所对应的句 子向量。 0074 具体地， 可以预先设置一个词库， 该词库中的词语对辨识文本的主题没有关联性， 例如该词库的词语为通用性词语， 例如 “上述” 、“可以” 及 “参阅” 等词语， 可以根据具体领域 不同文本的属性进行设置。 在对文本进行切割以获得句子后， 判断所述句子中是否包含预 设词语， 若包含预设词语， 默认该句子对生成文本摘要的影响较小， 若句子中未包含预设词 语， 默认该句子对生成文本摘要存在较大影响， 从而将该句子作为目标句子， 后续基于所述 词向量， 将所述目标句子进行句子嵌入以得到所述目标句子所对应的句子向量，。

42、 从而仅对 目标句子进行抽取处理， 在目标句子的基础上生成文本摘要， 从而通过对文本所包含句子 进行预筛选， 缩小了生成文本摘要的句子的选取范围， 较少了数据处理量， 能够提高生成文 本摘要的效率， 同时， 由于针对目标句子生成文本摘要， 也提高了文本摘要生成的准确性。 0075 需要说明的是， 上述各个实施例所述的文本摘要生成方法， 可以根据需要将不同 实施例中包含的技术特征重新进行组合， 以获取组合后的实施方案， 但都在本申请要求的 保护范围之内。 0076 请参阅图4， 图4为本申请实施例提供的文本摘要生成装置的一个示意性框图。 对 应于上述所述待处理文本摘要生成方法， 本申请实施例还提。

43、供一种文本摘要生成装置。 如 图4所示， 该文本摘要生成装置包括用于执行上述所述待处理文本摘要生成方法的单元， 该 文本摘要生成装置可以被配置于计算机设备中。 具体地， 请参阅图4， 该文本摘要生成装置 400包括获取单元401、 第一输入单元402、 第二输入单元403及生成单元404。 0077 其中， 获取单元401， 用于获取待处理文本， 并基于所述待处理文本获取所述待处 理文本所对应的文本向量； 0078 第一输入单元402， 用于将所述待处理文本向量输入至预设Transformer模型进行 处理， 以得到所述待处理文本所对应的第一输出向量； 0079 第二输入单元403， 用于将所。

44、述第一输出向量输入至预设Seq2Seq模型进行处理， 以得到所述待处理文本所对应的第二输出向量； 说明书 7/11 页 10 CN 112052329 A 10 0080 生成单元404， 用于根据所述第二输出向量生成所述待处理文本所对应的文本摘 要。 0081 在一实施例中， 所述生成单元404包括： 0082 分类子单元， 用于将所述第二输出向量进行多分类， 以得到所述第二输出向量所 对应的分布概率； 0083 第一判断子单元， 用于判断所述分布概率是否大于或者等于预设概率阈值； 0084 筛选子单元， 用于若所述分布概率大于或者等于所述预设概率阈值， 将所述分布 概率所对应的第二输出向量。

45、作为目标向量； 0085 第一获取子单元， 用于获取所述目标向量所对应的目标句子； 0086 生成子单元， 用于将所述目标句子进行组合， 以得到所述待处理文本所对应的文 本摘要。 0087 在一实施例中， 所述分类子单元包括： 0088 输入子单元， 用于将所述第二输出向量输入至基于Sotfmax函数的预设分类器； 0089 第二获取子单元， 用于根据所述Sotfmax函数对所述第二输出向量进行多分类， 以 得到所述第二输出向量所对应的分布概率。 0090 在一实施例中， 所述获取单元401包括： 0091 第三获取子单元， 用于获取待处理文本， 并将所述待处理文本进行分词， 以得到所 述待处。

46、理文本所包括的词语； 0092 词嵌入子单元， 用于对所述词语进行词嵌入以得到所述词语所对应的词向量； 0093 切割子单元， 用于将所述待处理文本根据所述待处理文本中所包含的标点符号进 行切割， 以得到所述待处理文本中所包含的句子； 0094 第一句子嵌入子单元， 用于基于所述词向量， 将所述句子进行句子嵌入以得到所 述句子所对应的句子向量； 0095 组合子单元， 用于将所有所述句子向量进行组合以得到所述待处理文本所对应的 文本向量。 0096 在一实施例中， 所述第一句子嵌入子单元包括： 0097 第四获取子单元， 用于获取所述句子中所包含的词语； 0098 第五获取子单元， 用于根据所。

47、述词向量及所述句子中所包含的词语， 得到所述句 子所对应的句子向量。 0099 在一实施例中， 所述第五获取子单元包括： 0100 第六获取子单元， 用于获取所述句子中所包含的词语所对应的词向量； 0101 均值子单元， 用于将所有所述句子中所包含的词语所对应的词向量进行相加并取 平均， 以得到所述句子所对应的句子向量。 0102 在一实施例中， 所述第一句子嵌入子单元包括： 0103 第二判断子单元， 用于判断所述句子中是否包含预设词语； 0104 第七获取子单元， 用于若所述句子中未包含预设词语， 将所述句子作为目标句子； 0105 第二句子嵌入子单元， 用于基于所述词向量， 将所述目标句。

48、子进行句子嵌入以得 到所述目标句子所对应的句子向量。 0106 需要说明的是， 所属领域的技术人员可以清楚地了解到， 上述文本摘要生成装置 说明书 8/11 页 11 CN 112052329 A 11 和各单元的具体实现过程， 可以参考前述方法实施例中的相应描述， 为了描述的方便和简 洁， 在此不再赘述。 0107 同时， 上述文本摘要生成装置中各个单元的划分和连接方式仅用于举例说明， 在 其他实施例中， 可将文本摘要生成装置按照需要划分为不同的单元， 也可将文本摘要生成 装置中各单元采取不同的连接顺序和方式， 以完成上述文本摘要生成装置的全部或部分功 能。 0108 上述文本摘要生成装置可。

49、以实现为一种计算机程序的形式， 该计算机程序可以在 如图5所示的计算机设备上运行。 0109 请参阅图5， 图5是本申请实施例提供的一种计算机设备的示意性框图。 该计算机 设备500可以是台式机电脑或者服务器等计算机设备， 也可以是其他设备中的组件或者部 件。 0110 参阅图5， 该计算机设备500包括通过系统总线501连接的处理器502、 存储器和网 络接口505， 其中， 存储器可以包括存储介质503和内存储器504。 所述存储介质503可以是非 易失性的， 也可以是易失性的。 0111 该存储介质503可存储操作系统5031和计算机程序5032。 该计算机程序5032被执 行时， 可使。

50、得处理器502执行一种上述文本摘要生成方法。 0112 该处理器502用于提供计算和控制能力， 以支撑整个计算机设备500的运行。 0113 该内存储器504为存储介质503中的计算机程序5032的运行提供环境， 该计算机程 序5032被处理器502执行时， 可使得处理器502执行一种上述文本摘要生成方法。 0114 该网络接口505用于与其它设备进行网络通信。 本领域技术人员可以理解， 图5中 示出的结构， 仅仅是与本申请方案相关的部分结构的框图， 并不构成对本申请方案所应用 于其上的计算机设备500的限定， 具体的计算机设备500可以包括比图中所示更多或更少的 部件， 或者组合某些部件， 。