语音识别的方法及其装置.pdf

《语音识别的方法及其装置.pdf》由会员分享，可在线阅读，更多相关《语音识别的方法及其装置.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910132335.1 (22)申请日 2019.02.22 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区浙大路 38号 (72)发明人 赵洲李林琳陈漠沙仇伟 徐光伟孟令涛 (74)专利代理机构 北京林达刘知识产权代理事 务所(普通合伙) 11277 代理人 刘新宇 (51)Int.Cl. G10L 15/19(2013.01) G10L 15/16(2006.01) G10L 15/06(2013.01) G10L 15/08(2006.01) (54。

2、)发明名称 一种语音识别的方法及其装置 (57)摘要 本申请公开了一种语音识别的方法及其装 置， 所述方法包括利用编码器获取与输入的语音 数据对应的概率分布向量序列； 将所述概率分布 向量序列输入到语言模型组件， 获取语音识别信 息， 其中， 所述语言模型组件至少包括基于前缀 束搜索的CTC模型组件。 利用本申请， 可提高语音 识别的准确性。 权利要求书2页 说明书8页 附图3页 CN 111613215 A 2020.09.01 CN 111613215 A 1.一种语音识别的方法， 其特征在于， 包括： 利用编码器获取与输入的语音数据对应的概率分布向量序列； 将所述概率分布向量序列输入到语。

3、言模型组件， 获取语音识别信息， 其中， 所述语言模 型组件至少包括基于前缀束搜索的CTC模型组件。 2.如权利要求1所述的方法， 其特征在于， 所述编码器包括CNN模型组件和GRU模型组 件。 3.如权利要求2所述的方法， 其特征在于， 获取语音识别信息包括： 在利用基于前缀束搜索的CTC模型组件获取与所述语音数据对应的多个语音识别序列 的情况下， 从所述多个语音识别信息中获取语音识别信息， 其中， 所述CTC模型是已训练过 的模型。 4.如权利要求1所述的方法， 其特征在于， 所述语言模型组件还包括基于字符的语言模 型。 5.如权利要求4所述的方法， 其特征在于， 获取语音识别信息包括： 。

4、获取由多个语音识别字符构成每个语音识别序列的字符概率； 利用所述概率生成对应的语音识别序列的分数； 利用语音识别序列与对应的分数生成语音识别序列集合； 从语音识别序列集合中将分数最高的语音识别序列作为语音识别信息。 6.如权利要求5所述的方法， 其特征在于， 所述语言模型组件还包括基于分词的语言模 型。 7.如权利要求6所述的方法， 其特征在于， 利用语音识别序列与对应的分数生成语音识 别序列集合后包括： 针对语音识别序列集合中的每个语音识别序列： 获取由不同分词构成所述语音识别序列的分词概率； 利用所述分词概率以及对应的语音识别序列的分数确定所述语音识别序列的向下文 分数； 从语音识别序列集。

5、合中将上下文分数最高的语音识别序列作为语音识别信息。 8.如权利要求7所述的方法， 其特征在于， 所述语言模型组件还包括基于分类的语言模 型。 9.如权利要求8所述的方法， 其特征在于， 利用语音识别序列与对应的分数生成语音识 别序列集合后包括： 确定构成语音识别序列集合中的所有分词； 将所有分词划分为多个分组； 针对语音识别序列集合中的每个语音识别序列， 确定构成所述语音识别序列的分词所 在的分组的概率； 利用所述概率确定所述语音识别序列的语法分数； 从语音识别序列集合中将语法分数最高的语音识别序列作为语音识别信息。 10.如权利要求9所述的方法， 其特征在于， 将所有分词划分为多个分组包括。

6、： 利用K均值聚类及循环神经网络对所有分词进行划分， 将所有分词划分为多个分组。 11.如权利要求10所述的方法， 其特征在于， 还包括： 权利要求书 1/2 页 2 CN 111613215 A 2 利用每个语音识别序列的上下文分数和语法分数确定每个语音识别序列的语音识别 分数； 从语音识别序列集合中将语音识别分数最高的语音识别序列作为语音识别信息。 12.如权利要求1所述的方法， 其特征在于， 所述语言模型组件是利用各种语音会话与 中文文本之间的对应关系进行训练而获取的模型。 13.如权利要求1所述的方法， 其特征在于， 所述语言模型组件包括基于前缀束搜索的 CTC模型组件、 基于分词的语。

7、言模型以及基于分类的语言模型。 14.一种语音识别装置， 其特征在于， 包括： 处理器； 以及 被安排成存储计算机可执行指令的存储器， 所述可执行指令在被执行时使所述处理器 执行权利要求1至13中的任一权利要求所述的方法。 权利要求书 2/2 页 3 CN 111613215 A 3 一种语音识别的方法及其装置 技术领域 0001 本申请涉及计算机技术领域， 尤其涉及一种语音识别的方法及其装置。 背景技术 0002 语音识别也被称为自动语音识别(Automatic Speech Recognition， ASR)， 是指可 通过识别和理解， 将输入的语音信号转变为相应的文字或命令输出。 随着信。

8、息化社会的发 展以及信息技术的进步， 语音识别技术经历了从稚嫩到成熟的发展过程。 0003 对于传统的语音识别， 通常会分为3个部分： 语音模型、 词典、 语言模型。 语音模型 和语言模型都是分开进行训练的， 因此这两个模型优化的损失函数是不相同的。 为此提出 了端到端的语音识别， 模型的输入就为语音特征(输入端)， 而输出为识别出的语音文本(输 出端)， 整个模型为神经网络的模型。 但现如今， 端对端的语音识别的准确度还需要提高， 因 为需要一种准确度更高的端对端的语音识别方法。 发明内容 0004 本申请实施例提供一种语音识别的方法及其装置， 旨在解决以上提到的准确度不 高的技术问题。 0。

9、005 本申请实施例提供一种利用编码器获取与输入的语音数据对应的概率分布向量 序列； 将所述概率分布向量序列输入到语言模型组件， 获取语音识别信息， 其中， 所述语言 模型组件至少包括基于前缀束搜索的CTC模型组件。 0006 本申请实施例还提供一种语音识别装置， 所述装置包括： 处理器； 以及被安排成存 储计算机可执行指令的存储器， 所述可执行指令在被执行时使所述处理器执行上述方法。 0007 本申请实施例采用的上述至少一个技术方案能够达到以下有益效果： 0008 根据本申请的示例性实施例的语音识别方法可利用基于前缀束搜索的CTC模型对 获取的概率分布向量序列进行解码， 从而获取语音识别信息。

10、。 附图说明 0009 此处所说明的附图用来提供对本申请的进一步理解， 构成本申请的一部分， 本申 请的示意性实施例及其说明用于解释本申请， 并不构成对本申请的不当限定。 在附图中： 0010 图1是根据本申请的示例性实施例的语音识别方法的场景图； 0011 图2是根据本申请的示例性实施例的语音识别方法的框架图； 0012 图3是根据本申请的示例性实施例的语音识别方法的流程图； 0013 图4是根据本申请的示例性实施例的语音识别方法的示图； 0014 图5是根据本申请的示例性实施例的语音识别装置的框图。 具体实施方式 0015 为使本申请的目的、 技术方案和优点更加清楚， 下面将结合本申请具体。

11、实施例及 说明书 1/8 页 4 CN 111613215 A 4 相应的附图对本申请技术方案进行清楚、 完整地描述。 显然， 所描述的实施例仅是本申请一 部分实施例， 而不是全部的实施例。 基于本申请中的实施例， 本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例， 都属于本申请保护的范围。 0016 以下结合附图， 详细说明本申请各实施例提供的技术方案。 0017 图1是根据本申请的示例性实施例的语音识别方法的场景图。 0018 如图1所述， 用户根据自身情况发出语音， 随后， 该语音可被电子终端100接收到， 例如， 用户可利用移动终端的麦克风向移动终端输入语音信息， 。

12、随后， 移动终端可将接收到 的语音信息进行处理。 0019 电子终端100可在接收到语音信息后， 利用自身的软/硬件对所述语音信息进行处 理， 但应注意， 由于处理的计算量很大， 因此， 通常可将该语音信息发送到与电子终端对应 的服务器200执行根据本申请的示例性实施例的语音识别方法， 虽然图1中仅示出了一个服 务器， 但应理解， 可利用多个服务器来执行所述方法。 0020 在关于位置的场景下， 用户可利用电子终端100发出关于位置的问话(例如， 图书 馆在哪里)， 随后电子终端100可将收集的语音数据发送到服务器200， 服务器200可利用本 申请的示例性实施例的语音识别方法对所述问话进行 。

13、“翻译” ， 将其 “翻译成” 文本数据， 随 后， 服务器200可根据所述文本数据进行处理， 确定与该问话对应的答复， 并将该答复回复 给用户。 0021 为了更清楚地描述本申请， 以下将结合图2具体描述关于端对端的语音识别方法 的框架图。 0022 如图2所示， 端对端的语音识别方法是一个先编码后解码的过程。 具体来说， 在获 取到语音数据后， 可利用编码器执行特征提取， 也就是说， 利用原始的语音数据得到语音向 量(也可称作特征向量)， 随后可利用后续的解码器， 将所述特征向量编码为文本数据。 0023 在编码端， 为了提取出语音数据中的特征向量， 如何描述语音数据很重要， 在语音 识别。

14、领域， 通常利用声谱图来描述语音数据， 声谱图(Sonogram)是指将整个音频范围用不 同颜色记录的资料。 在声谱图中， 横轴表示时间， 而纵轴表示该时间的频率分量。 由于声谱 图中包括大量的信息， 因此可作为输入信息直接进行处理， 而无需将其转换为二维数据(例 如， 向量)。 可采用各种方法(例如， 隐马尔可夫模型(HMM)等)对声谱图进行特征提取。 当然 也可采用本申请中的神经网络模型来提取特征， 应注意， 在本申请中， 可利用已训练好的神 经网络模型来执行特征提取， 也可将输入端与输出端中间的过程作为统一的整体进行训 练。 0024 在解码端， 可利用各种语言模型对特征向量进行 “翻译。

15、” 。 为了克服必须在训练语 音数据之前将训练数据中的每一帧语音与每一个音素对齐的弊端， 提出了一种基于神经网 络的时序类分类(Connectionist temporal classification， CTC)的方法， CTC引入了空白 帧(该帧没有预测值)， 每个预测的分类对应的一整段语音中的一个尖峰帧(spike)， 其他不 是尖峰的位置认为是空白。 对于一段语音， CTC最后的输出是尖峰的序列， 并不关心每一个 音素持续了多长时间。 也就是说， 在对特征向量进行解码时， 可输出整个语音序列， CTC的训 练流程和传统的神经网络类似， 构建损失函数(loss function)， 然后。

16、根据反向传播(BP)算 法进行训练， 不同之处在于传统的神经网络的训练准则是针对每帧数据， 即每帧数据的训 练误差最小， 而CTC的训练准则是基于序列(比如语音识别的一整句话)。 说明书 2/8 页 5 CN 111613215 A 5 0025 以下将结合图3具体描述根据本申请的示例性实施例的语音识别方法的流程图。 0026 在步骤S310， 利用编码器获取与输入的语音数据对应的概率分布向量序列， 其中， 所述输入的语音数据可以是用户输入的包括中文在内的各种语种的语音数据。 在实施过程 中， 所述编码器可以是神经网络模型构成的组件。 具体来说， 可将输入的语音数据转换为对 应的声谱图， 随后。

17、可将声谱图经过编码器处理后获取与所述语音数据对应的概率分布向量 序列Pp1,p2,.,pt(也就是特征向量)， 其中t代表该语音数据中包括的帧数， pi代表该 语音样本第i帧的概率分布向量。 0027 所述编码器可以是神经网络组件， 可在执行处理之前进行训练， 也就是说， 可利用 各声谱图与对应的语音标签(例如， 字/字符)的对应关系进行训练， 使编码器的参数达到设 定的条件， 例如， 使得语音模型的准确率达到80以上。 在实施中， 所述编码器可包括卷积 神经网络(CNN)以及门控循环单元(GRU)， 其中， 所述GRU优选为Bi-GRU， 并且CNN以及GRU均 是本领域技术人员熟知的神经网。

18、络模型， 在此将不再详述。 在所述编码器包括CNN组件以及 GRU组件的情况下， 将输入的语音数据依次经过CNN模型组件和GRU模型组进行处理， 输出包 括多个针对字典的概率分布向量序列。 0028 随后， 可在解码端执行步骤S320， 将所述概率分布向量序列输入Pp1,p2,., pt到语言模型组件， 获取语音识别信息， 其中， 所述语言模型组件至少包括已训练的基于 前缀束搜索的CTC模型组件。 0029 具体来说， 利用已训练的基于前缀束搜索的CTC模型组件， 获取多个语音识别序列 a1,a2am， 其中， m是前缀束搜索的波束大小， ai包括多个语音识别字符可根 据公式1获取由所述多个语。

19、音识别字符构成每个语音识别序列的字符概率 0030 0031其中， log()表示取对数操作，表示语音识别序列ai由语音识别字 符构成的概率。 0032随后， 可利用所述概率按照如下公式2生成对应的语音识别序列 的分数s1,i： 0033 0034 其中， log()表示取对数操作， p(ai|x)表示对于语音数据x， 语音识别序列为ai的 概率，表示ai中的字符数量， 而 、 表示提前定义好的两个参数。 0035 利用语音识别序列ai与对应的分数s1,i生成语音识别序列集合S1(a1,s1,1) , (a2,s1,2),.,(am,s1,m)。 也就是说， 根据以上步骤可将在步骤S310中获。

20、取的概率分布向量 序列转换为与所述语音数据对应的多个可能的语音识别序列(语音识别文本)， 随后， 可从 这些可能的语音识别序列中选择最合适的语音识别序列。 具体来说， 从语音识别序列集合 S1(a1,s1,1),(a2,s1,2),.,(am,s1,m)中将分数最高的语音识别序列作为语音识别信 说明书 3/8 页 6 CN 111613215 A 6 息。 0036 此外， 所述语言模型组件还包括基于分词的语言模型。 也就是说， 在获取语音识别 序列集合S1(a1,s1,1),(a2,s1,2),.,(am,s1,m)后， 还可利用基于语言模型对该序列进 行处理 ， 具体来说 ， 针对每个语音。

21、识别序列ai， 利用以下公式3获取由不同分词 构成语音识别序列ai的分词概率 0037 0038其中， log( )表示取对数操作，表示语音识别序列ai由分词 组成的概率。 0039随后， 利用所述分词概率以及对应的语音识别序列的分数s1,i按 照公式4确定所述语音识别序列的向下文分数contexti： 0040 0041 其中， 、 、 为提前定义好的三个参数， norm()代表正则化计算， wi,j表示语音识 别序列ai的第j个分词，表示语音识别序列ai的分词个数。 最后， 从语音识别序列集合S1 (a1,s1,1),(a2,s1,2),.,(am,s1,m)中将上下文分数最高的语音识别序。

22、列作为语音识别 信息。 0042 此外， 所述语言模型组件还包括基于分类的语言模型。 也就是说， 在获取语音识别 序列集合S1(a1,s1,1),(a2,s1,2),.,(am,s1,m)后， 确定构成语音识别序列集合中的所 有分词w1,w2,.,wo； 将所有分词划分为多个分组group(w1) ,group(w2) ,.,group (wo)， 在实施例中， 利用K均值聚类及循环神经网络对所有分词进行划分， 将所有分词划分 为多个分组。 针对语音识别序列集合中的每个语音识别序列， 按照以下公式5确定构成所述 语音识别序列的分词所在的分组的概率 0043 0044其中， log()表示取对数。

23、操作，表示语音识别序列 ai的组成分词分别属于组的概率。 0045利用所述概率按照以下公式6确定所述语音识别 序列ai的语法分数grammari： 0046 0047 其中， 表示提前定义好的三个参数， norm()表示正则化计算， wi,j表示语音识别序 列ai的第j个分词，表示语音识别序列ai的分词个数。 0048 最后， 从语音识别序列集合中将语法分数最高的语音识别序列作为语音识别信 息。 说明书 4/8 页 7 CN 111613215 A 7 0049 此外， 在实施例中， 还可利用上下文分数以及语法分数两者来确定语音识别信息， 也就是说， 在所述语言模型组件包括已训练的基于前缀束搜。

24、索的CTC模型组件、 基于分词的 语言模型以及基于分类的语言模型的情况下， 按照以下公式7利用每个语音识别序列的上 下文分数和语法分数确定每个语音识别序列的语音识别分数： 0050 sicontexti+grammari 公式7 0051 其中， contexti和grammari表示语音识别序列ai的上下文分数和语法分数， Si表示 ai的语音识别分数， 最后， 从语音识别序列集合S1(a1,s1,1),(a2,s1,2),.,(am,s1,m)中 将语音识别分数最高的语音识别序列作为语音识别信息。 0052 在实施中， 可利用各种语音会话与中文文本之间的对应关系进行训练而获取的模 型， 举。

25、例来说， 可准备包括很多基于位置的对话语音以及对应的文本数据作为训练集对以 上提到的语言模型进行训练， 根据语言模型输出的训练文本数据与文本数据的差别， 对语 言模型中的参数进行调整， 使其达到设定的要求， 比如， 准确度达到80。 0053 为了更清楚地描述本申请的示例性实施例， 以下将结合图4具体描述优选实施例。 0054 如图4所示， 可将获取的语音数据(x1， x2xt)输入到编码器， 在经过CNN组件已经 Bi-GRU组件后可输出概率分布向量(特征向量)序列到解码端， 在解码段， 可将解码过程分 为两部分， 在第一部分中， 可利用CTC模型以及基于字符的语言模型获取由多种可能的语音 。

26、序列构成的语音识别序列集合S1(a1,s1,1),(a2,s1,2),.,(am,s1,m)， 随后， 进入第二部 分， 利用基于分词的语言模型以及基于分类的语言模型共同确定针对每个可能的语音序列 的语音识别分数， 然后将语音识别分数最高的语音序列确定为语音识别信息。 0055 在本实施例中， 可根据本申请的示例性实施例的语音识别方法处理测试语音集来 评价所述方法。 例如， 可使用字符错误率(Character Error Rate， (CER)来对于本发明的 效果进行评价， 得到的CER为6.78， 因此可以看出， 所述方法降低了整体错误率(CER)。 0056 综上可述， 根据本申请的示例。

27、性实施例的语音识别方法可利用基于前缀束搜索的 CTC模型对获取的概率分布向量序列进行解码， 从而获取语音识别信息。 更进一步地， 可利 用包括CNN模型组件和GRU模型组件的编码器对所述语音数据进行编码， 从而能够获取更准 确的特征向量， 此外， 还可利用CTC模型组件获取多个语音识别序列的情况下， 利用基于字 符的语言模型从多个语音识别序列中获取语音识别信息， 从而能够有效解决同音不同字的 问题， 此外， 还可在此基础上利用基于分词的语言模型从多个语音识别序列中获取语音识 别信息， 这样可利用分词信息来辅助执行语言识别， 从而提高语言识别的准确度。 更进一步 地， 可利用基于上下文的语言模型。

28、从多个语音识别序列中获取语音识别信息， 这样可利用 上下文信息来辅助执行语言识别。 更进一步地， 可利用以上所有的语言模型耦合生成的多 语言模型从多个语音识别序列中获取语音识别信息， 从而能够实现更好地利用上下文和语 法信息， 解决同音不同字的语音识别问题并提高语音识别的准确性。 0057 为了更清楚地明白本申请的示例性实施例的发明构思， 以下将参照图5描述本申 请的示例性实施例的语音识别装置的框图。 本领域普通技术人员将理解： 图5中的装置仅示 出了与本示例性实施例相关的组件， 所述装置中还包括除了图5中示出的组件之外的通用 组件。 0058 图5示出本申请的示例性实施例的语音识别装置的框图。

29、。 参考图5， 在硬件层面， 该 装置包括处理器、 内部总线和计算机可读存储介质， 其中， 所述计算机可读存储介质包括易 说明书 5/8 页 8 CN 111613215 A 8 失性存储器和非易失性存储器。 处理器从非易失性存储器中读取对应的计算机程序然后运 行。 当然， 除了软件实现方式之外， 本申请并不排除其他实现方式， 比如逻辑器件抑或软硬 件结合的方式等等， 也就是说以下处理流程的执行主体并不限定于各个逻辑单元， 也可以 是硬件或逻辑器件。 0059 具体来说， 所述处理器执行以下操作： 利用编码器获取与输入的语音数据对应的 概率分布向量序列； 将所述概率分布向量序列输入到语言模型组。

30、件， 获取语音识别信息， 其 中， 所述语言模型组件至少包括基于前缀束搜索的CTC模型组件。 0060 可选地， 所述编码器包括CNN模型组件和GRU模型组件。 0061 可选地， 所述处理器实现步骤利用编码器获取与输入的语音数据对应的概率分布 向量序列包括： 将输入的语音数据依次经过CNN模型组件、 GRU模型组进行处理， 输出包括多 个针对字典的概率分布向量序列。 0062 可选地， 所述语言模型组件还包括基于字符的语言模型。 0063 可选地， 所述处理器在实现步骤获取语音识别信息包括： 获取由多个语音识别字 符构成每个语音识别序列的字符概率； 利用所述概率生成对应的语音识别序列的分数；。

31、 利 用语音识别序列与对应的分数生成语音识别序列集合； 从语音识别序列集合中将分数最高 的语音识别序列作为语音识别信息。 0064 可选地， 所述语言模型组件还包括基于分词的语言模型。 0065 可选地， 所述处理器在实现步骤利用语音识别序列与对应的分数生成语音识别序 列集合后包括： 针对语音识别序列集合中的每个语音识别序列： 获取由不同分词构成所述 语音识别序列的分词概率； 利用所述分词概率以及对应的语音识别序列的分数确定所述语 音识别序列的向下文分数； 从语音识别序列集合中将上下文分数最高的语音识别序列作为 语音识别信息。 0066 可选地， 所述语言模型组件还包括基于分类的语言模型。 0。

32、067 可选地， 所述处理器在实现步骤利用语音识别序列与对应的分数生成语音识别序 列集合后包括： 确定构成语音识别序列集合中的所有分词； 将所有分词划分为多个分组； 针 对语音识别序列集合中的每个语音识别序列， 确定构成所述语音识别序列的分词所在的分 组的概率； 利用所述概率确定所述语音识别序列的语法分数； 从语音识别序列集合中将语 法分数最高的语音识别序列作为语音识别信息。 0068 可选地， 将所有分词划分为多个分组包括： 利用K均值聚类及循环神经网络对所有 分词进行划分， 将所有分词划分为多个分组。 0069 可选地， 所述处理器还实现步骤： 利用每个语音识别序列的上下文分数和语法分 数。

33、确定每个语音识别序列的语音识别分数； 从语音识别序列集合中将语音识别分数最高的 语音识别序列作为语音识别信息。 0070 可选地， 所述语言模型组件是利用各种语音会话与中文文本之间的对应关系进行 训练而获取的模型。 0071 可选地， 所述语言模型组件包括已训练的基于前缀束搜索的CTC模型组件、 基于分 词的语言模型以及基于分类的语言模型。 0072 综上可述， 根据本申请的示例性实施例的语言识别装置可利用基于前缀束搜索的 CTC模型对获取的概率分布向量序列进行解码， 从而获取语音识别信息。 更进一步地， 可利 说明书 6/8 页 9 CN 111613215 A 9 用包括CNN模型组件和G。

34、RU模型组件的编码器对所述语音数据进行编码， 从而能够获取更准 确的特征向量， 此外， 还可利用CTC模型组件获取多个语音识别序列的情况下， 利用基于字 符的语言模型从多个语音识别序列中获取语音识别信息， 从而能够有效解决同音不同字的 问题， 此外， 还可在此基础上利用基于分词的语言模型从多个语音识别序列中获取语音识 别信息， 这样可利用分词信息来辅助执行语言识别， 从而提高语言识别的准确度。 更进一步 地， 可利用基于上下文的语言模型从多个语音识别序列中获取语音识别信息， 这样可利用 上下文信息来辅助执行语言识别。 更进一步地， 可利用以上所有的语言模型耦合生成的多 语言模型从多个语音识别序。

35、列中获取语音识别信息， 从而能够实现更好地利用上下文和语 法信息， 解决同音不同字的语音识别问题并提高语音识别的准确性。 0073 需要说明的是， 实施例1所提供方法的各步骤的执行主体均可以是同一设备， 或 者， 该方法也由不同设备作为执行主体。 比如， 步骤21和步骤22的执行主体可以为设备1， 步 骤23的执行主体可以为设备2； 又比如， 步骤21的执行主体可以为设备1， 步骤22和步骤23的 执行主体可以为设备2； 等等。 0074 本领域内的技术人员应明白， 本发明的实施例可提供为方法、 系统、 或计算机程序 产品。 因此， 本发明可采用完全硬件实施例、 完全软件实施例、 或结合软件和。

36、硬件方面的实 施例的形式。 而且， 本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、 CD-ROM、 光学存储器等)上实施的计算机程序产 品的形式。 0075 本发明是参照根据本发明实施例的方法、 设备(系统)、 和计算机程序产品的流程 图和/或方框图来描述的。 应理解可由计算机程序指令实现流程图和/或方框图中的每一流 程和/或方框、 以及流程图和/或方框图中的流程和/或方框的结合。 可提供这些计算机程序 指令到通用计算机、 专用计算机、 嵌入式处理机或其他可编程数据处理设备的处理器以产 生一个机器， 使得通过计算机或其他可编程数据处理设备的。

37、处理器执行的指令产生用于实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。 0076 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中， 使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品， 该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。 0077 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多。

38、个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。 0078 在一个典型的配置中， 计算设备包括一个或多个处理器(CPU)、 输入/输出接口、 网 络接口和内存。 0079 内存可能包括计算机可读介质中的非永久性存储器， 随机存取存储器(RAM)和/或 非易失性内存等形式， 如只读存储器(ROM)或闪存(flash RAM)。 内存是计算机可读介质的 示例。 0080 计算机可读介质包括永久性和非永久性、 可移动和非可移动媒体可以由任何方法 或技术来实现信息存储。 信息可以是计算机可读指令、 数据结构、 程序的模块或其他数据。 说明书 7/8 页 10 CN 111613215 A 1。

39、0 计算机的存储介质的例子包括， 但不限于相变内存(PRAM)、 静态随机存取存储器(SRAM)、 动 态随机存取存储器(DRAM)、 其他类型的随机存取存储器(RAM)、 只读存储器(ROM)、 电可擦除 可编程只读存储器(EEPROM)、 快闪记忆体或其他内存技术、 只读光盘只读存储器(CD-ROM)、 数字多功能光盘(DVD)或其他光学存储、 磁盒式磁带， 磁带磁磁盘存储或其他磁性存储设备 或任何其他非传输介质， 可用于存储可以被计算设备访问的信息。 按照本文中的界定， 计算 机可读介质不包括暂存电脑可读媒体(transitory media)， 如调制的数据信号和载波。 0081 还需。

40、要说明的是， 术语 “包括” 、“包含” 或者其任何其他变体意在涵盖非排他性的 包含， 从而使得包括一系列要素的过程、 方法、 商品或者设备不仅包括那些要素， 而且还包 括没有明确列出的其他要素， 或者是还包括为这种过程、 方法、 商品或者设备所固有的要 素。 在没有更多限制的情况下， 由语句 “包括一个” 限定的要素， 并不排除在包括所述要 素的过程、 方法、 商品或者设备中还存在另外的相同要素。 0082 本领域技术人员应明白， 本申请的实施例可提供为方法、 系统或计算机程序产品。 因此， 本申请可采用完全硬件实施例、 完全软件实施例或结合软件和硬件方面的实施例的 形式。 而且， 本申请可。

41、采用在一个或多个其中包含有计算机可用程序代码的计算机可用存 储介质(包括但不限于磁盘存储器、 CD-ROM、 光学存储器等)上实施的计算机程序产品的形 式。 0083 以上所述仅为本申请的实施例而已， 并不用于限制本申请。 对于本领域技术人员 来说， 本申请可以有各种更改和变化。 凡在本申请的精神和原理之内所作的任何修改、 等同 替换、 改进等， 均应包含在本申请的权利要求范围之内。 说明书 8/8 页 11 CN 111613215 A 11 图1 图2 说明书附图 1/3 页 12 CN 111613215 A 12 图3 图4 说明书附图 2/3 页 13 CN 111613215 A 13 图5 说明书附图 3/3 页 14 CN 111613215 A 14 。