端到端语音识别方法、系统、装置及其存储介质.pdf

《端到端语音识别方法、系统、装置及其存储介质.pdf》由会员分享，可在线阅读，更多相关《端到端语音识别方法、系统、装置及其存储介质.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911057703.7 (22)申请日 2019.10.31 (71)申请人 南京励智心理大数据产业研究院有 限公司 地址 210032 江苏省南京市江北新区星火 路19号智汇商务花园9栋2楼216 (72)发明人 李浩然颜丙聪赵力张玲 (74)专利代理机构 南京华恒专利代理事务所 (普通合伙) 32335 代理人 郭晓敏 (51)Int.Cl. G10L 15/16(2006.01) G10L 15/06(2013.01) G10L 25/45(2013.01) G10L。

2、 25/30(2013.01) G10L 15/26(2006.01) G10L 15/02(2006.01) (54)发明名称 端到端语音识别方法、 系统、 装置及其存储 介质 (57)摘要 本申请公开了一种端到端语音识别方法、 系 统、 装置及其存储介质， 基于卷积神经网络和注 意力机制的端到端语音识别系统， 通过将注意力 机制融合卷积神经网络中， 并通过使用CTC损失 函数构建完整的语音识别网络模型， 实现深度学 习， 从原始语音数据中提取语音的语谱图作为 CNN的输入， 以提高语音的性能， 大大减少了人工 提取特征带来的信息损失， 具有良好的应用前 景。 权利要求书2页 说明书8页 附。

3、图3页 CN 110767218 A 2020.02.07 CN 110767218 A 1.一种端到端语音识别方法， 其特征在于： 包括： 采集语音数据， 将整段语音数据进行统一归一化处理后依据数据库标签进行切分； 对所切分的语音进行分帧加窗处理后利用快速傅里叶变换获取频谱； 引入注意力机制， 将注意力机制与卷积神经网络结合， 构建完整的语音识别网络模型； 训练语音识别网络模型， 将预测后的语音数据作为语音识别网络模型的输入， 训练学 习该语音识别网络模型的参数， 并通过词错误率进行测评后得到所需要的语音识别网络模 型进行识别。 2.根据权利要求1所述的端到端语音识别方法， 其特征在于， 所。

4、述将整段语音数据进行统一归一化处理后依据数据库标签进行切分包括： 将整段语音的范围归一化至以0点为对称中心的阈值范围， 其中归一化前后的整段语 音在数值为零处所表达的物理意义均是无声段。 3.根据权利要求1所述的端到端语音识别方法， 其特征在于， 所述引入注意力机制， 将注意力机制与卷积神经网络结合包括： 将注意力机制引入卷积神经网络中， 注意力机制通过两个全连接层A和B相乘实现， 其 中全连接层B作为注意力权重， 其权重是A的权重经过Softmax后得到的符合概率分布取值 区间的注意力分配概率分布数值。 4.根据权利要求1所述的端到端语音识别方法， 其特征在于， 所述语音识别网络模型采用CN。

5、N+CTC模型， 采用VGG16基本模型架构， 10层卷积层， 5层 池化层， 5层全连接层， 其中三层全连接层用于实现注意力机制， 损失函数采用CTC损失函 数， 网络优化器采用Adam优化器。 5.一种端到端语音识别系统， 其特征在于， 包括： 语音接收单元， 用于接收整段语音， 并将该段语音归一化后进行切分； 频谱获取单元， 用于将切分的语音数据利用傅里叶变换获取频谱数据； 构建模型单元， 用于将注意力机制与卷积神经网络结合， 构建完整的语音识别网络模 型； 训练模型单元， 用于利用语音数据作为训练内容， 优化模型参数， 将词错误率作为优化 目标训练模型。 6.根据权利要求5所述的端到端。

6、语音识别系统， 其特征在于， 所述语音接收单元包括： 将整段语音的范围归一化至以O点为对称中心的阈值范围， 其 中归一化前后的整段语音在数值为零处所表达的物理意义均是无声段。 7.根据权利要求6所述的端到端语音识别系统， 其特征在于， 所述频谱获取单元包括： 窗函数处理单元， 用于对所切分得到的语音数据利用预设的窗函数进行分帧加窗处 理； 频谱获取单元， 用于对窗函数处理后的数据进行快速傅里叶变换， 且只取一半长度。 8.根据权利要求7所述的端到端语音识别系统， 其特征在于， 所述构建模型单元包括： 将注意力机制引入卷积神经网络中， 注意力机制通过两个全连接层A和B相乘实现， 其 中全连接层B。

7、作为注意力权重， 其权重是A的权重经过Softmax后得到的符合概率分布取值 权利要求书 1/2 页 2 CN 110767218 A 2 区间的注意力分配概率分布数值； 语音识别网络模型采用CNN+CTC模型， 采用VGG16基本模型架构， 10层卷积层， 5层池化 层， 5层全连接层， 其中三层全连接层用于实现注意力机制， 损失函数采用CTC损失函数， 网 络优化器采用Adam优化器。 9.一种识别装置， 其特征在于， 包括存储器和处理器， 所述存储器上存储有计算机可执 行指令， 所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1-4任意一项 所述的方法。 10.一种计算机可读存。

8、储介质， 其特征在于， 其上存储有计算机程序， 该计算机程序被 处理器执行时， 实现上述权利要求1-4任意一项所述的方法。 权利要求书 2/2 页 3 CN 110767218 A 3 端到端语音识别方法、 系统、 装置及其存储介质 技术领域 0001 本申请涉及语音识别技术领域， 尤其涉及一种基于卷积神经网络和注意力机制的 端到端语音识别方法、 系统、 装置及其存储介质。 背景技术 0002 语音识别是近年来十分活跃的一个研究领域， 是一种重要的人机交互手段。 语音 识别系统的典型实现方案为： 输入的模拟语音信号首先要进行预处理， 包括预滤波、 采样和 量化、 加窗、 端点检测、 预加重等。。

9、 语音信号经预处理后， 接下来很重要的一环就是特征参数 提取。 然后通过机器学习以及深度学习的算法对特征加以学习， 比如HMM或者LSTM等等。 0003 上述工作推动了语音识别的研究， 但是， 也存在一些值得深入研究的问题， 具体如 下： 0004 (1)带口音(Dialect)语音的识别； 0005 (2)从原始语音到语音特征的提取过程必然导致信息的损失， 而损失的信息对最 终的语音识别效果是否有影响也是未知的； 0006 (3)背景噪音对于识别效果的影响。 0007 如何克服上述的问题， 是当前需要解决的。 发明内容 0008 为了解决上述技术问题， 本申请实施例提供一种基于卷积神经网络。

10、和注意力机制 的端到端语音识别方法、 系统、 装置及其存储介质。 0009 本申请实施例第一方面提供了一种基于卷积神经网络和注意力机制的端到端语 音识别方法， 可包括： 0010 采集语音数据， 将整段语音数据进行统一归一化处理后依据数据库标签进行切 分； 0011 对所切分的语音进行分帧加窗处理后利用快速傅里叶变换获取频谱； 0012 引入注意力机制， 将注意力机制与卷积神经网络结合， 构建完整的语音识别网络 模型； 0013 训练语音识别网络模型， 将预测后的语音数据作为语音识别网络模型的输入， 训 练学习该语音识别网络模型的参数， 并通过词错误率进行测评后得到所需要的语音识别网 络模型进。

11、行识别。 0014 进一步地， 所述将整段语音数据进行统一归一化处理后依据数据库标签进行切分 包括： 0015 将整段语音的范围归一化至以0点为对称中心的阈值范围， 其中归一化前后的整 段语音在数值为零处所表达的物理意义均是无声段。 0016 进一步地， 所述引入注意力机制， 将注意力机制与卷积神经网络结合包括： 0017 将注意力机制引入卷积神经网络中， 注意力机制通过两个全连接层A和B相乘实 说明书 1/8 页 4 CN 110767218 A 4 现， 其中全连接层B作为注意力权重， 其权重是A的权重经过Softmax回归后得到的符合概率 分布取值区间的注意力分配概率分布数值。 0018。

12、 进一步地， 所述语音识别网络模型采用CNN+CTC模型， 采用VGG16基本模型架构， 10 层卷积层， 5层池化层， 5层全连接层， 其中三层全连接层用于实现注意力机制， 损失函数采 用CTC损失函数， 网络优化器采用Adam优化器。 0019 本申请实施例第二方面提供了一种基于卷积神经网络和注意力机制的端到端语 音识别系统， 包括： 0020 语音接收单元， 用于接收整段语音， 并将该段语音归一化后进行切分； 0021 频谱获取单元， 用于将切分的语音数据利用傅里叶变换获取频谱数据； 0022 构建模型单元， 用于将注意力机制与卷积神经网络结合， 构建完整的语音识别网 络模型； 0023。

13、 训练模型单元， 用于利用语音数据作为训练内容， 优化模型参数， 将词错误率作为 优化目标训练模型。 0024 进一步地， 所述语音接收单元包括： 将整段语音的范围归一化至以0点为对称中心 的阈值范围， 其中归一化前后的整段语音在数值为零处所表达的物理意义均是无声段。 0025 进一步地， 所述频谱获取单元包括： 0026 窗函数处理单元， 用于对所切分得到的语音数据利用预设的窗函数进行分帧加窗 处理； 0027 频谱获取单元， 用于对窗函数处理后的数据进行快速傅里叶变换， 且只取一半长 度。 0028 进一步地， 所述构建模型单元包括： 0029 将注意力机制引入卷积神经网络中， 注意力机制。

14、通过两个全连接层A和B相乘实 现， 其中全连接层B作为注意力权重， 其权重是A的权重经过Softmax后得到的符合概率分布 取值区间的注意力分配概率分布数值； 0030 语音识别网络模型采用CNN+CTC模型， 采用VGG16基本模型架构， 10层卷积层， 5层 池化层， 5层全连接层， 其中三层全连接层用于实现注意力机制， 损失函数采用CTC损失函 数， 网络优化器采用Adam优化器。 0031 第三方面， 本申请实施例提供了一种识别装置， 包括存储器和处理器， 所述存储器 上存储有计算机可执行指令， 所述处理器运行所述存储器上的计算机可执行指令时实现第 一方面的方法。 0032 第四方面，。

15、 本申请实施例提供了一种计算机可读存储介质， 其上存储有计算机程 序， 该计算机程序被处理器执行时， 实现上述第一方面的方法。 0033 在本申请实施例中， 本发明的基于卷积神经网络和注意力机制的端到端语音识别 系统， 通过将注意力机制融合卷积神经网络中， 并通过使用CTC损失函数构建完整的语音识 别网络模型， 实现深度学习， 从原始语音数据中提取语音的语谱图作为CNN的输入， 以提高 语音的性能， 大大减少了人工提取特征带来的信息损失， 具有良好的应用前景。 附图说明 0034 为了更清楚地说明本申请实施例或现有技术中的技术方案， 下面将对实施例或现 说明书 2/8 页 5 CN 11076。

16、7218 A 5 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 申请的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以 根据这些附图获得其他的附图。 0035 图1是本发明的基于卷积神经网络和注意力机制的端到端语音识别系统的步骤示 意图。 0036 图2是图1的流程示意图； 0037 图3是本发明的模型在验证集上测试得到的WER结果折线图。 0038 图4是本申请实施例提供的一种识别系统的示意框图； 0039 图5是本申请实施例提供的一种识别装置的结构示意图。 具体实施方式 0040 下面将结合本申请实施例中的附图， 对本申。

17、请实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例是本申请一部分实施例， 而不是全部的实施例。 基于本申 请中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例， 都属于本申请保护的范围。 0041 应当理解， 当在本说明书和所附权利要求书中使用时， 术语 “包括” 和 “包含” 指示 所描述特征、 整体、 步骤、 操作、 元素和/或组件的存在， 但并不排除一个或多个其它特征、 整 体、 步骤、 操作、 元素、 组件和/或其集合的存在或添加。 0042 还应当理解， 在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目 的而并不意在限制本。

18、申请。 如在本申请说明书和所附权利要求书中所使用的那样， 除非上 下文清楚地指明其它情况， 否则单数形式的 “一” 、“一个” 及 “该” 意在包括复数形式。 0043 还应当进一步理解， 在本申请说明书和所附权利要求书中使用的术语 “和/或” 是 指相关联列出的项中的一个或多个的任何组合以及所有可能组合， 并且包括这些组合。 0044 如在本说明书和所附权利要求书中所使用的那样， 术语 “如果” 可以依据上下文被 解释为 “当.时” 或 “一旦” 或 “响应于确定” 或 “响应于检测到” 。 类似地， 短语 “如果确定” 或 “如果检测到所描述条件或事件” 可以依据上下文被解释为意指 “一旦。

19、确定” 或 “响应于确 定” 或 “一旦检测到所描述条件或事件” 或 “响应于检测到所描述条件或事件” 。 0045 参见图1， 是本申请实施例提供的一种识别方法的示意流程图， 如图所示该方法可 包括： 0046 101： 采集语音数据， 将整段语音数据进行统一归一化处理后依据数据库标签进行 切分。 0047 可以理解的是， 整段语音是根据所收集到的语音数据中的语音间隔时间来决定 的， 通过对话中的停顿来实现语音的断句， 将一段连续的话作为整段语音， 在收集到该语音 之后， 在整个语音端上执行数据的归一化， 归于的区间是以0点作为对称中心， 本实施例中， 归一化的范围采用-1， 1， 归一化前。

20、后语音数值为零处所表达的物理意义不变， 均是无声 段。 0048 切分时， 根据数据库标签对统一归一化处理的语音进行切分。 其中数据库为语音 学家建立的用于研究语音识别的专业数据库， 本实施例中数据库采用清华大学所建立的用 于研究语音识别的专业数据库， 是在安静的办公室环境下， 通过单个碳粒麦克风录取的， 总 说明书 3/8 页 6 CN 110767218 A 6 时长超过30个小时。 大部分参与录音的人员是会说流利普通话的大学生。 采样频率16kHz， 采样大小16bits。 根据数据库标签切分后， 获得10000条有效语音， 其中， 500条语音作为验 证集， 500条语音作为测试集， 。

21、其余作为训练集， 语音的数据最长L为343208， 持续时间约为 21.45秒。 0049 102： 对所切分的语音进行分帧加窗处理后利用快速傅里叶变换获取频谱。 0050 可以理解的是， 加窗和分帧都是语音信号提取特征的预处理阶段。 先分帧， 后加 窗， 再做快速傅里叶变换。 0051 分帧： 简单来说， 一段语音信号整体上看不是平稳的， 但是在局部上可以看作是平 稳的。 在后期的语音处理中需要输入的是平稳信号， 所以要对整段语音信号分帧， 也就是切 分成很多段。 在10-30ms范围内都可以认为信号是稳定的， 一般以不少于20ms为一帧， 1/2左 右时长为帧移分帧。 帧移是相邻两帧间的重。

22、叠区域， 是为了避免相邻两帧的变化过大。 0052 加窗： 按上述方法加窗后， 每一帧的起始段和末尾端会出现不连续的地方， 所以分 帧越多与原始信号的误差也就越大。 加窗就是为了解决这个问题， 使分帧后的信号变得连 续， 每一帧就会表现出周期函数的特征。 在语音信号处理中一般加汉明窗。 0053 作为一个具体的实施例， 对切分的语音加窗分帧处理； 0054 分帧处理中帧长I为1024， 帧间重叠率p为25， 获最大帧数H为447。 0055 0056 增加的窗函数为hamming窗W(n， )， 其的计算公式如下， W(n， )(1- )- cos(2 n/(n-1)， 0nN-1。 其中， 。

23、取值0.46， N为n的取值范围， 表示Hamming窗的长度。 0057 对语音进行快速傅里叶变换得到其频谱， 由于其频谱为对称式， 所以只取其一半 长度。 快速傅里叶变换的公式为： 0058 由于本步骤属于语音识别中的常用技术手段， 就不进行赘述。 0059 103： 引入注意力机制， 将注意力机制与卷积神经网络结合， 构建完整的语音识别 网络模型。 0060 可以理解的是， 本申请中通过将注意力机制引入卷积神经网络中， 注意力机制通 过两个全连接层A和B相乘实现， 其中全连接层B作为注意力权重， 其权重是A的权重经过 Softmax后得到的符合概率分布取值区间的注意力分配概率分布数值。 。

24、0061 在语音识别网络模型的构建过程中， 本申请中采用CNN+CTC模型， 采用VGG16基本 模型架构， 10层卷积层， 5层池化层， 5层全连接层， 其中三层全连接层用于实现注意力机制， 损失函数采用CTC损失函数， 网络优化器采用Adam优化器。 0062 卷积层用来提取语谱图的特征， 池化层用来进一步提取主要特征以及减少参数， 其中每一层池化层之后用dropout随机丢弃部分神经元， 防止网络训练过拟合。 卷积层和池 化层之后， 首先使用reshape层将图像压缩为可供全连接层输入的形式， 然后全连接层相乘 的形式引入权重的注意力机制， 然后以全连接层实现分类。 其他网络参数设置如表。

25、1所示： 0063 参数值 初始学习率0.0001 说明书 4/8 页 7 CN 110767218 A 7 训练批次大小32 层间单元连接率(dropout)0.6 卷积输出通道2 0064 104： 训练语音识别网络模型， 将预测后的语音数据作为语音识别网络模型的输 入， 训练学习该语音识别网络模型的参数， 并通过词错误率进行测评后得到所需要的语音 识别网络模型进行识别。 0065 可以理解的是， 模型建立之后需要通过大量的数据训练来不断的修真数据参数， 以使得模型更加符合所适用的对象， 以便于在实际的使用中能够准确地将语音数据输出成 文字数据。 0066 作为一个具体的实施例， 训练语音。

26、识别网络模型时， 将预测后的语音数据作为语 音识别网络模型的输入， 训练学习该语音识别网络模型的参数， 并通过WER(词错误率， Word Error Rate)评测， 为了使识别出来的词序列和标准的词序列之间保持一致， 需要进行替 换、 删除或者插入某些词， 这些插入、 替换或删除的词的总个数， 除以标准的词序列中词的 总个数的百分比， 即为WER。 计算公式如下：其中， S为替换的个数， D 为删除的个数， I为插入的个数， N为汉字总数。 0067 通过上述测评， 不断的修正整个模型的内容， 以实现模型的理想输出结果。 0068 具体训练过程中， 每训练200次， 就在验证集上进行一个验。

27、证， 并记录下验证集的 WER， 最终将结果统计成如图3所示的在验证集中， 随着训练次数steps的叠加， 整体WER最终 收敛至20.35， 最终在测试集中获得了WER为19.80， 0069 综上所述本发明的基于卷积神经网络和注意力机制的端到端语音识别系统， 通过 将注意力机制融合卷积神经网络中， 并通过使用CTC损失函数构建完整的语音识别网络模 型， 实现深度学习， 从原始语音数据中提取语音的语谱图作为CNN的输入， 以提高语音的性 能， 大大减少了人工提取特征带来的信息损失， 具有良好的应用前景。 0070 本申请实施例还提供一种基于卷积神经网络和注意力机制的端到端语音识别系 统， 该。

28、系统用于执行前述任一项上述。 具体地， 参见图4， 图4是本申请实施例提供的一种定 位装置的示意框图。 本实施例的装置包括： 语音接收单元310、 频谱获取单元320、 构建模型 单元330、 训练模型单元340。 0071 语音接收单元310， 用于接收整段语音， 并将该段语音归一化后进行切分。 0072 频谱获取单元320， 用于将切分的语音数据利用傅里叶变换获取频谱数据。 0073 构建模型单元330， 用于将注意力机制与卷积神经网络结合， 构建完整的语音识别 网络模型。 0074 训练模型单元340， 用于利用语音数据作为训练内容， 优化模型参数， 将词错误率 作为优化目标训练模型。 。

29、0075 上述语音接收单元310将整段语音的范围归一化至以0点为对称中心的阈值范围， 其中归一化前后的整段语音在数值为零处所表达的物理意义均是无声段。 0076 作为一种可选的实施方式， 归一化的范围采用-1， 1， 归一化前后语音数值为零 处所表达的物理意义不变， 均是无声段。 0077 切分时， 根据数据库标签对统一归一化处理的语音进行切分。 其中数据库为语音 说明书 5/8 页 8 CN 110767218 A 8 学家建立的用于研究语音识别的专业数据库， 本实施例中数据库采用清华大学所建立的用 于研究语音识别的专业数据库， 是在安静的办公室环境下， 通过单个碳粒麦克风录取的， 总 时长。

30、超过30个小时。 大部分参与录音的人员是会说流利普通话的大学生。 采样频率16kHz， 采样大小16bits。 根据数据库标签切分后， 获得10000条有效语音， 其中， 500条语音作为验 证集， 500条语音作为测试集， 其余作为训练集， 语音的数据最长L为343208， 持续时间约为 21.45秒。 0078 上述频谱获取单元320， 具体用于对所切分的语音进行分帧加窗处理后利用快速 傅里叶变换获取频谱。 0079 作为一种可选的实施方式， 上述频谱获取单元320， 包括： 0080 分帧单元321， 决定切分语音的帧数。 本实施例中， 分帧处理中帧长I为1024， 帧间 重叠率p为25。

31、， 获最大帧数H为447。 0081 加窗单元322， 按上述方法加窗后， 每一帧的起始段和末尾端会出现不连续的地 方， 所以分帧越多与原始信号的误差也就越大。 加窗就是为了解决这个问题， 使分帧后的信 号变得连续， 每一帧就会表现出周期函数的特征。 在语音信号处理中一般加汉明窗。 0082 本实施例中， 增加的窗函数为hamming窗W(n， )， 其的计算公式如下， W(n， )(1- )- cos(2 n/(n-1)， 0nN-1。 其中， 取值0.46， N为n的取值范围， 表示Hamming窗的长 度。 0083 快速傅里叶变换单元323， 对语音进行快速傅里叶变换得到其频谱， 由于。

32、其频谱为 对称式， 所以只取其一半长度。 快速傅里叶变换的公式为： 0084 上述构建模型单元330用于将注意力机制与卷积神经网络结合， 构建完整的语音 识别网络模型。 0085 可以理解的是， 本申请中通过将注意力机制引入卷积神经网络中， 注意力机制通 过两个全连接层A和B相乘实现， 其中全连接层B作为注意力权重， 其权重是A的权重经过 Softmax后得到的符合概率分布取值区间的注意力分配概率分布数值。 在语音识别网络模 型的构建过程中， 本申请中采用CNN+CTC模型， 采用VGG16基本模型架构， 10层卷积层， 5层池 化层， 5层全连接层， 其中三层全连接层用于实现注意力机制， 损。

33、失函数采用CTC损失函数， 网络优化器采用Adam优化器。 0086 上述训练模型单元340用于利用语音数据作为训练内容， 优化模型参数， 将词错误 率作为优化目标训练模型。 0087 作为一个具体的实施例， 本单元将预测后的语音数据作为语音识别网络模型的输 入， 训练学习该语音识别网络模型的参数， 并通过WER(词错误率， Word Error Rate)评测， 为了使识别出来的词序列和标准的词序列之间保持一致， 需要进行替换、 删除或者插入某 些词， 这些插入、 替换或删除的词的总个数， 除以标准的词序列中词的总个数的百分比， 即 为WER。 计算公式如下：其中， S为替换的个数， D为删。

34、除的个数， I为 插入的个数， N为汉字总数。 通过上述测评， 不断的修正整个模型的内容， 以实现模型的理想 说明书 6/8 页 9 CN 110767218 A 9 输出结果。 0088 图5是本申请实施例提供的一种识别设备的结构示意图。 该对象检测设备4000包 括处理器41， 还可以包括输入装置42、 输出装置43和存储器44。 该输入装置42、 输出装置43、 存储器44和处理器41之间通过总线相互连接。 0089 存储器包括但不限于是随机存储记忆体(random access memory， RAM)、 只读存储 器(read至only memory， ROM)、 可擦除可编程只读存。

35、储器(erasable programmable read only memory， EPROM)、 或便携式只读存储器(compact disc read至only memory， CD至 ROM)， 该存储器用于相关指令及数据。 0090 输入装置用于输入数据和/或信号， 以及输出装置用于输出数据和/或信号。 输出 装置和输入装置可以是独立的器件， 也可以是一个整体的器件。 0091 处理器可以包括是一个或多个处理器， 例如包括一个或多个中央处理器(central processing unit， CPU)， 在处理器是一个CPU的情况下， 该CPU可以是单核CPU， 也可以是多 核CPU。

36、。 处理器还可以包括一个或多个专用处理器， 专用处理器可以包括GPU、 FPGA等， 用于 进行加速处理。 0092 存储器用于存储网络设备的程序代码和数据。 0093 处理器用于调用该存储器中的程序代码和数据， 执行上述方法实施例中的步骤。 具体可参见方法实施例中的描述， 在此不再赘述。 0094 可以理解的是， 图5仅仅示出了对象检测设备的简化设计。 在实际应用中， 动作识 别装置还可以分别包含必要的其他元件， 包含但不限于任意数量的输入/输出装置、 处理 器、 控制器、 存储器等， 而所有可以实现本申请实施例的动作识别装置都在本申请的保护范 围之内。 0095 所属领域的技术人员可以清楚。

37、地了解到， 为描述的方便和简洁， 上述描述的系统、 装置和单元的具体工作过程， 可以参考前述方法实施例中的对应过程， 在此不再赘述。 0096 在本申请所提供的几个实施例中， 应该理解到， 所揭露的系统、 装置和方法， 可以 通过其它的方式实现。 例如， 该单元的划分， 仅仅为一种逻辑功能划分， 实际实现时可以有 另外的划分方式， 例如， 多个单元或组件可以结合或者可以集成到另一个系统， 或一些特征 可以忽略， 或不执行。 所显示或讨论的相互之间的耦合、 或直接耦合、 或通信连接可以是通 过一些接口， 装置或单元的间接耦合或通信连接， 可以是电性， 机械或其它的形式。 0097 作为分离部件说。

38、明的单元可以是或者也可以不是物理上分开的， 作为单元显示的 部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可以分布到多个网络 单元上。 可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。 0098 在上述实施例中， 可以全部或部分地通过软件、 硬件、 固件或者其任意组合来实 现。 当使用软件实现时， 可以全部或部分地以计算机程序产品的形式实现。 该计算机程序产 品包括一个或多个计算机指令。 在计算机上加载和执行该计算机程序指令时， 全部或部分 地产生按照本申请实施例的流程或功能。 该计算机可以是通用计算机、 专用计算机、 计算机 网络、 或者其他可编程装置。

39、。 该计算机指令可以存储在计算机可读存储介质中， 或者通过该 计算机可读存储介质进行传输。 该计算机指令可以从一个网站站点、 计算机、 服务器或数据 中心通过有线(例如同轴电缆、 光纤、 数字用户线(digital subscriber line， DSL)或无线 (例如红外、 无线、 微波等)方式向另一个网站站点、 计算机、 服务器或数据中心进行传输。 该 说明书 7/8 页 10 CN 110767218 A 10 计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用 介质集成的服务器、 数据中心等数据存储设备。 该可用介质可以是只读存储器(read至only me。

40、mory， ROM)， 或随机存储存储器(random access memory， RAM)， 或磁性介质， 例如， 软盘、 硬盘、 磁带、 磁碟、 或光介质， 例如， 数字通用光盘(digital versatile disc， DVD)、 或者半 导体介质， 例如， 固态硬盘(solid state disk， SSD)等。 0099 以上详细描述了本发明的优选实施方式， 但是本发明并不限于上述实施方式中的 具体细节， 在本发明的技术构思范围内， 可以对本发明的技术方案进行多种等同变换(如数 量、 形状、 位置等)， 这些等同变换均属于本发明的保护。 说明书 8/8 页 11 CN 110767218 A 11 图1 说明书附图 1/3 页 12 CN 110767218 A 12 图2 图3 说明书附图 2/3 页 13 CN 110767218 A 13 图4 图5 说明书附图 3/3 页 14 CN 110767218 A 14 。