面向边缘计算的轻量级语音识别方法.pdf

《面向边缘计算的轻量级语音识别方法.pdf》由会员分享，可在线阅读，更多相关《面向边缘计算的轻量级语音识别方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911043340.1 (22)申请日 2019.10.30 (71)申请人 华南师范大学 地址 510631 广东省广州市天河区中山大 道西55号华南师范大学计算机学院 (72)发明人 龚征杨顺志叶开魏运根 (74)专利代理机构 广州市华学知识产权代理有 限公司 44245 代理人 李斌 (51)Int.Cl. G10L 15/16(2006.01) G10L 15/02(2006.01) G10L 25/30(2013.01) G10L 25/24(2013.01) G。

2、10L 25/63(2013.01) (54)发明名称 面向边缘计算的轻量级语音识别方法 (57)摘要 本发明公开了一种面向边缘计算的轻量级 语音识别方法， 包括下述步骤： S1、 构建面向边缘 计算设备的轻量级语音识别网络模型EdgeRNN， 所述EdgeRNN包括声学特征提取层、 密集块、 最大 池化层、 RNN层、 自我注意力层以及分类层； S2、 将 原始的语音音频输入到EdgeRNN进行处理， S21、 从原始的音频中提取低级的声学特征； S22、 设计 一个面向边缘计算的密集块； S23、 使用密集块使 不断地对低级的声学特征进行高级的空间特征 提取； S24、 用最大池化层来消除。

3、语音特征中的噪 声； S25、 融合原先的声学特征和高级空间特征进 入RNN层中提取时间序列的信息； S25、 进入轻量 级注意力机制层， 获得话语级别最后的表示结 果； S26、 利用全连接层来分析语音的类别。 本发 明提高了语音识别的准确性和高效性。 权利要求书2页 说明书6页 附图3页 CN 110853630 A 2020.02.28 CN 110853630 A 1.面向边缘计算的轻量级语音识别方法， 其特征在于， 包括下述步骤： S1、 构建面向边缘计算设备的轻量级语音识别网络模型EdgeRNN， 所述EdgeRNN由1-D CNN和RNN构成， 所述1-D CNN用于在时序特征上。

4、提取空间的高级特征， 所述RNN用于语音时 间序列的建模； 所述EdgeRNN包括声学特征提取层、 密集块、 最大池化层、 RNN层、 自我注意力 层以及分类层； S2、 将原始的语音音频输入到EdgeRNN进行处理， 具体为： S21、 从原始的音频中提取低级的声学特征； S22、 根据特征重用和可学习组卷积的原理， 设计一个面向边缘计算的密集块， EdgeRNN 每经过一次密集块可增加growth_rate维高级空间特征， 其中， 密集块使用的激活函数为 PRelu， 可学习组卷积层中的卷积使用的是1-D CNN； S23、 使用密集块使不断地对低级的声学特征进行高级的空间特征提取； S2。

5、4、 用最大池化层来消除语音特征中的噪声 S25、 融合原先的声学特征和1-D CNN每一次提取的高级空间特征进入RNN层中提取时 间序列的信息； S26、 进入自我注意力层， 获得话语级别最后的表示结果； S27、 利用全连接层来分析语音的类别。 2.根据权利要求1所述面向边缘计算的轻量级语音识别方法， 其特征在于， 步骤S21中， 使用librosa库对原始的语音进行声学特征提取， 提取128维梅尔频谱图， 12维delta和12维 double-delta特征， 总计152维的声学特征。 3.根据权利要求2所述面向边缘计算的轻量级语音识别方法， 其特征在于， 声学特征提 取之后的特征维度。

6、为(152,32)， 152代表的是有152维的特征， 32代表每一维度特征的长度。 4.根据权利要求2所述面向边缘计算的轻量级语音识别方法， 其特征在于， 步骤S22中， 所述密集块中采用两个连续的33可学习组卷积， 所述密集块包括卷积块1和卷积块2， 所 述卷积块1中的可学习组卷积层输出4倍增长率的特征图， 所述卷积块3中的可学习组卷积 层输出1倍增长率的特征图。 5.根据权利要求4所述面向边缘计算的轻量级语音识别方法， 其特征在于， 步骤S23中， 对于原始的声学特征图保留， 是在声学特征图的基础上不断地使用1-D CNN提取高级的特 征， 每次新增的特征是在前面所有层的基础上进行提取。。

7、 6.根据权利要求3所述面向边缘计算的轻量级语音识别方法， 其特征在于， 密集块之后 的特征维度为(344,32)， 344表示344维的高级特征， 32是每一维特征的长度， 使用最大池化 层来减少特征里面的噪音， 即经过最大池化层之后特征维度变为(344,16)。 7.根据权利要求6所述面向边缘计算的轻量级语音识别方法， 其特征在于， 步骤S25中， 进入RNN层之前首先需要把特征转置， 即把(344,16)的特征转化为(16,344)的特征， 这是 RNN中的格式要求， RNN层处理之后特征维度保持不变， 同样为(16,344)， 344依然代表维度， 16表示每维特征的长度。 8.根据权。

8、利要求1所述面向边缘计算的轻量级语音识别方法， 其特征在于， 步骤S26具 体为： 假设Xi是RNN计算出当前时间戳的上下文特征， i是注意力得分并由以下公式获得： 权利要求书 1/2 页 2 CN 110853630 A 2 其中， i的计算方式就是sigmoid函数， 其值在0,1之间， i可解释为该帧对语音的最 终话语水平表示的贡献分数， 获得的注意力得分 i用于加权平均以获得话语级别C的表示： 获得话语级别表示的结果首先经过激活后， 再传到全连接层来汇总最终的结果， 汇总 的最终结果传递到网络的输出softmax层， 以获得每个语音类别的后验概率。 权利要求书 2/2 页 3 CN 1。

9、10853630 A 3 面向边缘计算的轻量级语音识别方法 技术领域 0001 本发明属于深度学习的技术领域， 具体涉及一种面向边缘计算的轻量级语音识别 方法。 背景技术 0002 近年来， 深度神经网络在计算机视觉、 自然语言处理、 语音识别等方面取得了显着 的性能。 但是轻量级深度神经网络领域里， 只有在计算机视觉上获得突飞猛进的发展。 造成 这个现象主要归结于两个方面的原因： 一方面， 在自然语言处理和语音识别领域上主要处 理的是时间序列问题， 这基本都需要用到递归神经网络(RNN)， 而RNN是计算密集型的并且 需要大量的储存空间， 例如， RNN神经元需要8倍于典型CNN单元的权重数。

10、和乘法累加(MAC) 运算； 另一方面， 计算机视觉方面的进展得益于分组卷积的发现， 分组卷积可以成倍数地减少 计算量和参数量， 而RNN的计算严重依赖于历史记录， 因此RNN就是一个整体， 无法分组运算。 0003 现有技术中， 在语音识别领域中依然存在着使用2-D卷积神经网络(2-DCNN)来处 理任务。 但是， 2-D CNN处理的是局部的空间信息， 在处理序列问题的空间信息上没有1-D CNN好， 在处理序列问题的时间信息上也没有RNN好。 1-D CNN可以在整个时序特征上提取空 间信息， 因此1-D CNN需要相对于2-D CNN更多的计算量。 RNN中的隐藏层以保留前一时间步 的。

11、信息以预测当前时间步的值， 这意味着RNN是计算密集型的。 所以之前在轻量级语音识别 网络模型中的应用寥寥无几。 发明内容 0004 本发明的主要目的在于克服现有技术的缺点与不足， 提供一种面向边缘计算的轻 量级语音识别方法， 大大提高了语音识别的准确性。 0005 为了达到上述目的， 本发明采用以下技术方案： 0006 本发明面向边缘计算的轻量级语音识别方法， 包括下述步骤： 0007 S1、 构建面向边缘计算设备的轻量级语音识别网络模型EdgeRNN， 所述EdgeRNN由 1-D CNN和RNN构成， 所述1-D CNN用于在时序特征上提取空间的高级特征， 所述RNN用于语 音时间序列的。

12、建模； 所述EdgeRNN包括声学特征提取层、 密集块、 最大池化层、 RNN层、 自我注 意力层以及分类层； 0008 S2、 将原始的语音音频输入到EdgeRNN进行处理， 具体为： 0009 S21、 从原始的音频中提取低级的声学特征； 0010 S22、 根据特征重用和可学习组卷积的原理， 设计一个面向边缘计算的密集块， EdgeRNN每经过一次密集块可增加growth_rate维高级空间特征， 其中， 密集块使用的激活 函数为PRelu， 可学习组卷积层中的卷积使用的是1-D CNN； 0011 S23、 使用密集块使不断地对低级的声学特征进行高级的空间特征提取； 0012 S24、。

13、 用最大池化层来消除语音特征中的噪声 0013 S25、 融合原先的声学特征和1-D CNN每一次提取的高级空间特征进入RNN层中提 说明书 1/6 页 4 CN 110853630 A 4 取时间序列的信息； 0014 S26、 进入自我注意力层， 获得话语级别最后的表示结果； 0015 S27、 利用全连接层来分析语音的类别。 0016 作为优选的技术方案， 步骤S21中， 使用librosa库对原始的语音进行声学特征提 取， 提取128维梅尔频谱图， 12维delta和12维double-delta特征， 总计152维的声学特征。 0017 作为优选的技术方案， 声学特征提取之后的特征维。

14、度为(152,32)， 152代表的是有 152维的特征， 32代表每一维度特征的长度。 0018 作为优选的技术方案， 步骤S22中， 所述密集块中采用两个连续的33可学习组卷 积， 所述密集块包括卷积块1和卷积块2， 所述卷积块1中的可学习组卷积层输出4倍增长率 的特征图， 所述卷积块3中的可学习组卷积层输出1倍增长率的特征图。 0019 作为优选的技术方案， 步骤S23中， 对于原始的声学特征图保留， 是在声学特征图 的基础上不断地使用1-D CNN提取高级的特征， 每次新增的特征是在前面所有层的基础上 进行提取。 0020 作为优选的技术方案， 密集块之后的特征维度为(344,32)，。

15、 344表示344维的高级 特征， 32是每一维特征的长度， 使用最大池化层来减少特征里面的噪音， 即经过最大池化层 之后特征维度变为(344,16)。 0021 作为优选的技术方案， 步骤S25中， 进入RNN层之前首先需要把特征转置， 即把 (344,16)的特征转化为(16,344)的特征， 这是RNN中的格式要求， RNN层处理之后特征维度 保持不变， 同样为(16,344)， 344依然代表维度， 16表示每维特征的长度。 0022 作为优选的技术方案， 步骤S26具体为： 0023 假设Xi是RNN计算出当前时间戳的上下文特征，i是注意力得分并由以下公式获得： 0024 0025 。

16、其中， i的计算方式就是sigmoid函数， 其值在0,1之间， i可解释为该帧对语音 的最终话语水平表示的贡献分数， 获得的注意力得分 i用于加权平均以获得话语级别C的 表示： 0026 0027 获得话语级别表示的结果首先经过激活后， 再传到全连接层来汇总最终的结果， 汇总的最终结果传递到网络的输出softmax层， 以获得每个语音类别的后验概率。 0028 本发明与现有技术相比， 具有如下优点和有益效果： 0029 1、 本发明设计了一种面向边缘计算设备的轻量级语音识别网络模型， 命名为 EdgeRNN。 EdgeRNN由1-D CNN和RNN构成， 1-D CNN可以在时序特征上提取空。

17、间的高级特征， RNN用于语音时间序列的建模。 语音提取的声学特征中除了空间维度上的频域信息之外， 还 有时间维度上的时域信息。 1-D CNN可以处理声学特征各频域的整体空间信息。 RNN可以处 理声学特征各频域的时间信息， 结合1-D CNN和RNN来进行语音识别处理是大大提高了语音 识别的准确性。 0030 2、 本发明在语音情感识别和语音关键字识别这两大语音识别子任务上验证了 说明书 2/6 页 5 CN 110853630 A 5 EdgeRNN的高效性。 语音情感识别中使用的是IEMOCAP数据集， 准确率达到63.62。 语音关 键字识别中使用的是谷歌的Speech Comman。

18、ds数据集， 准确率达到96.62。 EdgeRNN在语音 情感识别和语音关键字识别上的准确率都优于现有的轻量级网络模型。 本发明把EdgeRNN 成功地运行在树莓派3B+开发板上， 运行的速度基本满足实际的要求。 附图说明 0031 图1(a)-图1(d)是本发明实施例中四种情绪的声学特征图； 0032 图2为本发明2-D卷积和1-D卷积的处理方式图； 0033 图3为本发明EdgeRNN的网络结构处理流程图。 具体实施方式 0034 下面结合实施例及附图对本发明作进一步详细的描述， 但本发明的实施方式不限 于此。 0035 实施例 0036 本实施例面向边缘计算的轻量级语音识别方法， 其特。

19、征在于， 包括下述步骤： 0037 S1、 构建面向边缘计算设备的轻量级语音识别网络模型EdgeRNN， 所述EdgeRNN由 1-D CNN和RNN构成， 所述1-D CNN用于在时序特征上提取空间的高级特征， 所述RNN用于语 音时间序列的建模； 所述EdgeRNN包括声学特征提取层、 密集块、 最大池化层、 RNN层、 自我注 意力层以及分类层； 0038 语音识别中， 首先需要对原始的语音进行声学特征提取， 本发明从准确率和速度 这两个方面进行多次的实验， 最终选定提取128维梅尔频谱图， 12维delta和12维double- delta特征。 0039 本实施例取IEMOCAP数据。

20、集的Session1中四种情绪为例， 提取的声学特征如图1 (a)-图1(d)所示。 水平方向表示的是语音的时间变化， 垂直方向代表某时刻的声学特征。 从 图1可以看出， 语音识别既有时间方面的时域信息， 也有空间方面的频域信息。 因此本发明 首先使用一维卷积神经网络(1-D CNN)用于处理声学特征的每个频域的整体空间信息， 其 次递归神经网络(RNN)用于处理声学特征的每个频域的时间信息， 最后本发明提出了一种简 化的注意力机制， 以增强有助于最终识别的网络部分。 本发明的EdgeRNN结构处理如表1所示。 0040 0041 说明书 3/6 页 6 CN 110853630 A 6 00。

21、42 表1： EdgeRNN的结构示意图 0043 S2、 将原始的语音音频输入到EdgeRNN进行处理， 具体为： 0044 S21、 从原始的音频中提取低级的声学特征； 0045 声学特征提取是把原始的音频转化为低级的声学特征， 以用来深度学习建模。 本 发明是使用librosa库去提取这152维的声学特征。 梅尔频谱图的相邻特征高度相关， 也就 是相邻滤波器组之间有重叠， 这非常有利于CNN建模。 其次梅尔频谱图比MFCC具有更高的维 度， 这保留着更多的信息。 delta特征表示相邻帧的关系， double-delta特征表示相邻三帧 之间的关系， 并且它们都擅长在MFCC上表示语音动。

22、态的过程。 因此， 本发明使用的delta和 double-delta特征都是在MFCC之后进行提取。 另外， 本发明只选用12维的delta和double- delta特征。 声学特征提取之后的特征维度为(152,32)， 152代表的是有152维的特征， 32代 表每一维度特征的长度。 0046 S22、 根据特征重用和可学习组卷积的原理， 设计一个面向边缘计算的密集块， EdgeRNN每经过一次密集块可增加growth_rate维高级空间特征， 其中， 密集块使用的激活 函数为PRelu， 可学习组卷积层中的卷积使用的是1-D CNN； 0047 先前的可学习组卷积处理的是计算机视觉任务。

23、， 因此使用的是2-D卷积层。 2-D卷 积层和1-D卷积层的不同方式处理如图2所示(图2中矩形块为2-D卷积方式， 长条为1-D卷积 处理方式)。 很明显， 2-D卷积处理的是声学特征局部空间信息， 1-D卷积处理的是声学特征 各频域的整体空间信息。 因此， 1-D卷积层更适合于声学特征的建模。 所以， 本发明把先前的 2-D可学习组卷积改为适用于语音识别的1-D可学习组卷积。 0048 表2中的可学习组卷积都用L-conv表示， 其中参数groups是分组的个数， condense_factor是浓缩因子。 浓缩因子表示每一组的仅连接的输入特征 通道。 0049 S23、 使用密集块使不断。

24、地对低级的声学特征进行高级的空间特征提取； 0050 如表2所示， 本发明在密集块中采用两个连续的33可学习组卷积， 因为更大的感 受野可以学到更丰富的特征。 本发明使用的包括可学习组卷积在内的所有卷积层都设置 biasTrue， 这是为了让网络能够增加非线性特性来更好地拟合数据。 0051 密集块的卷积块1中的可学习组卷积层输出4倍增长率的特征图， 如表2所示。 然而 在卷积块2中的可学习组卷积层只输出1倍增长率的特征图。 这意味着每经过一次密集块， 网络只增加1倍增长率维特征图。 本发明的EdgeRNN选定的增长率为16， 虽然每经过一个密 集块只增加16维的特征图， 但是经过12次之后E。

25、dgeRNN就增加了192维的特征图。 0052 0053 表2： EdgeBlock的结构图(L-Conv代表learned group convolution， G代表分组的 个数， C是Condensation Factor) 0054 需要注意的是， 本发明保留着原先的声学特征图， 只是在声学特征图的基础上不 说明书 4/6 页 7 CN 110853630 A 7 断地使用1-D CNN提取高级的特征。 每次新增的特征是在前面所有层的基础上进行提取。 比 如图三的dense9新增的16维高级特征是在整个dense8的特征图上提取的。 12次的高级特征 提取之后， 网络就得到344维的。

26、特征。 即原先提取的152维声学特征保持不变， 12次的密集块 每次增加16维的高级特征(1216192)， 加起来一共344维特征。 0055 S24、 使用最大池化层来消除语音特征中的噪声； 0056 密集块之后的特征维度为(344,32)， 344表示344维的高级特征， 32是每一维特征 的长度， 本声明使用最大池化层来减少特征里面的噪音， 即经过最大池化层之后特征维度 变为(344,16)。 0057 S25、 融合原先的声学特征和1-D CNN每一次提取的高级空间特征进入RNN层中提 取时间序列的信息； 0058 RNN层主要是提取语音中的时间序列信息。 语音识别不仅具有时维的时域。

27、信息， 还 具有空间维的频域信息。 CNN的优势在于空间信息， 而RNN的优势在于时间信息。 因此， 许多 工作首先使用CNN提取声学特征的高级特征， 然后使用RNN进行序列建模。 但是， 这些工作中 使用的RNN是RNN的变体， 例如长短期记忆(LSTM)和门控循环单元(GRU)。 RNN使用一个门， GRU使用三个门， LSTM使用四个门。 这意味着GRU的计算复杂度是RNN的三倍， 而LSTM的计算 复杂度是RNN的四倍。 众所周知， RNN在长序列中存在梯度爆炸或梯度消失的问题。 因此， 引 入LSTM和GRU来解决长序列中的时间依赖性问题。 但是， 语音识别中的许多任务(例如语音 情。

28、感识别和语音关键字识别)都是短期和中期相关的。 而RNN适用于短期和中期依赖性问 题。 另外， 注意力机制可用于使RNN学习短期和中期序列中的短期和中期依存关系。 进入RNN 层之前首先需要把特征转置， 即把(344,16)的特征转化为(16,344)的特征， 这是RNN中的格 式要求。 RNN层处理之后特征维度保持不变， 同样为(16,344)， 344依然代表维度， 16表示每 维特征的长度。 0059 S26、 进入自我注意力层， 获得话语级别最后的表示结果； 0060 RNN处理之后就进入本发明设计的简化的， 只需要少量计算量的自我注意力机制。 假设Xi是RNN计算出当前时间戳的上下文。

29、特征， i是注意力得分并由以下公式获得： 0061 0062 其实 i的计算方式就是sigmoid函数， 其值在0,1之间。 i可以解释为该帧对语音 的最终话语水平表示的贡献分数。 获得的注意力得分 i用于加权平均以获得话语级别C的 表示： 0063 0064 获得话语级别表示的结果首先经过激活后， 再传到全连接层来汇总最终的结果。 汇总的最终结果传递到网络的输出softmax层， 以获得每个语音类别的后验概率。 0065 S27、 利用全连接层来分析语音的类别。 0066 本发明的网络模型结构如图3所示。 本发明是使用IEMOCAP数据集中Ses01F_ impro02_F000样本可视化的。

30、结果来展现EdgeRNN的结构。 0067 1-D CNN和RNN都是计算密集型的， 因此在先前的研究中很少被使用于轻量级的语 说明书 5/6 页 8 CN 110853630 A 8 音识别任务中。 然而， 语音提取的声学特征中除了空间维度上的频域信息之外， 还有时间维 度上的时域信息。 所以， 本发明充分地利用了1-D CNN和RNN来对声学特征中的时间和空间 信息进行建模， 这是本发明的关键点一。 0068 EdgeRNN在语音关键字识别和语音情感识别这两大语音识别子任务上的准确率都 能优于现有的轻量级网络模型， 这也是第一篇能够同时适用于语音关键字识别和语音情感 识别的轻量级网络模型，。

31、 这是本发明的关键点二。 0069 语音情感识别任务的工作很少集中在轻量级网络模型的设计上。 本发明仅发现了 最近的BCRNN1。 BCRNN显示IEMOCAP数据集上模型的准确性和大小。 EdgeRNN和BCRNN的性 能比较如表3所示， 其中精度基于UAR。 UAR被定义为每个类在所有类上的平均精度， 因此无 论类中的测试样本数量如何， 每个类的准确度具有相同的重要性。 由于类不平衡， UAR是用 于语音情感识别的广泛使用的度量。 0070 网络模型UAR()Model size(MB)Millions ParamsMillions Ops BCRNN161.904.34- EdgeRNN。

32、63.625.470.8316.77 0071 表3： EdgeRNN在语音情感识别IEMOCAP数据库上的性能 0072 语音关键字识别的研究较为热门。 EdgeRNN与其它轻量级语音关键词识别网络模 型的性能比较如表4所示， 其中使用的数据集是Google的Speech Commands数据集。 其它工 作中有多种网络模型。 在表4中， 仅列出了准确率最高的模型。 WAR是正确预测的测试音频总 数与测试音频总数之比， 是用于语音关键字识别的广泛使用的度量。 0073 网络模型WAR()Millions ParamsMillions Ops Full-DCNN288.500.015.94 t。

33、pool2391.971.09103.00 DS-CNN495.400.4956.90 SANAS580.70-37.70 res15695.800.23894.00 EdgeRNN96.620.832.96 0074 表4： EdgeRNN在语音关键字识别Speech Commands数据集上的性能 0075 本发明充分地应用了大网络模型中的DenseNet和Condensenet模型的原理来设计 一个面向边缘计算的轻量级网络模型EdgeRNN， 这是优点一。 0076 EdgeRNN在语音识别的语音关键字识别和语音情感识别这两大子任务上的准确率 都能优于目前现有的轻量级语音识别网络模型。 。

34、同时， EdgeRNN的实际运行速度也能满足语 音处理的要求。 0077 具体的， 在语音情感识别中， 5.78秒的语音在树莓派3B+上1.17秒就可以处理完； 在语音关键字识别中， 1秒的语音在树莓派3B+上0.68秒就可以处理完。 0078 上述实施例为本发明较佳的实施方式， 但本发明的实施方式并不受上述实施例的 限制， 其他的任何未背离本发明的精神实质与原理下所作的改变、 修饰、 替代、 组合、 简化， 均应为等效的置换方式， 都包含在本发明的保护范围之内。 说明书 6/6 页 9 CN 110853630 A 9 图1(a) 图1(b) 图1(c) 说明书附图 1/3 页 10 CN 110853630 A 10 图1(d) 图2 说明书附图 2/3 页 11 CN 110853630 A 11 图3 说明书附图 3/3 页 12 CN 110853630 A 12 。