基于音频语音处理技术的课堂教学辅助督导方法及系统.pdf

《基于音频语音处理技术的课堂教学辅助督导方法及系统.pdf》由会员分享，可在线阅读，更多相关《基于音频语音处理技术的课堂教学辅助督导方法及系统.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910981205.5 (22)申请日 2019.10.16 (71)申请人 江苏网进科技股份有限公司 地址 215300 江苏省苏州市昆山市玉山镇 登云路288号 (72)发明人 潘成华李参宏 (74)专利代理机构 苏州佳博知识产权代理事务 所(普通合伙) 32342 代理人 唐毅 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/20(2012.01) G06N 3/04(2006.01) G10L 15/16(2006.01) G10L 。

2、25/30(2013.01) G10L 25/51(2013.01) G10L 25/87(2013.01) (54)发明名称 一种基于音频语音处理技术的课堂教学辅 助督导方法及系统 (57)摘要 本发明提出一种基于音频语音处理技术的 课堂教学辅助督导方法和系统。 所述方法包括， 采集教室内的音频信号； 识别采集的所述音频信 号中是否有教学语音； 若有， 则将包含有所述教 学语音的音频信号传送到服务器； 分析所述服务 器接收的来自不同教室的音频信号， 得到与课堂 教学督导相关的指标。 本发明采用了深度神经网 络和卷积神经网络作为分类模型。 通过对比实验 结果表明， 将麦克风阵列采集到的多通道语。

3、音信 号作为输入时可以有效的提升深度神经网络和 卷积神经网络模型的分类效果， 且神经网络模型 的分类效果对于不同类型的噪声环境具有一定 的鲁棒性。 提高了语音采集的效率， 并对采集的 语音进行全面的分析， 安全便捷的呈现分析结 果。 权利要求书1页 说明书5页 附图3页 CN 110705907 A 2020.01.17 CN 110705907 A 1.一种基于音频语音处理技术的课堂教学辅助督导方法， 其特征在于， 所述方法包括： 采集教室内的音频信号； 识别采集的所述音频信号中是否有教学语音； 若是， 则将包含有所述教学语音的音频信号传送到服务器； 分析所述服务器接收的来自不同教室的音频信。

4、号， 得到与课堂教学督导的指标。 2.根据权利要求1所述的课堂教学辅助督导方法， 其特征在于， 所述方法还包括: 通过移动设备查看所述指标， 并对所述指标进行纵向或横向比较。 3.根据权利要求1所述的课堂教学辅助督导方法， 其特征在于， 所述方法还包括: 当发生突发情况或教学事故时自动发送报警信息。 4.根据权利要求1所述的课堂教学辅助督导方法， 其特征在于， 所述识别采集的所述音 频信号中是否有教学语音包括： 利用基于神经网络的语音端点检测技术识别是否有教学语音。 5.根据权利要求4所述的课堂教学辅助督导方法， 其特征在于， 所述基于神经网络的语 音端点检测技术采用深度神经网络和卷积神经网络。

5、作为分类模型。 6.一种基于音频语音处理技术的课堂教学辅助督导系统， 其特征在于， 所述系统包括： 语音采集模块， 用于采集教室内的音频信号； 语音识别模块， 用于识别采集的所述音频信号中是否有教学语音； 通信模块， 用于将包含有所述教学语音的音频信号传送到服务器； 分析模块， 对服务器接收的来自不同教室的音频信号进行分析， 得到与教学督导相关 的指标。 7.根据权利要求6所述的基于音频语音处理技术的课堂教学辅助督导系统， 其特征在 于， 所述系统还包括移动设备， 用于查看所述指标， 并对所述指标进行纵向或横向比较。 8.根据权利要求6所述的基于音频语音处理技术的课堂教学辅助督导系统， 其特征。

6、在 于， 所述系统还包括报警模块， 用于当发生突发情况或教学事故时自动发送报警信息。 9.根据权利要求6所述的基于音频语音处理技术的课堂教学辅助督导系统， 其特征在 于， 所述识别模块通过神经网络的语音端点检测技术识别是否有教学语音。 权利要求书 1/1 页 2 CN 110705907 A 2 一种基于音频语音处理技术的课堂教学辅助督导方法及系统 技术领域 0001 本发明涉及一种课堂教学辅助督导方法及系统， 更具体地， 涉及一种包含课堂语 音采集， 传输， 云端处理及客户端显示等多个步骤的一种基于音频语音处理技术的课堂教 学辅助督导方法及系统。 背景技术 0002 教学督导工作是学校教学管。

7、理工作中的一个重要环节， 在加强教学质量检查、 加 强教学过程监控和提高教师教学质量等方面都有着重要的作用。 但在实际情况中， 通常开 展教学活动的教室数量要远远大于教学督导员的数量， 人工督导的人力成本较高以及对督 导员本身的业务素养也有较高要求， 这都使得传统的全人工形式的教学督导不能覆盖到所 有课程。 同时， 人工教学督导所产生评价结果不可避免地具有高度的主观性和不可重复性。 0003 因此基于信号处理及人工智能技术的客观化教学质量评估及授课内容数字化存 档及检索成为了一个新的趋势， 我们称之为课堂教学辅助督导系统。 一方面， 安装多种传感 器全方位采集课堂内的多模态行为数据进行多种智能。

8、分析可以客观化地描述课堂内的授 课内容及授课情况； 另一方面， 受到学校现有的课堂内网络接口及校内网的基础设施的限 制以及成本方面的考量， 因此， 本发明提出一种基于音频语音处理技术的课堂教学辅助督 导方法及系统。 发明内容 0004 本发明所要解决的技术问题是提供一种可高质量采集语音， 高效率传输语音， 并 准确全面的对采集的语音进行分析的教学辅助督导方法。 为了解决上述问题， 本发明提供 了一种基于音频语音处理技术的课堂教学辅助督导方法， 所述方法包括： 采集教室内的音 频信号； 识别采集的所述音频信号中是否有教学语音； 若有， 则将包含有所述教学语音的音 频信号传送到服务器； 分析所述服。

9、务器接收的来自不同教室的音频信号， 得到与课堂教学 督导相关的指标。 0005 优选的， 所述方法还包括通过移动设备查看所述指标， 并对所述指标进行纵向或 横向比较。 0006 优选的， 所述方法还包括当发生突发情况或教学事故时自动发送报警信息。 0007 优选的， 所述识别采集的所述音频信号中是否有教学语音包括： 利用基于神经网 络的语音端点检测技术识别是否有教学语音。 0008 优选的， 所述基于神经网络的语音端点检测技术采用深度神经网络和卷积神经网 络作为分类模型。 0009 本发明还提供一种基于音频语音处理技术的课堂教学辅助督导系统， 所述系统包 括： 语音采集模块， 用于采集教室内的。

10、音频信号； 语音识别模块， 用于识别采集的所述音频 信号中是否有教学语音； 通信模块， 用于将包含有所述教学语音的音频信号传送到服务器； 分析模块， 对服务器接收的来自不同教室的音频信号进行分析， 得到与教学督导相关的指 说明书 1/5 页 3 CN 110705907 A 3 标。 0010 优选的， 所述系统还包括移动设备， 用于查看所述指标， 并对所述指标进行纵向或 横向比较。 0011 优选的， 所述系统还包括报警模块， 用于当发生突发情况或教学事故时自动发送 报警信息。 0012 优选的， 所述识别模块通过神经网络的语音端点检测技术识别是否有教学语音。 0013 相对于现有技术中的方。

11、案， 本发明的优点： 本发明采用了深度神经网络和卷积神 经网络作为分类模型。 通过对比实验结果表明， 将麦克风阵列采集到的多通道语音信号作 为输入时可以有效的提升深度神经网络和卷积神经网络模型的分类效果， 且神经网络模型 的分类效果对于不同类型的噪声环境具有一定的鲁棒性。 提高了语音采集的效率， 并对采 集的语音进行全面的分析， 安全便捷的呈现分析结果。 附图说明 0014 下面结合附图及实施例对本发明作进一步描述： 0015 图1所示为本发明其中一实施例的基于音频语音处理技术的课堂教学辅助督导方 法的流程示意图。 0016 图2所示为本发明另一实施例的基于音频语音处理技术的课堂教学辅助督导方。

12、法 的流程示意图。 0017 图3所示为本发明一实施例的一种基于音频语音处理技术的课堂教学辅助督导系 统的结构示意图。 0018 图4所示为本发明一实施例的具体的系统结构示意图。 具体实施方式 0019 以下结合具体实施例对上述方案做进一步说明。 应理解， 这些实施例是用于说明 本发明而不限于限制本发明的范围。 实施例中采用的实施条件可以如具体厂家的条件做进 一步调整， 未注明的实施条件通常为常规实验中的条件。 0020 请参考图1所示， 本发明中提供一种基于音频语音处理技术的课堂教学辅助督导 方法， 所述方法包括： 0021 步骤S1， 采集教室内的音频信号。 在教室内， 采集教师在课堂授课。

13、的语音信息， 语 音信号包括了身份， 口音， 内容， 情感等多种信息。 本发明通过有线麦克风， 无线麦克风， 穿 戴式麦克风或麦克风阵列等各种形式采集得到的音频信号。 将采集的音频信号从教室内的 调音台或功放设备上引出， 连接到嵌入式音频发送至移动终端。 0022 步骤S2， 识别采集的所述音频信号中是否有教学语音。 所述移动终端接收来自教 室内的语音， 利用语音端点检测技术判断是否有教学语音， 主要判断是否有人说话。 本发明 主要利用基于神经网络的语音端点检测技术识别是否有教学语音。 现有技术主要采用双门 限法、 方差法和谱熵法等最具代表性的传统语音端点检测算法。 这些传统信号处理方法， 在。

14、 较高信噪比的情况下， 通过调整参数和阈值的办法， 可以得到很好的端点检测效果， 但通过 实验发现， 在不同类型的噪声环境下， 总体的鲁棒性较差。 本发明使用了基于神经网络的端 点检测算法： 采用了深度神经网络和卷积神经网络作为分类模型。 通过对比实验结果表明， 说明书 2/5 页 4 CN 110705907 A 4 将麦克风阵列采集到的多通道语音信号作为输入时可以有效的提升深度神经网络和卷积 神经网络模型的分类效果， 且神经网络模型的分类效果对于不同类型的噪声环境具有一定 的鲁棒性。 0023 本发明通过语音识别模块识别采集的音频信号中是否有教学语音， 本发明的语音 识别模块可以根据给定的。

15、课程教学大纲和课本的文本定制语音识别中的语言模型， 本发明 使用n-gram的语言模型： n-gram是一种统计语言模型， 用来根据前(n-1)个item来预测第n 个item。 在应用层面， 这些item可以是音素(语音识别应用)、 字符(输入法应用)、 词(分词应 用)或碱基对(基因信息)。 一般来讲， 可以从大规模文本或音频语料库生成n-gram模型。 0024 模型假设： 出现当前单词的概率仅与前n-1个单词有关， 即 0025 P(Wk|W1,W2,Wk-1)P(Wk|Wk-n+1,Wk-1) 0026 所以一整段句子出现的概率可表示为 0027 0028 通常通过最大似然估计方法来。

16、估计n-gram语言模型参数计算。 0029 0030 其中C(x)是x在语料中出现的次数， 训练的语料规模越大， 估计出来的参数就越可 靠。 一般来说n取3或者4性能能够达到要求。 对于参数估计概率为0的情况， 使用数据平滑的 方法进行平滑， 赋给这些情况以较小的概率。 常用的平滑算法有Good-Turing平滑、 加法平 滑、 Katz平滑、 插值平滑， 等等。 0031 步骤S3， 若有， 则将包含有所述教学语音的音频信号传送到服务器。 本发明通过网 络或射频方式将包含有教学语音的信号发送给私有云上的服务器。 0032 步骤S4， 分析所述服务器接收的来自不同教室的音频信号， 得到与课堂。

17、教学督导 相关的指标。 私有云上的服务器接收来自不同教室的音频信号， 调用声纹识别， 语种方言识 别， 语音识别， 情感识别， 说话人日志等语音技术来得到一系列与课堂教学督导相关的指 标， 如考勤， 教师普通话水平， 课堂授课语音转文本字幕， 关键词检索， 主题提取， 摘要生成， 教学大纲关联度分析， 教师授课语音流利程度， 语法正确性， 总时长， 总字数， 授课教师语音 的情感及韵律分析等指标。 0033 其中， 本步骤中的语音识别仍可采用步骤3中的语音识别方法， 另外， 因为老师授 课时并不是只讲课本的文本， 或者可能语音识别系统初来对某些老师的某些口音识别并不 准确， 因此， 需要将做出。

18、大纲课程专用语言模型与通用语言模型做合并处理， 使用真实老师 授课时所讲话的文本测试混淆度， 以期望测试不同混合比例的效果来改善模型。 具体的， 对 采集的语音的识别结果和识别音频进行重新标注， 之后加入到训练语音识别模型的训练数 据中重新训练模型。 这样新生成的语音识别系统对此老师的此口音识别更加准确， 达到了 对老师口音的自适应的迭代改进。 0034 本发明语音识别后与教学大纲进行比对， 采用TF-IDF模型对识别结果和教学大纲 说明书 3/5 页 5 CN 110705907 A 5 两大文档进行相关度计算。 具体的， 对两大文档进行词频统计， 构建词袋字典模型， key为文 档中出现过。

19、的词， value为这个词的索引序号。 那么每个文档都可以用词袋表示成向量， 向 量的索引为词袋模型的value， 索引上的值为本文档中出现这个词的频数。 0035 因为中文文本中最常见的词是 “的” 、“是” 、“有” 这样的没有实际含义的词。 所以要 对这些没有含义的词给予一个小的权重， 出现频数少但是关键词的词要赋予大的权重。 使 用IDF逆文档频率可完成。 0036 0037 0038 其中， TF表示词频， 即一个词在这篇文本中出现的频率； IDF表示逆文档频率， 即一 个词在所有文本中出现的频率倒数。 因此， 一个词在某文本中出现的越多， 在其他文本中出 现的越少， 则这个词能很好。

20、地反映这篇文本的内容， 权重就越大。 最后将两个词袋向量求距 离可以得到两个文档的相关度。 0039 请参考图2所示， 在本发明的另一实施例中， 所述基于音频语音处理技术的课堂教 学辅助督导方法还包括： 0040 步骤S5， 通过移动设备查看所述指标， 并对所述指标进行纵向或横向比较。 用户可 通过网页客户端或者移动设备APP来查看各种分析的结果， 并对分析结果进行横向及纵向 的比较， 并将比较结果通过网页客户端或者移动设备APP进行显示， 方便用户进行选择。 0041 步骤S6， 当发生突发情况或教学事故时自动发送报警信息。 本发当教学过程中发 生突发分情况或存在潜在的教学事故的情况下， 会。

21、自动发送短信和邮件进行提醒， 辅助开 展课堂教学的督导工作。 0042 本发明提供的基于音频语音处理技术的课堂教学辅助督导方法， 采集教师在课堂 授课的语音信息， 将语音信号经过压缩以后， 码率非常小， 方便于利用现有校内网络传输全 校的课室的数据， 安全可靠且数据体积小， 方便存储。 同时， 对语音进行识别， 处理和分析的 模块在终端和云端对计算量的要求要明显小于视频， 大大节约整体系统的部署成本。 最后， 使用课室内现有的多种音频采集方式， 可以不限制教师的活动范围， 可在不改变教学方式 的情况下， 从调音台或功放外接音频通过智能化转发终端发送到私有云的服务器上， 无缝 对接云端的语音处理。

22、模块。 0043 请参考图3所示， 本发明还提供一种基于音频语音处理技术的课堂教学辅助督导 系统， 包括语音采集模块10， 语音识别模块20， 通信模块30和分析模块40， 其中， 语音采集模 块10用于采集教室内的音频信号， 并将采集的音频信号从教室内的调音台或功放设备上引 出， 连接到嵌入式音频发送至移动终端50。 所述移动终端50接收来自教室内的语音， 利用语 音端点检测技术判断是否有教学语音， 主要判断是否有人说话。 将包含的有教学语音的音 频信号通过通信模块40发送给私有云上的服务器60。 分析模块40对服务器60接收的来自不 同教室的音频信号进行分析， 得到与教学督导相关的指标。 。

23、0044 请参考图4所示， 在教室内， 采集教师在课堂授课的语音信息， 语音信号包括了身 份， 口音， 内容， 情感等多种信息。 本发明通过有线麦克风， 无线麦克风， 穿戴式麦克风或麦 说明书 4/5 页 6 CN 110705907 A 6 克风阵列等各种形式采集得到的音频信号。 将采集的音频信号从教室内的调音台或功放设 备上引出， 连接到嵌入式音频发送终端服务器。 终端服务器采集教室内的语音， 利用语音端 点检测技术判断是否有人在说话或是否有教学语音， 如有则通过网络或射频方式发送给私 有云上的服务器。 私有云端服务器接收来自不同教室的音频语音数据， 调用声纹识别， 语种 方言识别， 语音。

24、识别， 情感识别， 说话人日志等语音技术来得到一系列与课堂教学督导相关 的指标， 如考勤， 教师普通话水平， 课堂授课语音转文本字幕， 关键词检索， 主题提取， 摘要 生成， 教学大纲关联度分析， 教师授课语音流利程度， 语法正确性， 总时长， 总字数， 授课教 师语音的情感及韵律分析等指标。 0045 在本发明的另一实施例还包括移动设备， 用于查看分析后的指标， 并对所述指标 进行纵向或横向比较。 用户可通过网页客户端或者移动设备APP来查看各种分析的结果， 进 行横向及纵向的比较， 并将比较结果通过网页客户端或者移动设备APP进行显示， 方便用户 进行选择。 0046 本发明的另一实施例中。

25、， 还包括报警模块， 用于当发生突发情况或教学事故时自 动发送报警信息。 系统也将在有突发状况或潜在教学事故的情况下， 自动发送短信和邮件 进行预警， 辅助开展课堂教学的督导工作 0047 上述实施例只为说明本发明的技术构思及特点， 其目的在于让熟悉此项技术的人 是能够了解本发明的内容并据以实施， 并不能以此限制本发明的保护范围。 凡如本发明精 神实质所做的等效变换或修饰， 都应涵盖在本发明的保护范围之内。 说明书 5/5 页 7 CN 110705907 A 7 图1 说明书附图 1/3 页 8 CN 110705907 A 8 图2 图3 说明书附图 2/3 页 9 CN 110705907 A 9 图4 说明书附图 3/3 页 10 CN 110705907 A 10 。