书签 分享 收藏 举报 版权申诉 / 17

对用户语音信号进行处理的方法及其系统.pdf

  • 上传人:b***
  • 文档编号:5879985
  • 上传时间:2019-03-28
  • 格式:PDF
  • 页数:17
  • 大小:1.17MB
  • 摘要
    申请专利号:

    CN201410563622.5

    申请日:

    2014.10.21

    公开号:

    CN105529038A

    公开日:

    2016.04.27

    当前法律状态:

    实审

    有效性:

    审中

    法律详情:

    实质审查的生效IPC(主分类):G10L 25/78申请日:20141021|||公开

    IPC分类号:

    G10L25/78(2013.01)I; G10L15/16; H04M3/493; H04M3/51

    主分类号:

    G10L25/78

    申请人:

    阿里巴巴集团控股有限公司

    发明人:

    李晓辉; 许敏强

    地址:

    英属开曼群岛大开曼资本大厦一座四层847号邮箱

    优先权:

    专利代理机构:

    上海一平知识产权代理有限公司 31266

    代理人:

    须一平;成春荣

    PDF完整版下载: PDF下载
    内容摘要

    本发明涉及语音技术领域,公开了一种对用户语音信号进行处理的方法及其系统。本发明包括步骤:服务器接收用户语音信号,该用户语音信号混合了该语音终端通过话筒接收到的外部语音和该语音终端自身的双音多频按键音;服务器对收到的用户语音信号进行频谱分析;根据频谱中预先设定的按键对应的双音多频目标频率分量的大小,判断在通话过程中预先设定的按键是否被按下;如果被按下,则判定用户当前的语音输入已经结束。本发明可以高效而准确地判断语音是否结束。

    权利要求书

    1.一种对用户语音信号进行处理的方法,用户可通过输入特定按键表
    示语音结束,其特征在于,包括以下步骤:
    服务器接收用户语音信号,该用户语音信号混合了该语音终端通过话筒
    接收到的外部语音和该语音终端自身的双音多频按键音;
    服务器对收到的用户语音信号进行频谱分析,得到用户语音信号的频
    谱;
    根据所述频谱中预先设定的按键对应的双音多频目标频率分量的大小,
    判断在通话过程中预先设定的按键是否被按下;
    如果预先设定的按键被按下,则判定用户当前的语音输入已经结束。
    2.根据权利要求1所述的对用户语音信号进行处理的方法,其特征在
    于,在所述判定用户当前的语音输入已经结束的步骤之后,还包括步骤:
    停止语音信号的录制并将录制的语音信号发送给语音识别服务器进行
    识别,根据识别结果查询应答内容服务器得到应答结果,将应答结果转换为
    语音信号发送给语音终端。
    3.根据权利要求1所述的对用户语音信号进行处理的方法,其特征在
    于,在所述"根据所述频谱中预先设定的按键对应的双音多频目标频率分量
    的大小,判断在通话过程中预先设定的按键是否被按下"的步骤中,包括以
    下子步骤:
    根据所述用户语音信号的频谱,检测各帧信号中所述预先设定的按键对
    应的双音多频目标频率分量的能量占全频带能量的比例是否超过第一阈值,
    如果超过,则判定该帧信号为所述按键对应的双音多频信号;
    将所述用户语音信号中为所述按键对应的双音多频信号的连续多帧的
    帧数与第二阈值进行比较;
    如果所述帧数超过所述第二阈值,再检测所述连续多帧的前后帧是否不
    是所述按键对应的双音多频信号;
    如果所述连续多帧的前后帧不是所述按键对应的双音多频信号,则判定
    在通话过程中预先设定的按键被按下。
    4.根据权利要求1所述的对用户语音信号进行处理的方法,其特征在
    于,在所述“根据所述频谱中预先设定的按键对应的双音多频目标频率分量
    的大小,判断在通话过程中预先设定的按键是否被按下”的步骤之后,还包
    括步骤:
    对所述用户语音信号进行语音活动检测,判断所述用户语音信号中静音
    时间是否达到设定的连续静音长度阈值,如果达到该连续静音长度阈值则判
    定为用户当前的语音输入已经结束。
    5.根据权利要求4所述的对用户语音信号进行处理的方法,其特征在
    于,在所述“对所述用户语音信号进行语音活动检测,判断所述用户语音信
    号中静音时间是否达到设定的连续静音长度阈值,如果达到该连续静音长度
    阈值则判定为用户当前的语音输入已经结束”的步骤中,包括以下子步骤:
    对所述用户语音信号进行特征提取;
    将所述从用户语音信号中提取的特征输入到训练过的神经网络中,所述
    神经网络将所述输入的特征判别为静音和语音的概率;
    根据所述静音和语音的概率判决为静音或者语音;
    根据所述静音或者语音的判决结果,计算连续静音的长度,如果达到设
    定的连续静音长度阈值,则判定为用户当前的语音输入已经结束。
    6.根据权利要求5所述的对用户语音信号进行处理的方法,其特征在
    于,在所述对用户语音信号进行特征提取的步骤中,所述特征包括PLP特
    征和基音信息,所述PLP特征和基音信息的一阶差分和二阶差分形成的42
    维的PLP特征。
    7.根据权利要求4所述的对用户语音信号进行处理的方法,其特征在
    于,在所述“对所述用户语音信号进行语音活动检测,判断所述用户语音信
    号中静音时间是否达到设定的连续静音长度阈值,如果达到该连续静音长度
    阈值则判定为用户当前的语音输入已经结束”的步骤之前,还包括步骤:
    经过一个语音识别系统,获取语音数据和静音数据,并以获取到的语音
    数据和静音数据作为训练集合来训练神经网络。
    8.根据权利要求7所述的对用户语音信号进行处理的方法,其特征在
    于,所述语音识别系统为基于隐马尔科夫模型和深度神经网络的语音识别系
    统,所述训练神经网络的步骤包括基于受限玻尔兹曼机的预训练和基于反向
    传播算法的训练。
    9.一种对用户语音信号进行处理的系统,其特征在于,包括以下模块:
    接收模块,用于接收用户语音信号,该用户语音信号混合了该语音终端
    通过话筒接收到的外部语音和该语音终端自身的双音多频按键音;
    频谱分析模块,用于对收到的用户语音信号进行频谱分析,得到用户语
    音信号的频谱;
    预设按键状态检测模块,用于根据所述频谱中预先设定的按键对应的双
    音多频目标频率分量的大小,判断在通话过程中预先设定的按键是否被按
    下;
    语音结束判定模块,用于如果预先设定的按键被按下,则判定用户当前
    的语音输入已经结束。
    10.根据权利要求9所述的对用户语音信号进行处理的系统,其特征
    在于,还包括:
    语音识别应答模块,用于如果判定用户当前的语音输入已经结束,则停
    止语音信号的录制,并将录制的语音信号发送给语音识别服务器进行识别,
    再根据识别结果查询应答内容服务器得到应答结果并将应答结果转换为语
    音信号发送给语音终端。
    11.根据权利要求9所述的对用户语音信号进行处理的系统,其特征
    在于,在所述预设按键状态检测模块中,包括以下子模块:
    第一检测子模块,用于根据所述用户语音信号的频谱,检测各帧信号中
    所述预先设定的按键对应的双音多频目标频率分量的能量占全频带能量的
    比例是否超过第一阈值,如果超过,则判定该帧信号为所述按键对应的双音
    多频信号;
    帧数比较子模块,用于将所述用户语音信号中为所述按键对应的双音多
    频信号的连续多帧的帧数与第二阈值进行比较;
    第二检测子模块,用于如果所述帧数超过所述第二阈值,再检测所述连
    续多帧的前后帧是否不是所述按键对应的双音多频信号;
    预设按键状态判定子模块,用于如果所述连续多帧的前后帧不是所述按
    键对应的双音多频信号,则判定在通话过程中预先设定的按键被按下。
    12.根据权利要求9所述的对用户语音信号进行处理的系统,其特征
    在于,还包括:
    语音活动检测模块,用于对所述用户语音信号进行语音活动检测,判断
    所述用户语音信号中静音时间是否达到设定的连续静音长度阈值,如果达到
    该连续静音长度阈值则判定为用户当前的语音输入已经结束。
    13.根据权利要求12所述的对用户语音信号进行处理的系统,其特征
    在于,在所述语音活动检测模块中,包括以下子模块:
    特征提取子模块,用于对所述用户语音信号进行特征提取;
    神经网络子模块,用于将所述从用户语音信号中提取的特征输入到训练
    过的神经网络中,所述神经网络将所述输入的特征判别为静音和语音的概
    率;
    语音和静音判决子模块,用于根据所述静音和语音的概率判决为静音或
    者语音;
    连续静音长度计算子模块,根据所述静音或者语音的判决结果,计算连
    续静音的长度,如果达到设定的连续静音长度阈值,则判定为用户当前的语
    音输入已经结束。
    14.根据权利要求12所述的对用户语音信号进行处理的系统,其特征
    在于,还包括:
    神经网络训练模块,用于经过一个语音识别系统,获取语音数据和静音
    数据,并以获取到的语音数据和静音数据作为训练集合来训练神经网络。
    15.根据权利要求14所述的对用户语音信号进行处理的系统,其特征
    在于,所述语音识别系统为基于隐马尔科夫模型和深度神经网络的语音识别
    系统,所述训练神经网络的步骤包括基于受限玻尔兹曼机的预训练和基于反
    向传播算法的训练。

    说明书

    对用户语音信号进行处理的方法及其系统

    技术领域

    本发明涉及智能客服语音领域,特别涉及语音信号处理的技术。

    背景技术

    随着智能客服系统的不断发展,让客户用一句话描述需要咨询的问题并
    据此进行机器人自动派单成为系统的重要组成部分,也是提高用户感受的重
    要途径。因此自动检测客户语音的结束点成为系统的组成部分。

    传统客服系统采用按键操作输入信息和客户和人工客服语言交互相结
    合的方式,目前常用的是RFC2833信令方式。

    在该方法中,按键操作阶段#号键做为按键操作结束标志,客户端发送
    2833信令,通过event字段对客户语音和双音多频信号先进行编码,而编
    码方式是不一样的,此外需要根据RFC2833协议对数据进行封装,服务器
    通过解析数据包,监听双音多频(“DualToneMultiFrequency”,简称DTMF)
    信号并对语音和DTMF信号加以区分。对数据的封装一定程度上增加了网络
    传输的数据量。

    此外有些系统不能够支持2833信令这种方式。

    因此,随着智能客服系统的不断发展,2833信令方法在某些应用条件下
    已经无法满足实际需求,我们需要探究其它处理方法。

    发明内容

    本发明的目的在于提供一种对用户语音信号进行处理的方法及其系统,
    可以直接对混合了外部语音和双音多频按键音的用户语音信号进行处理,以
    提升用户语音输入的结束点确定的便利性。

    为解决上述技术问题,本发明的实施方式公开了一种对用户语音信号进
    行处理的方法,用户可通过输入特定按键表示语音结束,包括以下步骤:

    服务器接收用户语音信号,,该用户语音信号混合了该语音终端通过话
    筒接收到的外部语音和该语音终端自身的双音多频按键音;

    服务器对收到的用户语音信号进行频谱分析,得到用户语音信号的频
    谱;

    根据频谱中预先设定的按键对应的双音多频目标频率分量的大小,判断
    在通话过程中预先设定的按键是否被按下;

    如果预先设定的按键被按下,则判定用户当前的语音输入已经结束。

    本发明的实施方式还公开了一种对用户语音信号进行处理的系统,包括
    以下模块:

    接收模块,用于接收用户语音信号,,该用户语音信号混合了该语音终
    端通过话筒接收到的外部语音和该语音终端自身的双音多频按键音;

    频谱分析模块,用于对收到的用户语音信号进行频谱分析,得到用户语
    音信号的频谱;

    预设按键状态检测模块,用于根据频谱中预先设定的按键对应的双音多
    频目标频率分量的大小,判断在通话过程中预先设定的按键是否被按下;

    语音结束判定模块,用于如果预先设定的按键被按下,则判定用户当前
    的语音输入已经结束。

    本发明实施方式与现有技术相比,主要区别及其效果在于:

    本文提出的方法可以直接对用户语音信号进行处理,可以同时兼容语音
    终端通过话筒接收到的外部语音和该语音终端自身的双音多频按键音,而不
    用监听2833信令,对于不支持通过2833信令以检测语音结束的系统也能够
    适用,适用范围更广。

    进一步地,判定语音结束后,语音识别服务器对语音信号进行识别,并
    根据识别结果查询到应答结果反馈给语音终端,用户仅通过描述需要咨询的
    问题即可得到应答服务,明显提高了用户感受。

    进一步地,不仅仅根据各帧信号中预先设定的按键对应的双音多频目标
    频率分量的能量占比判断是否含有预先设定的按键音,还根据连续多帧的频
    谱结构组合判断连续多帧的前后帧不是按键对应的双音多频信号,避免了在
    语音终端通过话筒接收到的外部语音中含有预先设定的按键音的双音多频信
    号时,误导为检测到预先设定的按键音而判断语音结束的情况。

    进一步地,本发明中结合预先设定的按键音的检测和语音活动检测,双
    重检测的方案降低了语音结束的漏检率。

    附图说明

    图1是本发明第一实施方式中一种对用户语音信号进行处理的方法的流
    程示意图;

    图2是本发明第二实施方式中一种对用户语音信号进行处理的方法的流
    程示意图;

    图3是本发明第二实施方式中一种智能客服系统IVR中对电话语音输入
    数据的操作流程示意图;

    图4是本发明第三实施方式中智能客服机器人语音处理流程示意图;

    图5本发明第三实施方式中#号键检测流程示意图;

    图6本发明第三实施方式中VAD检测流程示意图;

    图7是本发明第四实施方式中一种对用户语音信号进行处理的系统的结
    构示意图;

    图8是本发明第五实施方式中一种对用户语音信号进行处理的系统的结
    构示意图。

    具体实施方式

    在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细
    节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于
    以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保
    护的技术方案。

    为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发
    明的实施方式作进一步地详细描述。

    本发明第一实施方式涉及一种对用户语音信号进行处理的方法,图1是
    该对用户语音信号进行处理的方法的流程示意图。

    具体地说,如图1所示,该对用户语音信号进行处理的方法包括以下步
    骤:

    步骤101,服务器接收用户语音信号,该用户语音信号混合了该语音终
    端通过话筒接收到的外部语音和该语音终端自身的双音多频按键音。

    可以理解,用户语音信号中所混合的表示语音结束的语音终端自身的双
    音多频(“DualToneMultiFrequency”,简称DTMF)按键音可以为#号键,
    也可以为其它约定好的双音多频按键。

    此外,支持双音多频的语音终端包括固定电话,移动电话等等。

    本发明各实施方式所称的服务器可以是一台服务器,也可以是一个服务
    器集群,或者是云。服务器所涉及的接收、分析、判断等操作可以在同一台
    服务器上完成,也可以在多台服务器上以协作方式完成。

    此后进入步骤102,服务器对收到的用户语音信号进行频谱分析,得到
    用户语音信号的频谱。

    此后进入步骤103,根据频谱中预先设定的按键对应的双音多频目标频
    率分量的大小,判断在通话过程中预先设定的按键是否被按下。

    此后进入步骤104,如果预先设定的按键被按下,则判定用户当前的语
    音输入已经结束。

    本实施方式可以直接对用户语音信号进行处理,可以同时兼容语音终端
    通过话筒接收到的外部语音和该语音终端自身的双音多频按键音,而不用监
    听2833信令,对于不支持通过2833信令以检测语音结束的系统也能够适用,
    适用范围更广。

    此外,在一个优选例中,步骤103包括以下子步骤:

    根据用户语音信号的频谱,检测各帧信号中预先设定的按键对应的双音
    多频目标频率分量的能量占全频带能量的比例是否超过第一阈值,如果超过,
    则判定该帧信号为按键对应的双音多频信号;

    将用户语音信号中为按键对应的双音多频信号的连续多帧的帧数与第
    二阈值进行比较;

    如果帧数超过第二阈值,再检测连续多帧的前后帧是否不是按键对应的
    双音多频信号;

    如果连续多帧的前后帧不是按键对应的双音多频信号,则判定在通话过
    程中预先设定的按键被按下。

    也就是说DTMF信号时长有一个范围,根据这个范围检测连续多帧语音
    的频率结构,通过连续多帧的频谱结构,组合判断。比如对frame1到frame5
    分析,frame2,3,4符合DTMF目标频率的要求,同时frame1,frame5不
    符合DTMF目标频率的要求,从而来判定检测到DTMF信号,即检测到预先
    设定的按键音。

    在该优选例中,判定检测到预先设定的按键音,不仅需要各帧信号中预
    先设定的按键对应的双音多频目标频率分量的能量占比符合要求,同时连续
    多帧的前后帧还必须不是按键音对应的双音多频信号。这样即使外部语音中
    含有预先设定的按键音对应的双音多频信号时,也不会误检为预先设定的按
    键音。

    此外,在检测各帧信号中预先设定的按键对应的双音多频目标频率分量
    的能量占全频带能量的比例是否超过第一阈值时,可以根据傅里叶变换提取
    频谱信息,计算预先设定的按键对应的双音多频目标频率的幅度平方值,并
    将其与第一阈值进行比较,若果高于第一阈值,则判断为按键对应的双音多
    频目标频率分量的能量占全频带能量的比例超过第一阈值。在本发明的其它
    实施方式中,也可以通过其他方式计算预先设定的按键对应的双音多频目标
    频率的能量占全频带能量的比例,而不局限于此。

    当然,对于步骤103中在通话过程中预先设定的按键是否被按下的方法
    并不限于上述优选例。例如,可以判断是否最近的N帧中有M帧满足预先
    设定的按键对应的双音多频目标频率分量的能量占全频带能量的比例是否超
    过第一阈值的条件,其中N和M是预先定义的正整数,N>M。

    本发明第二实施方式涉及一种对用户语音信号进行处理的方法,图2是
    该对用户语音信号进行处理的方法的流程示意图。

    第二实施方式在第一实施方式的基础上进行了改进,主要改进之处在
    于:判定语音结束后,语音识别服务器对语音信号进行识别,并根据识别结
    果查询到应答结果反馈给语音终端,用户仅通过描述需要咨询的问题即可得
    到应答服务,明显提高了用户感受。

    具体地说,在步骤104之后,还包括步骤105:

    停止语音信号的录制并将录制的语音信号发送给语音识别服务器进行
    识别,根据识别结果查询应答内容服务器得到应答结果,将应答结果转换为
    语音信号发送给语音终端。

    在一个优选例中,用户通过电话接通服务器,并在选择了相应的服务选
    项后开始语音信号的录制。

    在另一个优选例中,用户通过电话接通服务器后,服务器播放一段提示
    语音,然后自动进入语音信号的录制状态。

    在本发明的各实施方式中,服务器指提供服务的设备,包括传统意义上
    计算机型的服务器,也包括电话交换机。

    在本实施方式中,语音识别服务器对语音信号进行识别,并根据识别结
    果查询到应答结果反馈给语音终端,用户仅通过电话描述需要咨询的问题即
    可得到应答服务,明显提高了用户感受。

    此外,可以理解,根据识别结果查询应答内容服务器得到应答结果后,
    除了将应答结果转换为语音信号发送给语音终端外,还可以对应答结果进行
    文本分析并转接到相应的客服人员,根据用户的需求提供形式多样的服务。

    作为本实施方式的一个优选例,智能客服系统IVR中对电话语音输入数
    据的操作流程示意图如图3所示,对电话语音输入进行语音结束自动检测;
    根据语音结束自动检测的结果,将语音发送至自动语音识别服务器
    (“AutomaticSpeechRecognition”,简称ASR)进行识别,ASR识别结果返
    回给自动派单机器人;自动派单机器人通过对ASR识别返回的结果文本分
    析转并接到相应的客服人员。

    本发明第三实施方式涉及一种对用户语音信号进行处理的方法。第三实
    施方式在第一或第二实施方式的基础上进行了改进,主要改进之处在于:结
    合预先设定的按键音的检测和语音活动检测,双重检测的方案降低了语音结
    束的漏检率。

    具体地说,在步骤103之后,还包括步骤:

    对用户语音信号进行语音活动检测(VoiceActivityDetection,简称
    VAD),判断用户语音信号中静音时间是否达到设定的连续静音长度阈值,
    如果达到该连续静音长度阈值则判定为用户当前的语音输入已经结束。

    所谓语音活动检测,是指通过处理连续语音,检测其中的语音部分和静
    音部分;通过语音活动检测,我们可以分析连续语音中静音的长度,从而根
    据静音长度来判断语音是否结束,在本实施方式中,将预先设定的按键音的
    检测与VAD相结合,共同实现语音结束自动检测。

    此外,可以理解,在本发明中,既可以先进行预先设定的按键音的检测,
    也可以先进行语音活动检测,而不局限于固定的模式。

    本实施方式结合预先设定的按键音的检测和语音活动检测,如果预先设
    定的按键被按下或者连续静音长度达到预设阈值,则判定用户当前的语音输
    入已经结束,双重检测的方案降低了语音结束的漏检率。

    作为本实施方式的一个优选例,智能客服机器人语音处理流程示意图如
    图4所示。其中,对于客户发送到服务器的电话语音,先进行#号键检测,
    再进行VAD检测,若检测到语音结束,则将语音发送至ASR服务器。

    用户打电话时,其语音内容(通过话筒接收到的外部语音)及相应的按
    键音(语音终端自身的双音多频按键音)通过同一通道发送。系统先检测#
    号键,然后根据#号键检测的结果再进行VAD检测;假设#号键检测和VAD
    检测的漏检率分别为a%和b%,则通过#号键检测和VAD检测双重检测的漏
    检率为a%*b%,降低语音结束的漏检率;同时VAD检测可以根据实际应用,
    考虑语音中静音段的长度来检测语音是否结束。

    其中,根据国际电信联盟(ITU)的规定,#号键是两个固定频率正弦信号
    的叠加,称为双音多频(DTMF)信号;#号键对应的两个频率分别为941Hz和
    1477Hz,因此#号键检测就是检测这两个频率分量,#号键检测流程示意图
    如图5所示,对接收的电话语音进行傅里叶变换,根据功率谱检测目标频率
    能量占全频带能量比例,若比例符合要求,则判定为检测到#号键,并发送
    语音数据到VAD检测。

    在另一个优选例中,在上述“对用户语音信号进行语音活动检测,判断
    用户语音信号中静音时间是否达到设定的连续静音长度阈值,如果达到该连
    续静音长度阈值则判定为用户当前的语音输入已经结束”的步骤中,包括以
    下子步骤:

    对用户语音信号进行特征提取;

    将从用户语音信号中提取的特征输入到训练过的神经网络中,神经网络
    将输入的特征判别为静音和语音的概率;

    根据静音和语音的概率判决为静音或者语音;

    根据静音或者语音的判决结果,计算连续静音的长度,如果达到设定的
    连续静音长度阈值,则判定为用户当前的语音输入已经结束。

    在一个优选例中,神经网络为深度神经网络,深度神经网络判别静音和
    语音的概率时具有更高的准确率。

    在一个优选例中,在对用户语音信号进行特征提取的子步骤中,特征包
    括PLP特征和基音信息,PLP特征和基音信息的一阶差分和二阶差分形成的
    42维的PLP特征。

    在一个优选例中,在“对用户语音信号进行语音活动检测,判断用户语
    音信号中静音时间是否达到设定的连续静音长度阈值,如果达到该连续静音
    长度阈值则判定为用户当前的语音输入已经结束”的步骤之前,还包括步骤:

    经过一个语音识别系统,获取语音数据和静音数据,并以获取到的语音
    数据和静音数据作为训练集合来训练深度神经网络。

    在一个优选例中,语音识别系统为基于隐马尔科夫模型和深度神经网络
    的语音识别系统,训练深度神经网络的步骤包括基于受限玻尔兹曼机的预训
    练和基于反向传播算法的训练。

    传统的VAD检测使用的是时域指标,比如短时过零率、短时能量;在
    本发明的处理方法中,使用的是基于深度神经网络的算法,相比于传统时域
    算法,该算法对语音起始和结束点的检测准确率更高,作为本实施方式的一
    个优选例,VAD检测流程示意图如图6所示,其中特征提取模块提取线性感
    知预测(PerceptualLinearPrediction,PLP)特征和基音信息,共14维;
    同时添加其一阶差分和二阶差分,形成42维的PLP特征。

    深度神经网络模块是一个7层的多层感知网络;输入是从语音信号提取
    的PLP特征;输出是将输入特征判别为静音和语音的概率。语音/静音判决模
    块根据神经网络输出的语音概率、静音概率进行判断,如果静音概率较大,
    则判断为静音,反之判断为语音。

    检测语音结束终点模块根据语音/静音判决结果,计算连续静音的长度,
    如果达到设定的连续静音长度阈值,则检测到语音结束终点;然后根据此语
    音结束终点把相应的语音内容发送至ASR服务器。

    本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管
    本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类
    型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非
    易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,
    存储器可以例如是可编程阵列逻辑(ProgrammableArrayLogic,简称
    “PAL”)、随机存取存储器(RandomAccessMemory,简称“RAM”)、
    可编程只读存储器(ProgrammableReadOnlyMemory,简称“PROM”)、
    只读存储器(Read-OnlyMemory,简称“ROM”)、电可擦除可编程只读
    存储器(ElectricallyErasableProgrammableROM,简称“EEPROM”)、
    磁盘、光盘、数字通用光盘(DigitalVersatileDisc,简称“DVD”)等等。

    本发明第四实施方式涉及一种对用户语音信号进行处理的系统,图7是
    该对用户语音信号进行处理的系统的结构示意图。

    具体地说,该对用户语音信号进行处理的系统包括以下模块:

    接收模块,用于接收用户语音信号,该用户语音信号混合了该语音终端
    通过话筒接收到的外部语音和该语音终端自身的双音多频按键音;

    频谱分析模块,用于对收到的用户语音信号进行频谱分析,得到用户语
    音信号的频谱;

    预设按键状态检测模块,用于根据频谱中预先设定的按键对应的双音多
    频目标频率分量的大小,判断在通话过程中预先设定的按键是否被按下;

    语音结束判定模块,用于如果预先设定的按键被按下,则判定用户当前
    的语音输入已经结束。

    本实施方式提出的处理系统可以直接对用户语音信号进行处理,可以同
    时兼容语音终端通过话筒接收到的外部语音和该语音终端自身的双音多频按
    键音,而不用监听2833信令,对于不支持通过2833信令以检测语音结束的
    系统也能够适用,适用范围更广。

    此外,可以理解,客户所输入的表示语音结束的预先设定的按键可以为
    #号键,也可以为其它约定好的按键。

    支持DTMF的语音终端包括固定电话,移动电话等等。

    在目前常用的RFC2833信令方式中,通过event字段对客户语音和
    DTMF信号进行编码且编码方式是不一样的,并根据RFC2833协议对数据
    进行封装,服务器通过解析数据包,监听DTMF信号并对语音和DTMF信号
    加以区分。

    在一个优选例中,在预设按键状态检测模块中,包括以下子模块:

    第一检测子模块,用于根据用户语音信号的频谱,检测各帧信号中预先
    设定的按键对应的双音多频目标频率分量的能量占全频带能量的比例是否超
    过第一阈值,如果超过,则判定该帧信号为按键对应的双音多频信号;

    帧数比较子模块,用于将用户语音信号中为按键对应的双音多频信号的
    连续多帧的帧数与第二阈值进行比较;

    第二检测子模块,用于如果帧数超过第二阈值,再检测连续多帧的前后
    帧是否不是按键对应的双音多频信号;

    预设按键状态判定子模块,用于如果连续多帧的前后帧不是按键对应的
    双音多频信号,则判定在通话过程中预先设定的按键被按下。

    也就是说DTMF信号时长有一个范围,根据这个范围检测连续多帧语音
    的频率结构,通过连续多帧的频谱结构,组合判断。比如对frame1到frame5
    分析,frame2,3,4符合DTMF目标频率的要求,同时frame1,frame5不
    符合DTMF目标频率的要求,从而来判定检测到DTMF信号,即检测到预先
    设定的按键音。

    在该优选例中,判定检测到预先设定的按键音,不仅需要各帧信号中预
    先设定的按键对应的双音多频目标频率分量的能量占比符合要求,同时连续
    多帧的前后帧还必须不是按键音对应的双音多频信号。这样即使外部语音中
    含有预先设定的按键音对应的双音多频信号时,也不会误检为预先设定的按
    键音。

    此外,在检测各帧信号中预先设定的按键对应的双音多频目标频率分量
    的能量占全频带能量的比例是否超过第一阈值时,可以根据傅里叶变换提取
    频谱信息,计算预先设定的按键对应的双音多频目标频率的幅度平方值,并
    将其与第一阈值进行比较,若果高于第一阈值,则判断为按键对应的双音多
    频目标频率分量的能量占全频带能量的比例超过第一阈值。在本发明的其它
    实施方式中,也可以通过其他方式计算预先设定的按键对应的双音多频目标
    频率的能量占全频带能量的比例,而不局限于此。

    第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与
    第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施
    方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提
    到的相关技术细节也可应用在第一实施方式中。

    本发明第五实施方式涉及一种对用户语音信号进行处理的系统,图8是
    该对用户语音信号进行处理的系统的结构示意图。

    第五实施方式在第四实施方式的基础上进行了改进,主要改进之处在
    于:

    还包括语音识别应答模块,用于如果判定用户当前的语音输入已经结
    束,则停止语音信号的录制,并将录制的语音信号发送给语音识别服务器进
    行识别,再根据识别结果查询应答内容服务器得到应答结果并将应答结果转
    换为语音信号发送给语音终端。

    判定语音结束后,语音识别服务器对语音信号进行识别,并根据识别结
    果查询到应答结果反馈给语音终端,用户仅通过描述需要咨询的问题即可得
    到应答服务,明显提高了用户感受。

    此外,可以理解,根据识别结果查询应答内容服务器得到应答结果后,
    除了将应答结果转换为语音信号发送给语音终端外,还可以对应答结果进行
    文本分析并转接到相应的客服人员,根据用户的需求提供形式多样的服务。

    预先设定的按键音为#号键。

    此外,可以理解,#号键对应的第一频率和第二频率分别为941Hz和
    1477Hz。在本发明的其它实施方式中,预先设定的按键也可以为其它按键,
    如*号键,或两个或更多个键的组合,如12、997等。

    第二实施方式是与本实施方式相对应的方法实施方式,本实施方式可与
    第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施
    方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提
    到的相关技术细节也可应用在第二实施方式中。

    本发明第六实施方式涉及一种对用户语音信号进行处理的系统,第六实
    施方式在第五实施方式的基础上进行了改进,主要改进之处在于:本发明中
    结合预先设定的按键音的检测和语音活动检测,双重检测的方案降低了语音
    结束的漏检率。

    具体地说,还包括语音活动检测模块,用于对用户语音信号进行语音活
    动检测,判断用户语音信号中静音时间是否达到设定的连续静音长度阈值,
    如果达到该连续静音长度阈值则判定为用户当前的语音输入已经结束。

    此外,可以理解,在本发明中,既可以先进行预先设定的按键音的检测,
    也可以先进行语音活动检测,或者两者并行,而不局限于固定的模式。

    本实施方式结合预先设定的按键音的检测和语音活动检测,如果预设按
    键状态检测模块检测到预先设定的按键被按下或者语音活动检测模块判断连
    续静音长度达到预设阈值,则判定用户当前的语音输入已经结束,双重检测
    的方案降低了语音结束的漏检率。

    在一个优选例中,在语音活动检测模块中,包括以下子模块:

    特征提取子模块,用于对用户语音信号进行特征提取;

    神经网络子模块,用于将从用户语音信号中提取的特征输入到训练过的
    神经网络中,神经网络将输入的特征判别为静音和语音的概率;

    语音和静音判决子模块,用于根据静音和语音的概率判决为静音或者语
    音;

    连续静音长度计算子模块,根据静音或者语音的判决结果,计算连续静
    音的长度,如果达到设定的连续静音长度阈值,则判定为用户当前的语音输
    入已经结束。

    优选地,神经网络子模块将提取的特征输入到训练过的深度神经网络
    中,该深度神经网络判别静音和语音的概率时具有更高的准确率。

    在另一个优选例中,还包括深度神经网络训练模块,用于经过一个语音
    识别系统,获取语音数据和静音数据,并以获取到的语音数据和静音数据作
    为训练集合来训练深度神经网络。

    在另一个优选例中,语音识别系统为基于隐马尔科夫模型和深度神经网
    络的语音识别系统,训练深度神经网络的步骤包括基于受限玻尔兹曼机的预
    训练和基于反向传播算法的训练。

    第三实施方式是与本实施方式相对应的方法实施方式,本实施方式可与
    第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施
    方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提
    到的相关技术细节也可应用在第三实施方式中。

    需要说明的是,本发明各设备实施方式中提到的各模块都是逻辑模块,
    在物理上,一个逻辑模块可以是一个物理模块,也可以是一个物理模块的一
    部分,还可以以多个物理模块的组合实现,这些逻辑模块本身的物理实现方
    式并不是最重要的,这些逻辑模块所实现的功能的组合才是解决本发明所提
    出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设
    备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引
    入,这并不表明上述设备实施方式并不存在其它的模块。

    需要说明的是,在本专利的权利要求和说明书中,诸如第一和第二等之
    类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,
    而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺
    序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性
    的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那
    些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、
    方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包
    括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设
    备中还存在另外的相同要素。

    虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和
    描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各
    种改变,而不偏离本发明的精神和范围。

    关 键  词:
    用户 语音 信号 进行 处理 方法 及其 系统
      专利查询网所有文档均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:对用户语音信号进行处理的方法及其系统.pdf
    链接地址:https://www.zhuanlichaxun.net/p-5879985.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
    经营许可证编号:粤ICP备2021068784号-1