稳健双麦克风噪声抑制系统 【技术领域】
本发明涉及用于处理多个声信号的系统和方法，并且更具体地涉及通过滤波来分离声信号。
背景技术
对噪声环境中的有信息信号进行检测并作出反应常常是困难的。在用户常常在噪声环境中说话的通信中，期望的是将用户的语音信号与背景噪声分离。背景噪声可以包括由一般环境产生的许多噪声信号、由其他人的背景会话产生的信号以及从每个信号产生的反射和混响。
在噪声环境中，上行链路通信可能是严重的问题。对此噪声问题的大部分解决方案仅仅对诸如平稳噪声的特定类型的噪声起作用，或产生可以如噪声信号一样骚扰用户的显著音频噪音(artifacts)。所有现有解决方案都具有关于源和噪声位置、以及尝试抑制的噪声类型的缺陷。
本发明的目的是提供一种将与所有噪声源的时间特性、位置、或移动无关地抑制所有噪声源的装置。
【发明内容】
一种用于从有噪声的声环境分离语音信号的系统、方法、和装置。分离过程可以包括源滤波，源滤波可以是定向滤波(波束形成)、盲源分离、以及双输入频谱删减噪声抑制。输入通道可以包括两个全向麦克风，使用相位延迟滤波来处理全向麦克风输出以形成语音和噪声波束。此外，可以对波束进行频率修正。波束形成操作产生基本上仅仅是噪声的一个通道，和作为噪声与语音的组合的另一通道。盲源分离算法通过统计技术来加强定向分离。然后，使用噪声信号和语音信号在双输入频谱删减噪声抑制器(DINS)处设置过程特性以高效地减小或消除噪声分量。这样，从组合信号中高效地去除了噪声，以产生高质量的语音信号。
【附图说明】
为了描述可以获得本发明的上述及其它优点和特征的方式，将参照在附图中图示的本发明特定实施例来提供上文简要描述的本发明的更特别的描述。应当理解，这些图仅仅图示了本发明的典型实施例，并且因此不应当被视为它的范围的限制，将通过使用附图更具体且详细地描述和解释本发明，在附图中：
图1是采用前超心型定向滤波器以从两个全向麦克风形成噪声和语音波束的波束形成器的透视图；
图2是采用前超心型定向滤波器和后心型定向滤波器以从两个全向麦克风形成噪声和语音波束的波束形成器的透视图；
图3是依照本发明的可能实施例的稳健双输入频谱删减噪声抑制器(RDINS)的框图；
图4是依照本发明的可能实施例的盲源分离(BSS)滤波器和双输入频谱删减噪声抑制器(DINS)的框图；
图5是依照本发明的可能实施例的盲源分离(BSS)滤波器和绕过BSS的语音输出的双输入频谱删减噪声抑制器的框图；
图6是依照本发明的可能实施例的用于静态噪声估计的方法的流程图；
图7是依照本发明的可能实施例的用于连续噪声估计的方法的流程图；以及
图8是依照本发明的可能实施例的稳健双输入频谱删减噪声抑制器(RDINS)的方法的流程图。
【具体实施方式】
本发明的附加特征和优点将在以下描述中阐述，并且部分将通过描述而显而易见，或者可以从本发明的实施中获知。本发明的特征和优点可以借助于在权利要求中特别指出的仪器和组合来实现和获得。本发明的这些及其它特征将从以下描述和权利要求变得更加显而易见，或者可以通过如本文阐述的本发明的实施来获知。
下面详细地讨论本发明的各种实施例。虽然讨论了特定的实现，但是应当理解这仅仅是出于说明的目的而进行的。本领域的技术人员将认识到，在不脱离本发明的精神和范围的情况下，可以使用其它组件和配置。
本发明包括多种实施例，诸如涉及本发明的基本概念的方法和装置及其它实施例。
图1图示了依照本发明的可能实施例的用于从两个全向麦克风形成噪声和语音波束的波束形成器100的示例性视图。两个麦克风110被相互间隔开。每个麦克风可以接收直接或间接输入信号，并且可以输出信号。两个麦克风110是全向的，因此它们相对于麦克风而言几乎同样地从所有方向接收声音。麦克风110可以接收表示语音和噪声声音的混合物的声信号或能量，并且这些输入可以被转换成主要是语音的第一信号140及具有语音和噪声的第二信号150。虽然未示出，但麦克风可以包括内部或外部模数转换器。通过使用一个或多个变换函数，可以在时域与频域之间对来自麦克风110的信号进行缩放或变换。波束形成可以补偿由麦克风110接收到的不同信号的不同传播时间。如图1所示，使用源滤波或定向滤波120来处理麦克风的输出，以便对来自麦克风110的信号进行频率响应修正。波束形成器100采用前超心型定向滤波器130进一步对来自麦克风110的信号进行滤波。在一个实施例中，定向滤波器将具有随频率而变的幅度和相位延迟值以跨越所有频率形成理想波束。这些值可以不同于位于自由空间中的麦克风将要求的理想值。该差异将考虑放置麦克风的物理外壳的几何结构。在该方法中，使用由于麦克风110的空间差而引起的信号之间的时间差来增强信号。更特别地，有可能麦克风110中的一个将更接近于语音源(扬声器)，而另一麦克风可以产生相对衰减的信号。图2图示了依照本发明的可能实施例的用于从两个全向麦克风形成噪声250和语音波束240的波束形成器200的示例性视图。波束形成器200添加后心型定向滤波器260以进一步对来自麦克风110的信号进行滤波。
全向麦克风110近似同样地从麦克风周围的任何方向接收声音信号。感测模式(未示出)示出了来自麦克风周围的所有方向的近似相等幅度的接收到的信号功率。因此，无论声音从哪个方向到达麦克风，来自麦克风的电输出都是相同的。
前超心型230感测模式与心型模式相比提供了较窄的主灵敏度角。此外，超心型模式具有位于距离前面约±140度的最小灵敏度的两个点。同样地，超心型模式抑制从麦克风的侧面和后面接收到的声音。因此，超心型模式最适合于将仪器和歌手与房间环境以及彼此隔离。
后向心型或后心型260感测模式(未示出)是定向的，当声源在麦克风对的后面时提供全灵敏度。在麦克风对的侧面处接收到的声音具有约一半的输出，并且在麦克风对的前面处出现的声音基本上被衰减。产生此后心型模式，使得在期望的语音源(扬声器)处指向虚拟麦克风的空值(null)。
在所有情况下，通过用相位延迟滤波器对一个全向麦克风进行滤波来形成波束，然后将其输出与另一全向麦克风信号进行求和以设置空值位置，并且然后修正滤波器将修正结果得到的信号的频率响应。使用包含适当的依赖频率的延迟的单独滤波器来产生心型260和超心型230响应。替代地，可以通过首先使用上述过程产生前向和后向心型波束、将心型信号求和以产生虚拟全向信号、以及用信号的差产生双向或偶极滤波器来产生波束。使用等式1将虚拟全向和偶极信号组合以产生超心型响应。
超心型响应＝0.25*(全向+3*偶极) 等式1
替代实施例将利用固定方向性单个元件超心型和心型麦克风盒(capsules)。这将不需要信号处理中的波束形成步骤，但将限制系统的适应性，因为从设备中的一个使用模式到另一使用模式的波束形成的变化将更加困难，并且真实的全向信号将不可用于设备中的其它处理。在该实施例中，源滤波器可以是频率修正滤波器，或具有减少带外噪声的通带的简单滤波器，诸如高通滤波器、低通抗混淆滤波器、或带通滤波器。
图3图示了依照本发明的可能实施例的稳健双输入频谱删减噪声抑制器(RDINS)的示例性视图。语音估计信号240和噪声估计信号250作为输入被馈送到RDINS 305以利用语音和噪声的频谱特性方面的差异来抑制语音信号140的噪声分量。参照方法600至800来更好地解释用于RDINS 305的算法。
图4图示了使用盲源分离(BSS)和双输入频谱删减噪声抑制器(DINS)来处理语音140和噪声150波束的噪声抑制系统400的示例性视图。已对噪声和语音波束进行频率响应修正。盲源分离(BSS)滤波器410从噪声信号中去除剩余的语音信号。BSS滤波器410可以只产生改善的(refined)噪声信号420或改善的噪声和语音信号(420、430)。BBS可以是具有两个输入(语音和噪声)和期望数目的输出的单级BSS滤波器。两级BSS滤波器将具有与期望数目的输出级联或连接在一起的两个BSS级。盲源分离滤波器将统计上独立地假设的混合源信号相互分离。盲源分离滤波器410通过将矩阵与混合信号相乘来向混合信号施加未混合权值矩阵以产生分离的信号。矩阵中的权值被分配初始值并被调整以便使信息冗余最小化。重复此调整，直至输出信号420、430的信息冗余被减至最小为止。由于此技术不需要关于每个信号的源的信息，所以将它称为盲源分离。BSS滤波器410以统计方式从噪声中去除语音，以便产生减少语音的噪声信号420。DINS单元440使用减少语音的噪声信号420来从语音430中去除噪声，以便产生基本上无噪声的语音信号460。DINS单元440和BSS滤波器410可以被集成为单个单元450，或者可以将被分离为单独组件。
由来自麦克风110的已处理信号提供的语音信号140作为输入被传递至盲源分离滤波器410，其中，已处理语音信号430和噪声信号420被输出到DINS 440，已处理语音信号430完全或至少本质上由用户的语音组成，通过在BSS滤波器410中执行的盲源分离算法的动作，用户的语音已与环境声音(噪声)分离。这样的BSS信号处理利用以下事实：面向环境的麦克风和面向扬声器的麦克风拾取的声音混合由环境声音与用户语音的不同混合组成，它们在这两个信号贡献或源的幅度比和混合物的这两个信号贡献的相位差方面是不同的。
DINS单元440进一步增强已处理语音信号430和噪声信号420，噪声信号420被用作DINS单元440的噪声估计。结果得到的噪声估计420应当包含高度减小的语音信号，因为剩余的期望语音460信号对于语音增强程序将是不利的，并将因此降低输出的质量。
图5图示了使用盲源分离(BSS)滤波器和双输入频谱删减噪声抑制器(DINS)来处理语音140和噪声150波束形成的噪声抑制系统500的示例性视图。DINS单元440的噪声估计仍是来自BSS滤波器410的已处理噪声信号。然而，语音信号430未经BSS滤波器410处理。
图6～8是图示依照本公开的可能实施例的用于确定稳健双输入频谱删减噪声抑制器(RDINS)的静态噪声估计的一些基本步骤的示例性流程图。
当未使用BSS时，可以将定向滤波的输出(240、250)直接应用于双通道噪声抑制器(DINS)，遗憾的是，后向心型模式260仅仅将部分空值置于期望的讲话人，这导致在噪声估计中仅仅得到期望讲话人的3dB至6dB抑制。对于DINS单元440本身，此语音泄漏量在语音已被处理之后造成不可接受的语音失真。RDINS是被设计成在噪声估计250中对此语音泄漏而言更加稳健的DINS版本。通过使用两个单独噪声估计来实现此稳健性；一个是来自定向滤波的连续噪声估计，并且另一个是也可以在单通道噪声抑制器中使用的静态噪声估计。
方法600使用语音波束240。从语音波束240获得连续语音估计，在语音和无语音间隔期间获得估计。在步骤610中计算语音估计的能量水平。在步骤620中，使用语音活动性检测器来找到每个帧的语音估计中的无语音间隔。在步骤630中，从语音估计中的无语音间隔来形成平滑的静态噪声估计。此静态噪声估计将不包含语音，因为它在期望的输入语音期间被冻结；然而，这意味着噪声估计不捕获在不稳定噪声期间的变化。在步骤640中，计算静态噪声估计的能量。在步骤650中，根据连续语音信号615的能量和静态噪声估计的能量来计算静态信噪比。对每个子带重复步骤620至650。
方法700使用连续噪声估计250。在步骤710中，从噪声波束250获得连续噪声估计，在语音和无语音间隔两者期间获得该估计。此连续噪声估计250将由于不完美的空值而包含来自期望讲话人的语音泄漏。在步骤720中，针对子带的噪声估计来计算能量。在步骤730中，针对子带来计算连续信噪比。
方法800使用所计算的连续噪声估计的信噪比和所计算的静态噪声估计的信噪比来确定要使用的噪声抑制。在步骤810中，如果连续SNR大于第一阈值，则控制被传递至步骤820，其中抑制被设置为等于连续SNR。如果在步骤810中连续SNR不大于第一阈值，则控制传递至动作830。在动作830中，如果连续SNR小于第二阈值，则控制传递至步骤840，在步骤840，抑制被设置为静态SNR。如果连续SNR不小于第二阈值，则控制传递至步骤850，在步骤850，使用加权平均噪声抑制器。加权平均是静态与连续SNR的平均值。对于较低SNR子带(相对于噪声而言无/弱语音)，使用连续噪声估计来确定抑制量，使得它在不稳定噪声期间有效。对于较高SNR子带(相对于噪声而言的强语音)，当泄漏将在连续噪声估计中占支配地位时，使用静态噪声估计来确定抑制量以防止引起过度抑制和语音失真的语音泄漏。在中间SNR子带期间，将两种估计组合以给出以上两种情况之间的软交换过渡。在步骤860中，计算通路增益。在步骤870中，将该通路增益应用于语音估计。对每个子带重复所述步骤。然后以对于DINS相同的方式来应用通路增益，使得传递具有高SNR的通道，同时使具有低SNR的那些通道衰减。在该实现中，通过窗口化逆FFT的重叠相加来重构语音波形。
实践中，双向通信设备可以包含根据使用模式而在其间切换的本发明的多个实施例。例如，对于近距离谈话或私人模式使用情况，可以将图1所描述的波束形成操作与在图4中描述的BSS级和DINS组合，而在免提或扬声器电话模式下，可以将图2的波束形成器与图3的RDINS组合。可以通过本领域中已知的许多实现中的一个来触发这些操作模式之间的切换。举例来说，而非限制性地，切换方法可以是经由基于接近性的逻辑判定、磁或电开关、或本文未描述的任何等同方法。
在本发明范围内的实施例还可以包括用于承载或在其上面存储计算机可执行指令或数据结构的计算机可读介质。这样的计算机可读介质可以是通用或专用计算机可以访问的任何可用介质。举例来说，而非限制性地，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或可以用来承载或存储计算机可执行指令或数据结构形式的期望程序代码装置的任何其它介质。当通过网络或另一通信连接(硬线、无线、或其组合)向计算机传输或提供信息时，计算机适当地将该连接视为计算机可读介质。因此，可以将任何这样的连接适当地称为计算机可读介质。以上组合也应被包括在计算机可读介质的范围内。
计算机可执行指令包括例如促使通用计算机、专用计算机、或专用处理设备执行特定功能或功能组的指令和数据。计算机可执行指令还包括由独立或网络环境中的计算机执行的程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、或数据结构等。计算机可执行指令、关联数据结构、以及程序模块表示用于执行本文公开的方法的步骤的程序代码装置。这样的可执行指令或关联数据结构的特定序列表示用于实现在这样的步骤中描述的功能的相应动作的示例。
虽然以上说明可能包含特定细节，但无论如何不应将它们解释为限制权利要求。所描述的本发明的实施例的其它配置是本发明的范围的一部分。例如，本发明的原理可以应用于每个单独用户，其中，每个用户可以单独地部署这样的系统。这使得每个用户在即使大量可能应用中的任何一个不需要本文所描述的功能的情况下也能够利用本发明的益处。换言之，可能存在图1-8中的方法和设备的多个实例，每个实例以各种可能的方式来处理内容。不一定需要所有最终用户使用一个系统。因此，权利要求及其合法等同物应只限定本发明，而不是给出的任何特定示例。