一种三方远程通讯中回声消除的方法及系统技术领域
本发明涉及远程通讯领域，尤指一种三方远程通讯中回声消除的方法及系统。
背景技术
法院、远程检察院与远程提讯室进行三方远程提讯时，要想取得良好的庭审效果，
就要确保每个参与方，无论是法院、检察院还是看守所，都要能做到任意一方对其他
两方“看得见”、“听得清”。通过画面合成，容易解决“看得见”的问题，而比较难
解决的是“听得清”的问题。要解决“听得清”，其本质就是要解决声音的回声干扰
问题，如果回声干扰问题不解决，就势必影响声响效果，无法进行正常的庭审，甚至
无法听清楚其他庭审的两方。
远程提讯中出现的回声干扰，主要由两个原因造成的，即环境回声与线路回声。
所谓的环境回声，就是由于法庭、检察院、提讯室的扩音设备，把三方的声音都从喇
叭扩声出来的时候，不可避免地要通过空气传播，再进入本地的话筒。从扩声设备通
过空气传播进入话筒的这个声音，如果不去掉，再进入编码器，传送回其他两方，则
其他两方就能听到回声；这个回声主要是环境引起的，我们称为环境回声，该回声主
要用相关的消声设备给予过滤掉，不在我们本次解决范围之内；所谓的线路回声，就
是人为由于庭审现场的直播、录制需求，故意把各方的声音引入到编码器而产生的，
这部分声音称为线路回声；针对线路回声的消除方法是我们在本专利技术中重点要解
决的问题。
线路回声产生的主要的原因是用户对音视频要求与其部署的设备能力有一定的
不匹配导致的，例如目前很多法院已经建造的高清数字法庭，只配置了一个高清编码
器，用于对当庭的各个重要庭审参与人员组成的一路合成画面进行编码，该编码数据
流主要用于录像以及对外直播，在该编码流中，音频包含了全部庭审参与人员的声音
的混音，以便在录像中或者庭审直播中，能听到所有庭审参与人员的声音。如果在三
方进行远程提讯室，从存档备案的角度出发，这路包含所有庭审参与人员混音的编码
流是必须要提供的，用于庭审录像以及对外直播使用；但是这个包含全部庭审参与人
员混音的流不能直接送给远程的检察院与看守所，否则检察院与看守所就能从这个数
据流中听到自己的声音了，也就是产生了线路回声。
在法院下发的一路编码数据流中，通过左声道、右声道的独立编码不同声音的方
式，可以解决这个问题，但是这样的解决方法有一个局限，就是限制了相关的编码器、
解码器都具备这个功能，也就是必须要求法院、检察院、看守所的编码器都能具备对
声音的左声道、右声道的独立编码能力，同时还要求法院、检察院、看守所的解码器
也都能进行左声道、右声道的独立的解码控制。如果三方远程提讯参与方的远程检察
院或者远程提讯室部署的设备，出现一方是其它厂家设备，该厂家的设备的编码器不
具备对声音的左右声道的独立编码能力，或者解码器不具备对声音的左右声道独立解
码控制能力时，则就无法实现三方远程提讯的回声消除了。
发明内容
针对以上问题，我们本发明目的在于提供一种解决三方远程提讯的回声干扰时，
无需从方的编码器与解码器的特殊的声音的编码与解码能力的回声消除的方法及系
统。
为达上述目的，本发明具体提供一种三方远程通讯中回声消除的方法，所述方法
包含：一种三方远程通讯中回声消除的方法，所述方法包含：对第一从方和第二从方
发出的音频数据分别进行编码；主方对第一从方和第二从方发出的音频数据分别进行
解码，并将主方发出的音频数据及第一从方发出的音频数据和第二从方发出的音频数
据进行混音处理，获得包含第一从方发出的音频数据和主方发出的音频数据的第一数
据和包含第二从方发出的音频数据和主方发出的音频数据的第二数据及包含第一从
方发出的音频数据、第二从方发出的音频数据和主方发出的音频数据的第三数据；主
方对所述第一数据和所述第二数据分别进行编码；第一从方解码器解码所述第二数
据；第一从方播放第一从方发出音频数据和第二数据混合的音频数据；第二从方解码
器解码所述第一数据；第二从方播放第二从方发出音频数据和第一数据混合的音频数
据；主方播放第三数据的音频数据。
在上述三方远程通讯中回声消除的方法中，优选的，主方编码器对所述第一数据
和所述第二数据分别进行编码生成三组发布点；其中所述三组发布点包含：左右声道
音频数据都为第一数据的第一发布点，左右声道音频数据都为第二数据的第二发布
点，左声道音频数据为第一数据和右声道音频数据为第二数据的第三发布点。
在上述三方远程通讯中回声消除的方法中，优选的，第一从方播放器通过第一从
方解码器解码所述第二发布点中的音频数据，获得所述第二数据，并将所述第二数据
与第一从方发出音频数据混合后输出；第二从方播放器通过第二从方解码器解码所述
第一发布点中的音频数据，获得所述第一数据，并将所述第二数据与第二从方发出音
频数据混合后输出。
在上述三方远程通讯中回声消除的方法中，优选的，第一从方解码器解码所述第
二发布点中的音频数据获得所述第二数据，第二从方解码器解码所述第一发布点中的
音频数据获得所述第一数据。
在上述三方远程通讯中回声消除的方法中，优选的，通过环境回声消除技术分别
消除第一从方发出音频数据、第二从方发出音频数据和主方发出音频数据中第一从方
播放器、第二从方播放器和主方播放器发出的音频数据。
本发明还提供一种三方远程通讯中回声消除的系统，所述系统包含：第一从方编
码器，用于对第一从方发出音频数据进行编码；第二从方编码器，用于对第二从方发
出音频数据进行编码；主方解码器，用于分别解码第一从方发出的音频数据和第二从
方发出的音频数据；主方混音器，用于将主方发出的音频数据及解码后的第一从方发
出的音频数据和解码后的第二从方发出的音频数据进行混音处理，获得包含第一从方
发出的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据
和主方发出的音频数据的第二数据及包含第一从方发出的音频数据、第二从方发出的
音频数据和主方发出的音频数据的第三数据；主方编码器，用于对所述第一数据和所
述第二数据分别进行编码；第一从方解码器，用于解码所述第二数据；第一从方播放
器，用于播放第一从方发出音频数据和第二数据混合的音频数据；第二从方解码器，
用于解码所述第一数据；第二从方播放器，用于播放第二从方发出音频数据和第一数
据混合的音频数据；主方播放器，用于播放第三数据的音频数据。
在上述实施例中，优选的，所述第一编码器还包含：第一从方编码器中右声道对
第一从方发出音频数据进行编码，左声道对第一从方发出音频数据及第一从方接收到
的第二从方发出音频数据和主方发出音频数据进行编码。所述第二编码器还包含：第
在上述三方远程通讯中回声消除的系统中，优选的，所述系统还可包含三个回声
消除器，所述回声消除器分别设置于第一从方、第二从方和主方，用于分别消除第一
从方发出音频数据、第二从方发出音频数据和主方发出音频数据中第一从方播放器、
第二从方播放器和主方播放器发出的音频数据。
在上述三方远程通讯中回声消除的系统中，优选的，所述主方编码器包含：对所
述第一数据和所述第二数据分别进行编码生成三组发布点；其中所述三组发布点包
含：左右声道音频数据都为第一数据的第一发布点，左右声道音频数据都为第二数据
的第二发布点，左声道音频数据为第一数据和右声道音频数据为第二数据的第三发布
点。
在上述三方远程通讯中回声消除的系统中，优选的，所述第一从方播放器包含：
将第一从方解码器通过解码所述第二发布点中的音频数据获得所述第二数据与第一
从方发出音频数据混合后输出。
在上述三方远程通讯中回声消除的系统中，优选的，所述第二从方播放器包含：
将第二从方解码器通过解码所述第一发布点中的音频数据获得所述第一数据与第二
从方发出音频数据混合后输出。
本发明的有益技术效果在于：在不增加编码器配置的情况下，通过对主方的编码
器的音频编码数据、视频编码数据的灵活组合，组成多个视频编码相同、音频内容不
同的发布频道，来解决包含不同厂商设备时的三方远程提讯的声音回声干扰问题，并
且该方法能同时达到如下目标：现有部署在主方的高清编码器不需要更换，编码能力
不需要显著提高；主方的高清编码器不需要扩容，不需要增设新的编码器；把编码数
据流录制以后，在观看此录像的时候，听到三方参与人员的混音；把此编码流直播发
布后，观看直播的人员能听到三方参与人员的混音；在从方只会听到非己方发出的音
频；录制的单独发送给从方的录像中，能同时听到所有参与人员的混音。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不
构成对本发明的限定。在附图中：
图1为本发明所提供的三方远程通讯中回声消除的方法的流程图；
图2为本发明所提供的三方远程通讯中回声消除的系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附
图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本
发明，但并不作为对本发明的限定。
请参考图1所示，本发明具体提供一种三方远程通讯中回声消除的方法，所述方
法包含：S101对第一从方和第二从方发出的音频数据分别进行编码；S102主方对第
一从方和第二从方发出的音频数据分别进行解码，并将主方发出的音频数据及第一从
方发出的音频数据和第二从方发出的音频数据进行混音处理，获得包含第一从方发出
的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据和主
方发出的音频数据的第二数据及包含第一从方发出的音频数据、第二从方发出的音频
数据和主方发出的音频数据的第三数据；S103主方对所述第一数据和所述第二数据
分别进行编码；S104第一从方解码器解码所述第二数据；第一从方播放第一从方发
出音频数据和第二数据混合的音频数据；S105第二从方解码器解码所述第一数据；
第二从方播放第二从方发出音频数据和第一数据混合的音频数据；S106主方播放第
三数据的音频数据。
值得说明的是，本发明所提供的上述技术方案中上述步骤S104、S105、S106为
同时进行的，其编码仅为标识说明，并不以标号代表对应的步骤先后顺序。
在上述实施例中，优选的，主方编码器对所述第一数据和所述第二数据分别进行
编码生成三组发布点；其中所述三组发布点包含：左右声道音频数据都为第一数据的
第一发布点，左右声道音频数据都为第二数据的第二发布点，左声道音频数据为第一
数据和右声道音频数据为第二数据的第三发布点。
在上述实施例中，还包含：第一从方播放器通过第一从方解码器解码所述第二发
布点中的音频数据，获得所述第二数据，并将所述第二数据与第一从方发出音频数据
混合后输出；第二从方播放器通过第二从方解码器解码所述第一发布点中的音频数
据，获得所述第一数据，并将所述第二数据与第二从方发出音频数据混合后输出。第
一从方解码器解码所述第二发布点中的音频数据获得所述第二数据，第二从方解码器
解码所述第一发布点中的音频数据获得所述第一数据。
在上述实施例中，优选的还包含：通过环境回声消除技术分别消除第一从方发出
音频数据、第二从方发出音频数据和主方发出音频数据中第一从方播放器、第二从方
播放器和主方播放器发出的音频数据。
为更清楚的说明本发明所提供的三方远程通讯中回声消除的方法，以下对上述实
施例做整体介绍，其中：
从方只对本地发出音频进行编码，编码流中左右声道都只包含本地发出的音频数
据，从方解码时，仅解码主方和另一从方的音频数据，并将该音频数据与本地发出的
音频数据混合后播放，由此本次播放的音频就仅包含两从方一主方的音频信息，并无
线路回声干扰；
为配合从方的音频操作，主方解码器首先解码两从方各自发出的音频信息，分别
获得两从方各自单独的音频信息，再将这两个音频信息与主方本地发出的音频信息进
行混音处理，获得三组音频文件，为便于说明该三组音频文件的后续处理步骤，此处
以A、B、C分别指代第一从方、第二从方和主方的音频信息，其中第一组音频文件
包含三方即ABC的音频信息，该音频文件用于主方播放器播放；第二组音频文件包
含主方和一从方即BC的音频信息；第三组音频文件包含主方和另一从方即AC的音
频信息；
主方编码器根据上述三组音频文件，编码发布三个发布点，其中第一发布点为左
右声道都为BC的音频信息，第二个发布点为左右声道都为AC的音频信息，第三个
发布点为左声道/右声道为AC，右声道/左声道为BC的音频信息；在上述三个发布点
中第一发布点发送至第一从方的解码器，用于第一从方解码获取主方C和另一从方B
的音频信息，第二发布点发送至第二从方的解码器，用于第二从方解码获取主方C
和另一从方A的音频信息，第三发布点发送至网络，用于后期录制或直播。上述发
布点是指一个可以被客户端通过RTSP协议可以获取该数据流的URL地址；主方的
编码器由于没有增加音频、视频的编码能力，只是对编码后的数据进行一个组合发布，
对其系统资源没有本质的提升要求；
针对第一从方的编码流左右声道分别为AC、BC的数据流在主方的流媒体服务
器上进行录制，由于左声道/右声道含有第一从方与主方的混音AC，左声道/右声道
含有第二从方与主方的混音BC，则该路编码流的录像文件播放的时候，一定能够播
放出来含有ABC三方的混音出来；把该编码流进行直播的时候，观看直播的能听到
ABC三方的声音；
第一从方的解码器，获取左右声道都是BC的数据流进行解码，只能解码出来包
含主方、第二从方混音BC；第二从方的解码器，获取左右声道都是AC的数据流进
行解码，只解码其包含主方、第一从方混音AC；
针对第二从方、第一从方的音视频数据的录制，也是在主方的流媒体服务器上进
行的，由于主方的流媒体服务器上已经获取到第一从方与主方的混音AC的编码流，
以及第二从方与主方的混音BC的编码流，在此流媒体服务器进行录制的时候，第二
从方的视频数据被保留，音频数据被替换为左右声道分别为AC、BC的混声数据，
第一从方的视频数据被保留，而音频数据也被替换为左右声道分别为AC、BC的混
音数据；这样就保证了单独录制的第二从方与第一从方任何一侧的录像，该录像在播
放的时候，都能包含庭审参与三方的声音；
最后，为了保证三方的音效，还要把环境回声消除掉，也就是在主方、第一从方、
第二从方分别放置回声消除器，把从功放喇叭播放出来声音，在进入话筒后，从喇叭
传出来的这个声音，被消除掉；
本发明还提供一种三方远程通讯中回声消除的系统，所述系统包含：第一从方编
码器，用于对第一从方发出音频数据进行编码；第二从方编码器，用于对第二从方发
出音频数据进行编码；主方解码器，用于分别解码第一从方发出的音频数据和第二从
方发出的音频数据；主方混音器，用于将主方发出的音频数据及解码后的第一从方发
出的音频数据和解码后的第二从方发出的音频数据进行混音处理，获得包含第一从方
发出的音频数据和主方发出的音频数据的第一数据和包含第二从方发出的音频数据
和主方发出的音频数据的第二数据及包含第一从方发出的音频数据、第二从方发出的
音频数据和主方发出的音频数据的第三数据；主方编码器，用于对所述第一数据和所
述第二数据分别进行编码；第一从方解码器，用于解码所述第二数据；第一从方播放
器，用于播放第一从方发出音频数据和第二数据混合的音频数据；第二从方解码器，
用于解码所述第一数据；第二从方播放器，用于播放第二从方发出音频数据和第一数
据混合的音频数据；主方播放器，用于播放第三数据的音频数据。
在上述实施例中，所述系统还可包含三个回声消除器，所述回声消除器分别设置
于第一从方、第二从方和主方，用于分别消除第一从方发出音频数据、第二从方发出
音频数据和主方发出音频数据中第一从方播放器、第二从方播放器和主方播放器发出
的音频数据。
在上述实施例中，所述主方编码器包含：对所述第一数据和所述第二数据分别进
行编码生成三组发布点；其中所述三组发布点包含：左右声道音频数据都为第一数据
的第一发布点，左右声道音频数据都为第二数据的第二发布点，左声道音频数据为第
一数据和右声道音频数据为第二数据的第三发布点。所述第一从方播放器包含：将第
一从方解码器通过解码所述第二发布点中的音频数据获得所述第二数据与第一从方
发出音频数据混合后输出。所述第二从方播放器包含：将第二从方解码器通过解码所
述第一发布点中的音频数据获得所述第一数据与第二从方发出音频数据混合后输出。
为进一步说明本发明所提供三方远程通讯中回声消除的系统，以下以法院，检察
院及提讯室为实例，对本发明做简要说明。请参考图2所示，参与三方远程提讯室的
本地法院的法庭为主方(以字母C代表)、远程检察院为第一从方(以字母A代表)、
远程提讯室为第二从方(以字母B表示)。
1.检察院的编码器的对本端声音A进行编码；编码流中，无论是左声道还是右
声道，只包含检察院的声音；
2.检察院本地功放喇叭播放的是检察院声音A与解码出来法院与看守所的声音
BC的混音，三者混合在一起，检察院的喇叭播放出ABC混音，检察院能听到三方
的声音；
3.看守所的编码器只对看守所的声音B进行编码，编码流中，无论是左声道或
者右声道，只包含看守所的声音；
4.看守所本地功放喇叭播放的是看守所声音B与解码出来法院与检察院的声音
AC的混音，三者混合在一起，看守所的喇叭播放出ABC混音，看守所能听到三方
的声音；
5.在法院的法庭内，解码器对检察院编码流解码的时候，先把检察院的编码流
获取到法院的流媒体服务器上，然后经过流媒体服务器中转，再送入法庭的解码器对
其声音的立体声进行解码，获得检察院A的声音；解码器对看守所编码流解码的时
候，同理，也是先把看守所的编码流获取到法院的流媒体服务器上，经过流媒体服务
器中转，再发送给解码器对看守所的声音的立体声进行解码，获取看守所的声音B；
6.法庭中的混音器把检察院的声音A、看守所的声音B，以及法庭声音C，进
行混音，混成法庭与检察院的声音AC，以及法庭与看守所的声音BC；然后把中两
个混音AC、BC分别送到法庭编码器的两个音频输入中；此外混音器还把A、B、C
的混音ABC送到法庭的扩声设备上，法庭也能提到三方的声音；
7.法庭的编码器的能力主要是针对视频数据、音频数据的编码上，编码器对声
音输入的两路声音AC、BC进行编码；针对编码出来的两路音频数据，创建如下音
视频流的发布点：
A.左右音频通道分别为AC、BC的声音编码数据的发布点；
B.左右音频通道都是AC的声音编码数据的发布点；
C.左右音频通道都是BC的声音编码数据的发布点；
所谓的发布点是指一个可以被客户端通过RTSP协议可以获取该数据流的URL
地址；法庭的编码器由于没有增加音频、视频的编码能力，只是对编码后的数据进行
一个组合发布，对其系统资源没有本质的提升要求；
8.针对检察院的编码流左右声道分别为AC、BC的数据流在法院的流媒体服务
器上进行录制，由于左声道含有检察院与法庭的混音AC，右声道含有看守所与法庭
的混音BC，则该路编码流的录像文件播放的时候，一定能够播放出来含有ABC三
方的混音出来；把该编码流进行直播的时候，观看直播的能听到ABC三方的声音；
9.检察院的解码器，获取左右声道都是BC的数据流进行解码，只能解码出来
包含法庭、看守所混音BC；
10.看守所的解码器，获取左右声道都是AC的数据流进行解码，只解码其包含
法庭、检察院混音AC；
11.针对看守所、检察院的音视频数据的录制，也是在法院的流媒体服务器上进
行的，由于法院的流媒体服务器上已经获取到检察院与法庭的混音AC的编码流，以
及看守所与法庭的混音BC的编码流，在此流媒体服务器进行录制的时候，看守所的
视频数据被保留，音频数据被替换为左右声道分别为AC、BC的混声数据，检察院
的视频数据被保留，而音频数据也被替换为左右声道分别为AC、BC的混音数据；
这样就保证了单独录制的看守所与检察院任何一侧的录像，该录像在播放的时候，都
能包含庭审参与三方的声音；
12.最后，为了保证三方的音效，还要把环境回声消除掉，也就是在法庭、检察
院、看守所分别放置回声消除器，把从功放喇叭播放出来声音，在进入话筒后，从喇
叭传出来的这个声音，被消除掉；
通过以上的处理过程我们发现，本技术没有对检察院的编码器、解码器、看守所
的编码器、解码器的编码有任何特殊的要求，只要他们能进行标准的编码与解码即可；
对法庭的解码器页没有任何变更，只要求其具备基本的解码功能即可；对法庭编码器
有少许的变化，也就是要求其增加数据的发布点，对发布点的增加，没有增加其实际
的编码工作量，只是对编码后的数据，进行一个组合分发，对编码器本省的编码能力
没有一个特殊的要求，只是增加了对其数据发送能力的要求，通过实验证明，这个能
力对嵌入式的编码设备来说，是能足够支持这些数据发布的。
最后本发明通过所有的编码流都汇集在法院的流媒体服务器上，通过此流媒体服
务器，完成针对法庭编码数据、检察院编码数据、看守所编码数据的录制；在看守所、
检察院编码数据录制的时候，对其声音进行简单地替换，替换为法庭的声音编码数据，
进而实现了各个录像文件都能播放出三个庭审参与方的声音的混音。
通过本发明所提供的三方远程通讯中回声消除的方法及系统，在不增加法庭高清
法庭编码器配置的情况下，把声音在编码流中，通过左声道、右声道进行区分，并且
控制解码器对编码流进行左声道、右声道的独立解码，实现三方远程提讯室中的线路
回声的消除。且同时能达到了如下有益效果：先前部署在法庭的高清编码器不需要更
换，编码能力不需要提高；先前部署在法庭的高清编码器不需要扩容，不需要增设新
的编码器；把编码数据流录制以后，在观看此案件庭审录像的时候，听到所有庭审参
与人员的混音；把此编码流直播发布后，观看直播的人员能听到所有庭审参与人员的
混音；在远程检察院内，只能听到庭审中的法官与远程嫌疑人的混音；在远程提讯室
内，只能听到庭审中的法院与远程检察院公诉人的混音；录制的单独发送给检察院的
录像中，能同时听到所有庭审参与人员的混音；录制的单独发送给提讯室的录像中，
能同时听到所有庭审参与人员的混音。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详
细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发
明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，
均应包含在本发明的保护范围之内。