一种视频数据的发送、接收装置及发送、接收方法.pdf

本发明公开了一种视频数据的发送、接收装置及发送、接收方法，在视频数据的发送装置上设置了确认重传模块，在视频数据的接收装置上设置了响应模块，建立了丢包重传机制，即：利用接收装置中的响应模块针对其收到的RTP数据包响应回复确认信息给到发送装置中的确认重传模块，利用确认重传模块接收确认信息、判断RTP数据包是否丢失、判断RTP数据包已丢失后生成重传指令给第一UDP模块；第一UDP模块根据重传指令来重传RTP数据包至TCP/IP传输网络，由接收装置重新接收，以确保接收装置收到的数据包完整，从而保证了最后图像输出设备能够输出质量和声音效果好的视频图像，即图像不花屏，声音清晰。

1.  一种视频数据的发送装置，包括图像采集模块、编码模块、第一RTP模块和第一UDP模块；其特征在于：还包括确认重传模块；所述确认重传模块用于接收确认信息、用于判断RTP数据包是否丢失、用于判断RTP数据包已丢失后生成重传指令给所述第一UDP模块；所述第一UDP模块还用于根据重传指令来重传RTP数据包至TCP/IP传输网络。

2.  根据权利要求1所述的视频数据的发送装置，其特征在于：所述确认重传模块包括确认请求模块和重传控制模块；所述确认请求模块用于给每一待发送的RTP数据包附加确认请求；所述重传控制模块用于在RTP数据包通过第一UDP模块发送后，在指定的时间内未收到接收装置中的响应模块根据该RTP数据包附加的确认请求而回复的确认信息，视为该RTP数据包丢失，则生成重传指令给所述第一UDP模块。

3.  根据权利要求1所述的视频数据的发送装置，其特征在于：所述确认重传模块用于在RTP数据包通过第一UDP模块发送后，在指定的时间内未收到接收装置中的响应模块针对该RTP数据包而回复的确认信息，视为该RTP数据包丢失，则生成重传指令给所述第一UDP模块。

4.  一种视频数据的接收装置，包括第二UDP模块、第二RTP模块、QoS模块、解码模块和图像输出设备，其特征在于：还包括响应模块；所述响应模块用于针对其收到的RTP数据包响应回复确认信息给到接收装置中的确认重传模块。

5.  根据权利要求4所述的视频数据的接收装置，其特征在于：所述响应模块具体用于针对其收到的附有确认请求的RTP数据包响应回复确认信息给到接收装置中的重传控制模块；或者具体用于针对其收到的所有RTP数据包响应回复确认信息给到接收装置中的确认重传模块。

6.  一种视频数据的发送方法，其特征在于包括以下步骤：
1)图像采集模块采集视频图像数据；
2)编码模块对所采集的原始视频图像进行图像编码处理，并转换为视频帧；
3)第一RTP模块将视频帧分割并封装成至少一个RTP数据包；
5)第一UDP模块将RTP数据包发送至TCP/IP传输网络中；
6)确认重传模块接收接收装置中响应模块响应回复的确认信息，判断RTP数据包是否丢失、判断RTP数据包已丢失后生成重传指令给第一UDP模块；
7)第一UDP模块根据重传指令来重传RTP数据包至TCP/IP传输网络。

7.  根据权利要求6所述的视频数据的发送方法，其特征在于：还包括步骤4)，所述步骤4)具体为：确认请求模块给每一待发送的RTP数据包附加确认请求；所述步骤7)具体为：重传控制模块在附有确认请求的RTP数据包通过第一UDP模块发送后，在指定的时间内未收到接收装置中的响应模块根据该RTP数据包附加的确认请求而响应回复的确认信息，视为该RTP数据包丢失，则生成重传指令给所述第一UDP模块。

8.  根据权利要去6所述的视频数据的发送方法，其特征在于：所述步骤7)具体为：重传控制模块在RTP数据包通过第一UDP模块发送后，在指定的时间内未收到接收装置中的响应模块针对该RTP数据包响应回复的确认信息，视为该RTP数据包丢失，则生成重传指令给所述第一UDP模块。

9.  一种视频数据的接收方法，其特征在于：所述接收方法中，接收装置中的响应模块接收到RTP数据包后还包括以下过程：通过响应模块针对其收到的RTP数据包响应回复确认信息给到发送装置中的确认重传模块。

10.  根据权利要求9所述的视频数据的接收方法，其特征在于：所述响应模块响应回复确认信息具体为以下两种方式之一：
方式一，响应模块针对其收到的附有确认请求的RTP数据包响应回复确认信息给到发送装置中的重传控制模块；
方式二，响应模块针对其收到的所有RTP数据包响应回复确认信息，给到发送装置中的确认重传控制模块。

一种视频数据的发送、接收装置及发送、接收方法
技术领域
本发明涉及多媒体通讯领域，具体地，涉及一种视频数据的发送和接收装置及发送和接收方法。
背景技术
目前，视频会议系统包括发送装置和接收装置。如图1所示，发送装置包括图像采集模块1、视频编码模块2、第一RTP(实时传送协议)模块3和第一UDP(用户数据报协议)模块5；如图2所示，接收装置包括第二UDP模块6、第二RTP模块8、QoS(服务质量)模块9、解码模块10和图像输出设备11。其中，图像采集模块1将其采集的原始视频图像输出至视频编码模块2，由视频编码模块2对原始视频图像进行编码处理，并转换成视频帧输出至第一RTP模块3，第一RTP模块先将视频帧分割并封装成至少一个RTP数据包，例如，如图3所示，一个视频帧被第一RTP模块分割并打包成n个RTP格式的数据包，然后转给第一UDP模块5，将n个RTP数据包发送至TCP/IP传输网络中，由TCP/IP网络传输数据包；第二UDP模块6接收TCP/IP网络传输过来的数据包，并将数据包转给第二RTP模块8输出至QoS模块9，QoS模块9利用每个数据包携带的RTP头中的时戳和序号等信息，对多数据包进行缓冲排序，并将数据包组合还原成视频帧，并将视频帧输出至解码模块10进行解码处理，最后由图像输出设备11将解码的视频帧转换成图像输出。
上述视频会议系统的发送装置对于数据传输协议是基于可实时传送的RTP协议。但第一RTP模块3本身并没有提供按时发送机制或其它服务质量保证，不保证传送或防止无序传送，也不确保底层网络的可靠性，而它却又依赖于底层网络服务去实现。第一RTP模块底3层协议选择的是传输效率高的第一UDP模块5。但第一UDP模块5也不提供对IP协议的可靠机制、流控机制及错误恢复功能等。而TCP(传输控制协议)是基于字节流的运输通讯协议，可以提供可靠的、面向连接的数据传输服务；但在可靠性上，采用超时重传和稍带确认机制；在流量控制上，采用滑动窗口协议，协议中规定，对于窗口内未经确认的分组需要重传；在拥塞控制上，采用慢启动算法；因此，对于数据传输实时性要求很高的视频会议系统，TCP协议的数据传输效率无法满足要求。
由于第一UDP模块5和第一RTP3模块都不提供可靠机制，数据包在TCP/IP传输网络中传输，在网络不佳的情况下，数据包在传输过程中会出现丢包、乱序和抖动等情况，影响图像和声音的质量。现有的解决办法是在第二RTP模块8接收数据后，通过QoS模块9，利用每个数据包携带的RTP头中的时戳和序号等信息，对多个数据包进行缓冲和排序，可以解决乱序和抖动的问题。但是丢包问题没有解决，视频帧被分割成至少一个数据包在网络上传输，即使丢失一个数据包，也会导致无法组成完整的视频帧，导致多个数据包失效，特别是I帧(即图像编码的第一个帧，也是图像的关键帧，经过适度地压缩，作为随机访问的参考点，可以当成图像)数据出现丢包时造成的影响非常大。例如，如图4所示，为现有的视频通讯系统无法控制TCP/IP传输网络传输数据包过程中的丢包现象的示意图，图4中示意出了该系统的发送装置发送的数据包n-2和数据包n在TCP/IP网络中传输出现丢失，导致该系统的接收装置没有收到数据包n-2和数据包n，由于一个视频帧的数据包不完整，将会导致视频图像花屏，声音不清晰。
发明内容
本发明所要解决的技术问题是提供一种具有可靠机制的视频数据的发送和接收装置，还提供一种具有可靠机制的视频数据的发送和接收方法。
本发明为解决其技术问题所采用的技术方案是：一种视频数据的发送装置，包括图像采集模块、编码模块、第一RTP模块和第一UDP模块；还包括确认重传模块；所述确认重传模块用于接收确认信息、用于判断RTP数据包是否丢失、用于判断RTP数据包已丢失后生成重传指令给所述第一UDP模块；所述第一UDP模块还用于根据重传指令来重传RTP数据包至TCP/IP传输网络。
一种视频数据的接收装置，包括第二UDP模块、第二RTP模块、QoS模块、解码模块和图像输出设备，还包括响应模块；所述响应模块用于针对其收到的RTP数据包响应回复确认信息给到接收装置中的确认重传模块。
一种视频数据的发送方法，包括以下步骤：
1)图像采集模块采集视频图像数据；
2)编码模块对所采集的原始视频图像进行图像编码处理，并转换为视频帧；
3)第一RTP模块将视频帧分割并封装成至少一个RTP数据包；
5)第一UDP模块将RTP数据包发送至TCP/IP传输网络中；
6)确认重传模块接收接收装置中响应模块响应回复的确认信息，判断RTP数据包是否丢失、判断RTP数据包已丢失后生成重传指令给第一UDP模块；
7)第一UDP模块根据重传指令来重传RTP数据包至TCP/IP传输网络。
一种视频数据的接收方法，所述接收方法中，接收装置中的响应模块接收到RTP数据包后还包括以下过程：通过响应模块针对其收到的RTP数据包响应回复确认信息给到发送装置中的确认重传模块。
本发明的有益效果是：在现有的视频数据的发送装置和接收装置上分别增加了确认重传模块和响应模块，并结合现有的视频数据的发送方法和接收方法作了相应的改进，即建立了丢包重传机制，即：利用接收装置中的响应模块针对其收到的RTP数据包响应回复确认信息给到发送装置中的确认重传模块，利用确认重传模块接收确认信息、判断RTP数据包是否丢失、判断RTP数据包已丢失后生成重传指令给第一UDP模块；第一UDP模块根据重传指令来重传RTP数据包至TCP/IP传输网络，由接收装置重新接收。由此可知，在本发明的视频通讯数据传输流程中，RTP数据包丢失后通过重传丢失的RTP数据包的方式，确保了RTP数据包在接收装置中还原组合成完整的视频帧，因此，最后图像输出设备能够输出质量和声音效果好的视频图像，图像不花屏，声音清晰。
附图说明
图1为现有的视频数据的发送装置示意图；
图2为现有的视频数据的接收装置示意图；
图3为现有的视频帧被分割并封装成视频帧数据包通过TCP/IP网络进行传输的示意图；
图4为现有的视频数据无法控制TCP/IP传输网络传输数据包过程中的丢包现象的示意图；
图5为本发明一种实施方式的视频数据的发送装置示意图；
图6为图5所示的发送装置进一步细化的示意图；
图7为本发明一种实施方式的视频数据的接收装置示意图；
图8为图6所示的发送装置和图7所示的接收装置进行视频通讯时的一种数据传输过程简略示意图；
图9为本发明一种实施方式的视频数据的发送方法流程示意图；
图10为本发明一种实施方式的视频数据的接收方法流程示意图。
具体实施方式
实施方式一
本实施方式包括视频数据的发送、接收装置及发送、接收方法，其中：
如图5和图6所示，一种视频数据的发送装置，包括图像采集模块1、编码模块2、第一RTP模块3、确认重传模块4和第一UDP模块5；图像采集模块1用于采集视频图像并将所采集的原始视频图像输出至编码模块2；编码模块2用于将输入的原始图像进行图像编码处理，转换为视频帧，并将视频帧输出至第一RTP模块3；第一RTP模块3用于将已编码的视频帧分割并封装成至少一个RTP数据包发送至确认重传模块4；确认重传模块4用于将RTP数据包转给第一UDP模块5、还用于接收确认信息、用于判断RTP数据包是否丢失、及用于判断RTP数据包丢失后生成重传指令给第一UDP模块5；第一UDP模块5用于发送RTP数据包至TCP/IP传输网络，用于根据重传指令来重传RTP数据包至TCP/IP传输网络中，及用于接收TCP/IP传输网络传输过来的确认信息并转给确认重传模块4。
在该发送装置中，确认重传模块4包括确认请求模块41和重传控制模块42；确认请求模块41用于给每一待发送的RTP数据包附加确认请求，并将已附加确认请求的RTP数据包输出至第一UDP模块5；重传控制模块42用于在RTP数据包通过第一UDP模块5发送后，在指定的时间内未收到接收装置中的响应模块根据该RTP数据包附加的确认请求而回复的确认信息，视为该RTP数据包丢失，则生成重传指令给所述第一UDP模块5。
如图7所示，一种视频数据的接收装置，包括第二UDP模块6、响应模块7、第二RTP模块8、QoS模块9、解码模块10和图像输出设备11，第二UDP模块6用于接收TCP/IP传输网络传输过来的RTP数据包，并将RTP数据包输出至响应模块7，及用于发送确认信息至TCP/IP传输网络中；响应模块7用于针对其收到的RTP数据包响应回复确认信息，给到第二UDP模块6发送，及用于将其收到的RTP数据包转给第二RTP模块8；第二RTP模块8用于将其所接收的RTP数据包输出至QoS模块9；QoS模块9用于对输入的数据包进行缓冲排序，并将数据包组合还原成视频帧，输出至解码模块10；解码模块10用于对输入的视频帧进行解码处理，并将解码后的视频帧输出至图像输出设备11，图像输出设备11用于将视频帧转换成图像输出。
在该接收装置中，响应模块7具体用于针对其收到的附有确认请求的RTP数据包响应回复确认信息，及用于将RTP数据包输出至第二RTP模块8。
本视频数据的发送和接收装置的工作过程是：如图5至图8所示，就发送装置而言，图像采集模块1采集视频图像并将所采集的原始视频图像输出至编码模块2；编码模块2将输入的原始图像进行图像编码处理，转换为视频帧，并将视频帧输出至第一RTP模块3；第一RTP模块3将已编码的视频帧分割并封装成至少一个RTP数据包发送至确认重传模块4；确认重传模块4通过其确认请求模块41给每一待发送的RTP数据包附加确认请求，并将已附加确认请求的RTP数据包输出至第一UDP模块5；第一UDP模块5将附有确认请求的RTP数据包发送至TCP/IP传输网络中。就接收装置而言，第二UDP模块6接收TCP/IP传输网络传输过来的附有确认请求的RTP数据包，并将RTP数据包输出至响应模块7；一方面，响应模块7针对其收到的RTP数据包附加的确认请求响应回复确认信息给到第二UDP模块6发送至TCP/IP传输网络中，发送装置中的第一UDP模块5在指定的时间内收到确认信息，及时转给重传控制模块42，重传控制模块42在附有确认请求的RTP数据包通过第一UDP模块5发送后，在指定的时间内收到了接收装置中的响应模块7响应回复的确认信息，视为接收装置收到了该确认信息所对应的RTP数据包，因此，不生成重传指令；这里顺便说明一下，如果重传控制模块42在第一UDP模块发送附有确认请求的RTP数据包后，在指定的时间内未收到接收装置中的响应模块7针对确认请求而响应回复的确认信息，则视为该附有确认请求的RTP数据包在TCP/IP传输网络的传输过程中丢失，生成重传指令给到第一UDP模块重传该丢失的附有确认请求的RTP数据包，直到重传控制模块42判断该RTP数据包接收装置已收到为止；另一方面，响应模块7将其收到的RTP数据包转给第二RTP模块8；第二RTP模块8将其所接收的RTP数据包输出至QoS模块9；QoS模块9对输入的数据包进行缓冲排序，并将完整的数据包组合还原成完整的视频帧，输出至解码模块10；解码模块10对输入的视频帧进行解码处理，并将解码后的视频帧输出至图像输出设备11，图像输出设备11将视频帧转换成图像输出。
如图8所示，重点示出了发送装置将一个视频帧的n个附有确认请求的RTP数据包发送至TCP/IP传输网络中，并由接收装置接收。这n个附有确认请求的RTP数据包在TCP/IP传输网络中，有些被传输到了接收装置中，如第一数据包、第三数据包、第n数据包等；有些丢失了，未被接收装置收到，如第二数据包等。接收装置收到了附有确认请求的RTP数据包后，如第一数据包、第三数据包、第n数据包等，响应回复确认信息给发送装置，而发送装置在指定的时间内收到了第一数据包的确认信息、第三数据包的确认信息、第n数据包的确认信息等，则认为接收装置收到了第一数据包、第三数据包、第n数据包等。而对丢失的RTP数据包而言，如第二数据包，由于接收装置收不到第二数据包，不会响应回复确认信息给发送装置，因而发送装置在指定的时间内不会收到也根本收不到第二数据包的确认信息，视为数据包在TCP/IP传输网络中丢失，重发第二数据包。由于在发送装置和接收装置中增加了丢包重传机制，确保了接收装置中数据包组合还原成视频帧的完整性，因而，输出的视频图像不花屏，声音清晰。
与本实施方式的视频数据的发送装置和接收装置对应采用的视频数据的发送方法和接收方法为：
如图9所示，一种视频数据的发送方法，包括以下步骤：
步骤S1：采集图像，利用图像采集模块采集视频图像数据；
步骤S2：编码处理，利用编码模块对所采集的原始视频图像进行图像编码处理，并转换为视频帧；
步骤S3：封包，利用第一RTP模块将视频帧分割并封装成至少一个RTP数据包；
步骤S4：递包，利用确认重传模块将RTP数据包转给所述第一UDP模块；
步骤S5：发送，利用第一UDP模块将RTP数据包发送至TCP/IP传输网络中；
步骤S6：接收确认信息，利用第一UDP模块接收TCP/IP传输网络传输过来的确认信息并转给确认重传模块；
步骤S7：重传控制处理，利用确认重传模块接收第一UDP模块输出的确认信息，根据接收确认信息的规则来判断RTP数据包在TCP/IP传输网络传输过程中是否丢失、判断RTP数据包已丢失后生成重传指令给所述第一UDP模块；
其中步骤S4具体为：利用确认请求模块给每一待发送的RTP数据包附加确认请求，并将已附加确认请求的RTP数据包输出至所述第一UDP模块。
其中步骤S7具体为：利用重传控制模块在RTP数据包通过第一UDP模块发送后，在指定的时间内未收到接收装置根据该RTP数据包附加的确认请求而回复的确认信息，指令所述第一UDP模块重传该RTP数据包。
如图10所示，一种视频数据的接收方法，包括以下步骤：
步骤S21：接收，利用第二UDP模块接收TCP/IP传输网络传输过来的RTP数据包；
步骤S22：响应处理，利用响应模块针对其收到的RTP数据包响应回复确认信息，给到所述第二UDP模块发送，及将其收到的RTP数据包转给所述第二RTP模块；
步骤S23：缓冲排序，利用第二RTP模块将其所接收的RTP数据包输出至QoS模块；利用QoS模块对输入的数据包进行缓冲排序，并将数据包组合还原成视频帧；
步骤S24：解码处理，利用解码模块对所还原的视频帧进行解码处理；
步骤S25：输出视频图像，利用图像输出设备将解码的视频帧转换成图像输出。
其中步骤S22具体为：利用响应模块针对其收到的附有确认请求的RTP数据包响应回复确认信息，给到所述第二UDP模块发送至TCP/IP传输网络中，以使发送装置接收，并将RTP数据包输出至第二UDP模块。
实施方式二
本实施方式的视频数据的发送和接收装置及发送和接收方法是基于上述实施方式一而作的改进。具体是：
本实施方式中的发送装置与实施方式一的发送装置基本相同，但确认重传模块取消了实施方式一中的确认请求模块，即本实施方式中的确认重传模块用于将RTP数据包不作附加确认请求处理直接转给第一UDP模块发送，该确认重传模块主要用于在RTP数据包通过第一UDP模块发送后，在指定的时间内未收到接收装置中的响应模块针对该RTP数据包响应回复的确认信息，视为该RTP数据包丢失，并生成重传指令给第一UDP模块。为了简化装置，当然在其它实施方式中，RTP数据包也可以不通过确认重传模块直接转给第一UDP模块，而是直接由第一RTP模块直接输给第一UDP模块，但确认重传模块仅用于RTP数据包通过第一UDP模块发送后，在指定的时间内未收到接收装置中的响应模块针对该RTP数据包响应回复的确认信息，视为该RTP数据包丢失，并生成重传指令给第一UDP模块。
本实施方式中的接收装置与实施方式一中的接收装置基本相同，但响应模块是用于针对其收到的未附有确认请求的RTP数据包响应回复确认信息，及用于将RTP数据包输出至第二RTP模块。
本实施方式中的发送方法与实施方式一的发送方法基本相同，但取消了实施方式一中递包步骤S4中的利用确认请求模块给每一RTP数据包增加确认请求；本实施方式递包步骤是利用确认重传模块不作附加确认请求直接将RTP数据包转给第一UDP模块发送。
本实施方式中的接收方法与实施方式一的接收方法基本相同，但将实施方式一中的响应处理步骤S22改为利用响应模块针对其收到的未附有确认请求的RTP数据包响应回复确认信息，给到所述第二UDP模块发送至TCP/IP传输中，以使发送装置接收；及利用响应模块将RTP数据包输出至第二RTP模块。
本实施方式的丢包重传机制是基于发送装置对RTP数据包不作附加确认请求处理，而发送装置接针对收到的每一RTP数据包必须强行响应回复确认信息给发送装置。发送装置若在RTP数据包发送后在指定的时间内收到确认信息，则判断RTP数据包到达接收装置；若在RTP数据包发送后在指定的时间内未收到确认信息，则视为RTP数据包在TCP/IP传输网络中丢失，因此重传所丢失的RTP数据包。由此可知，本实施方式能够达到与实施方式一的技术效果。
以上内容是接合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。