视频编解码系统及视频流传输方法.pdf

《视频编解码系统及视频流传输方法.pdf》由会员分享，可在线阅读，更多相关《视频编解码系统及视频流传输方法.pdf（10页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 104243989 A (43)申请公布日 2014.12.24 CN 104243989 A (21)申请号 201310278058.8 (22)申请日 2013.07.04 102121286 2013.06.17 TW H04N 19/15(2014.01) H04N 19/44(2014.01) (71)申请人 广达电脑股份有限公司 地址 中国台湾桃园县 (72)发明人 庄理安 郑楷儒 丁敬原 方俊雄 谢昕伦 林榆丰 (74)专利代理机构 北京市柳沈律师事务所 11105 代理人 史新宏 (54) 发明名称 视频编解码系统及视频流传输方法 (57) 摘要 本。

2、发明提供一种视频编解码系统及视频流传 输方法。该视频流传输方法包括 ： 利用视频编码 装置依序对多张第一图像进行编码以产生视频位 流， 并将视频位流通过一网络传送至视频解码装 置 ； 利用视频解码装置对视频位流进行解码以产 生相应的多张第二图像 ； 其中当视频解码装置检 测到在传送该视频位流时有数据丢失的情况， 利 用视频解码装置参考第二图像中最后解码所产生 的第三图像以进行后续视频解码处理， 并传送一 请求信号至视频编码装置， 使得视频编码装置参 考在第一图像中相应于第三图像的第四图像以进 行后续视频编码处理。 (30)优先权数据 (51)Int.Cl. 权利要求书 2 页 说明书 4 页 。

3、附图 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书4页 附图3页 (10)申请公布号 CN 104243989 A CN 104243989 A 1/2 页 2 1. 一种视频编解码系统， 包括 ： 一视频编码装置， 包括 ： 一第一视频处理器， 用以依序对多张第一图像进行编码以产生一视频位流 ； 一第一存储器单元， 用以存储该视频位流 ； 以及 一第一网络单元， 用以通过一网络传送该视频位流 ； 以及 一视频解码装置， 包括 ： 一第二网络单元， 用以接收该视频位流 ； 一第二视频处理器， 用以对该视频位流进行解码以产生相应的多张第二图像 ； 以。

4、及 一第二存储器单元， 用以存储所述第二图像， 其中当该第二视频处理器检测到在传送该视频位流时有数据丢失， 该第二视频处理器 参考所述第二图像中最后解码所产生的一第三图像以进行后续视频解码处理， 并传送一请 求信号至该视频编码装置， 使得该第一视频处理器参考在所述第一图像中相应于该第三图 像的一第四图像以进行后续视频编码处理。 2. 如权利要求 1 所述的视频编解码系统， 其中该视频编码装置还包括 ： 一图像提取装置， 用以持续提取所述第一图像 ； 以及 一图像缓冲器， 用以存储该所提取的所述第一图像。 3. 如权利要求 2 所述的视频编解码系统， 其中所述第一图像以 Motion JPEG 。

5、的格式存 储。 4. 如权利要求 1 所述的视频编解码系统， 其中当该视频编码装置接收到该请求信号， 该第一视频处理器停止对所述第一图像的一目前图像进行编码， 且该第一视频处理器并参 考该第四图像以对该目前图像的一后续图像进行编码。 5. 如权利要求 4 所述的视频编解码系统， 其中在该视频解码装置接收到相应于该后续 图像的该视频位流后， 该第二视频处理器参考该第三图像对相应于该后续图像的该视频位 流进行解码。 6. 一种视频流传输方法， 用于一视频编解码系统， 该视频编解码系统包括一视频编码 装置及一视频解码装置， 该方法包括 ： 利用该视频编码装置依序对多张第一图像进行编码以产生一视频位流。

6、， 并将该视频位 流通过一网络传送至该视频解码装置 ； 利用该视频解码装置对该视频位流进行解码以产生相应的多张第二图像 ； 以及 其中当该视频解码装置检测到在传送该视频位流时有数据丢失， 利用该视频解码装置 参考所述第二图像中最后解码所产生的一第三图像以进行后续视频解码处理， 并传送一请 求信号至该视频编码装置， 使得该视频编码装置参考在所述第一图像中相应于该第三图像 的一第四图像以进行后续视频编码处理。 7. 如权利要求 6 所述的视频流传输方法， 其中该视频编码装置还包括 ： 一图像提取装置， 用以持续提取所述第一图像 ； 以及 一图像缓冲器， 用以存储该所提取的所述第一图像。 8. 如权。

7、利要求 7 所述的视频流传输方法， 其中所述第一图像以 Motion JPEG 的格式存 储。 9. 如权利要求 6 所述的视频流传输方法， 还包括 ： 权 利 要 求 书 CN 104243989 A 2 2/2 页 3 当该视频编码装置接收到该请求信号， 利用该视频编码装置停止对所述第一图像的一 目前图像进行编码， 并参考该第四图像以对该目前图像的一后续图像进行编码。 10. 如权利要求 6 所述的视频流传输方法， 还包括 ： 在该视频解码装置接收到相应于该后续图像的该视频位流后， 利用该视频解码装置参 考该第三图像对相应于该后续图像的该视频位流进行解码。 权 利 要 求 书 CN 104。

8、243989 A 3 1/4 页 4 视频编解码系统及视频流传输方法 技术领域 0001 本发明涉及视频处理， 特别涉及可在图像传输中丢失图像时， 不需重新传送 I 图 像 (I-picture) 视频编解码系统及视频流传输方法。 背景技术 0002 在视频压缩中， 有三种图像格式， 例如是 I 图像、 P 图像及 B 图像， 其中 I 图像可不 用参考其他图像而直接进行解码， 而P图像及B图像则需参考其他图像(例如参考先前的I 图像或 P 图像 ) 以进行解码。如果在传输视频位流 (bitstream， 又称之为 “比特流” ) 时在 某一图像发生分组丢失 (packet loss) 的情况。

9、， 则参考该张图像的其他图像则无法正确地 进行解码。在先前的视频编解码系统中， 为了要克服上述问题， 其使用 IDR(Instantaneous Decoding Refresh)图像， 但在网络上传输IDR图像需要耗费相当大的频宽。 对于网络情况 不佳的视频编解码系统而言， 该方式并无法有效地解决上述问题。 发明内容 0003 本发明提供一种视频编解码系统， 包括 ： 一视频编码装置， 包括 ： 一第一视频处理 器， 用以依序对多张第一图像进行编码以产生一视频位流 ； 一第一存储器单元， 用以存储该 视频位流 ； 以及一第一网络单元， 用以通过一网络传送该视频位流 ； 以及一视频解码装置， 。

10、包括 ： 一第二网络单元， 用以接收该视频位流 ； 一第二视频处理器， 用以对该视频位流进行 解码以产生相应的多张第二图像 ； 以及一第二存储器单元， 用以存储该等第二图像， 其中当 该第二视频处理器检测到在传送该视频位流时有数据丢失的情况， 该第二视频处理器参考 该等第二图像中最后解码所产生的一第三图像以进行后续视频解码处理， 并传送一请求信 号至该视频编码装置， 使得该第一视频处理器参考在该等第一图像中相应于该第三图像的 一第四图像以进行后续视频编码处理。 0004 本发明还提供一种视频流传输方法， 用于一视频编解码系统， 该视频编解码系统 包括一视频编码装置及一视频解码装置， 该方法包括。

11、 ： 利用该视频编码装置依序对多张第 一图像进行编码以产生一视频位流， 并将该视频位流通过一网络传送至该视频解码装置 ； 利用该视频解码装置对该视频位流进行解码以产生相应的多张第二图像 ； 其中当该视频解 码装置检测到在传送该视频位流时有数据丢失的情况， 利用该视频解码装置参考该等第二 图像中最后解码所产生的一第三图像以进行后续视频解码处理， 并传送一请求信号至该视 频编码装置， 使得该视频编码装置参考在该等第一图像中相应于该第三图像的一第四图像 以进行后续视频编码处理。 附图说明 0005 图 1 是显示依据本发明一实施例的视频编解码系统 10 的功能方块图。 0006 图 2A 图 2C 。

12、是显示依据本发明一实施例中的视频编解码系统 10 分别进行编码 及解码的示意图。 说 明 书 CN 104243989 A 4 2/4 页 5 0007 图 3 是显示依据本发明一实施例的视频流传输方法的流程图。 0008 【符号说明】 0009 10 视频编解码系统 ； 0010 30 网络 ； 0011 100 视频编码装置 ； 0012 110 图像提取装置 ； 0013 120 视频处理器 ； 0014 130 存储器单元 ； 0015 140 图像缓冲器 ； 0016 150 网络单元 ； 0017 200 视频解码装置 ； 0018 220 视频处理器 ； 0019 230 存储器。

13、单元 ； 0020 250 网络单元 ； 0021 31 36、 31 图像 ； 0022 S310 S330 步骤。 具体实施方式 0023 为使本发明的上述目的、 特征和优点能更明显易懂， 下文特举一优选实施例， 并配 合附图， 作详细说明如下。 0024 图 1 是显示依据本发明一实施例的视频编解码系统 10 的功能方块图。视频编解 码系统 10 包括视频编码装置 100 及视频解码装置 200。在一实施例中， 视频编码装置 100 包括一图像提取装置110、 一视频处理器120、 一存储器单元130、 一图像缓冲器140、 以及一 网络单元150。 简单而言， 视频处理器110用以对一。

14、图像群组(Group of pictures， GOP)中 的多张图像进行视频编码 ( 例如使用 MPEG2、 H.263、 H.264/AVC 等视频编解码标准 )， 藉以 产生一视频位流。接着， 视频处理器 110 经由网络单元 150 将所产生的视频位流以网络分 组的形式通过一网络 30( 例如是有线网络或无线网络 ) 传送至视频解码装置 200。 0025 承上述实施例， 视频解码装置 200 包括一视频处理器 220、 一存储器单元 230 及一 网络单元 250。视频解码装置 200 通过网络单元 250 接收来自视频编码装置 100 的视频位 流的网络分组， 并将所接收的网络分组。

15、还原为视频位流。接着， 视频处理器 220 对该视频位 流进行视频解码处理， 以得到原本的图像群组中的图像。 0026 在上述实施例中， 图像提取装置 110 可持续提取图像， 并将所提取的图像存储至 图像缓冲器 140， 其中存储于图像缓冲器 140 中的图像格式例如可为 Motion JPEG(MJPG)， 但本发明并不以此为限。在一实施例中， 图像提取装置 110 可由 CMOS 或 CCD 感测器所实 现。视频处理器 120 可为一中央处理器 (CPU) 或数字信号处理器 (DSP)( 意即可为软件 )、 或是由特定的视频编码电路 ( 意即可为硬件 ) 所实现。在另一实施例中， 视频处。

16、理器 120 可由 CPU 或 DSP、 结合特定视频编码电路所实现 ( 意即可为软硬件结合 )。在开始进行视频 编码处理之前， 视频处理器110会读取在图像缓冲器140中所需的图像， 并将该图像解码为 相应的一原始图像 (raw image)( 例如可为 YUV/YCbCr4:2:2 或 4:2:0 格式 )， 接着再对所 说 明 书 CN 104243989 A 5 3/4 页 6 得到的原始图像进行视频编码处理。更进一步而言， 视频处理器 110 进行视频编码时所需 要暂存的中间数据、 原始图像以及所产生的视频位流均可存储于存储器单元 130 中。存储 器单元 130 及图像缓冲器 14。

17、0 可用非易失性存储器 (Non-volatile Memory， 例如是硬盘或 快闪存储器等等 ) 或是易失性存储器 (Volatile Memory， 例如是随机存取存储器， 如 SRAM 或 DRAM)， 但本发明并不以此为限。网络单元 150 可为一收发装置 (Transceiver)， 除了可 发送网络分组至其他的电子装置之外， 也可由其他的电子装置接收网络分组。 0027 图 2A 图 2C 是显示依据本发明一实施例中的视频编解码系统 10 分别进行编码 及解码的示意图。对于视频编码来说， 所要编码的图像可分为 I 图像、 P 图像及 B 图像等 等， 其中 I 图像为空间内预测图。

18、像， P 图像为单向预测图像， B 图像为双向预测图像。如果要 对 P 图像进行视频编码， 则必需参考先前的 I 图像或 P 图像以作为一参考图像 (reference image)。如图 2A 所示， 图像缓冲器 140 中存储有足够数量用于视频编码的多张图像， 例如 依序为图像 31 36。为了便于说明， 在此实施例中， 图像 31 是以 I- 图像的格式进行编码， 图像 32 36 是以 P 图像的格式进行编码， 且图像 32 是参考图像 31， 图像 33 是参考图像 32， 依此类推。每当视频处理器 120 完成一张图像的视频编码处理， 会将相应产生的视频位 流传送至视频解码装置 2。

19、00。 0028 举例来说， 如图 2B 所示， 视频处理器 120 已完成图像 31 33 的视频编码， 且正在 进行图像 34 的视频编码处理时， 视频处理器 220 已完成图像 31 的视频位流的视频解码处 理， 并正开始进行相应于图像 33 的视频位流的视频解码处理， 其中解码所得的图像 31 存 储于存储器单元230中(注 ： 因视频编码为破坏压缩(lossy compression)格式， 故解码所 得的图像不会跟原始图像完全相同)。 当视频处理器220在对图像33的视频位流解码时， 会 需要参考到图像32。 然而图像32的数据可能会因为网络状况不佳而有数据丢失的情况， 因 此视频。

20、处理器 220 可检测到相应于图像 32 的视频位流的任何数据丢失情况 ( 例如有任何 一个区块的数据丢失 )， 则停止对相应于图像 33 的视频位流进行视频解码处理， 并经由网 络单元 250 发送一请求信号至视频编码装置 100， 要求重建 I 图像或是 IDR(Instantaneous Decoding Refresh) 图像 ( 例如用于 H.264 标准 ) 以进行后续图像的视频解码处理。 0029 此时， 如图 2C 所示， 因视频编码装置 100 及视频解码装置 200 中分别存储有相应 的图像 31 及 31 ， 故当视频编码装置 100 接收到该请求信号时， 即停止对图像 。

21、34 进行视频 编码处理， 而再以图像 31 为 I 图像 ( 参考图像 )， 将图像 35 以 P 图像进行编码以产生相应 的视频位流， 并将图像35的视频位流传送至视频解码装置200。 接着， 视频解码装置200则 以图像 31 为 I 图像 ( 参考图像 )， 接着对相应于图像 35(P 图像， 且参考图像 31) 的视频位 流进行解码， 且后续的视频解码处理则可依据预定的图像解码顺序进行， 例如图像 36(P 图 像 ) 可参考图像 35( 亦为 P 图像 )。因此， 视频编码装置 100( 意即传送端 ) 可仅传送 P 图 像的视频位流， 而不用再重新传送相应于图像31(I图像)的视。

22、频位流至视频解码装置200， 意即可节省传送 I 图像所需的大量频宽。除此之外， 当视频位流的数据有丢失的情况发生 时， 视频解码装置 200 在进行视频解码处理时不会参考到有数据丢失的图像， 进而避免产 生有瑕疪 (artifact) 的图像。 0030 请同样参考图2， 在另一实施例中， 假设图像3136均为P图像， 且图像丢失的情 况与上述实施例相同。视频解码单元 220 可指定一图像的编号 (number) 或索引 (index) 以作为参考图像， 亦或是指定最后一张完整解码所得到的图像作为参考图像。 换句话说， 当 说 明 书 CN 104243989 A 6 4/4 页 7 视频处。

23、理器 220 完成图像 31 的视频位流的解码后所得到的图像 31 可再作为 I 图像， 以供 后续图像的视频解码参考之用。 0031 上述实施例仅描述视频编码装置100单向传输视频位流至视频解码装置200的情 况。在一些实施例中， 视频编码装置 100 及视频解码装置 200 均具有视频编码及解码的功 能， 意即视频编解码系统10可为一视频会议系统， 而视频编码装置100及视频解码装置200 则为不同使用者所具有的视频会议设备。无论是视频编码装置 100 或视频解码装置 200 检 测到在传输其视频位流时有数据丢失的情况， 均可发送一请求信号至另一装置， 藉以让两 边的装置能同步参考最后解码。

24、所得到的相应图像， 而不用再重新传送 I 图像的视频位流， 进而节省频宽。 0032 图 3 是显示依据本发明一实施例的视频流传输方法的流程图。请同时参考图 1 及 图 3， 在步骤 S310， 视频编码装置 100 依序对多张第一图像进行编码以产生一视频位流， 并 将该视频位流通过网络 30 传送至视频解码装置 200。在步骤 S320， 视频解码装置 200 对该 视频位流进行解码以产生相应的多张第二图像。在步骤 S330， 当视频解码装置 200 检测到 在传送该视频位流时有数据丢失， 视频解码装置 200 参考第二图像中最后解码所产生的一 第三图像 ( 例如图 2C 中的图像 31 )。

25、 以进行后续视频解码处理， 并传送一请求信号至视频 编码装置， 使得视频编码装置参考在第一图像中相应于该第三图像的一第四图像 ( 例如图 2C 中的图像 31) 以进行后续视频编码处理。需注意的是， 当视频编码装置 100 收到来自视 频解码装置 200 的请求信号， 视频编码装置 100 会停止目前图像的编码 ( 例如图 2B 中的图 像 34)， 而改用由该请求信号所指定或是在视频解码装置 200 中最后完成解码的相应的图 像 ( 例如图 2C 中的图像 31) 为参考图像， 并对该目前图像的后续图像 ( 例如图 2C 中的图 像 35) 进行编码。 0033 综上所述， 当在传输视频位流。

26、时发生数据丢失的情况， 本发明的视频编解码系统 及视频流传输方法可不用再重新传送 I 图像的视频位流至视频解码装置， 意即可节省传送 I 图像所需的大量频宽。 0034 本发明虽以优选实施例公开如上， 然其并非用以限定本发明的范围， 本领域技术 人员在不脱离本发明的精神和范围内， 当可做些许的更动与润饰， 因此本发明的保护范围 当视所附权利要求书界定范围为准。 说 明 书 CN 104243989 A 7 1/3 页 8 图 1 说 明 书 附 图 CN 104243989 A 8 2/3 页 9 图 2A 图 2B 说 明 书 附 图 CN 104243989 A 9 3/3 页 10 图 2C 图 3 说 明 书 附 图 CN 104243989 A 10 。