一种适用于HEVC的快速帧间预测方法.pdf

《一种适用于HEVC的快速帧间预测方法.pdf》由会员分享，可在线阅读，更多相关《一种适用于HEVC的快速帧间预测方法.pdf（8页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 104023234 A (43)申请公布日 2014.09.03 CN 104023234 A (21)申请号 201410285612.X (22)申请日 2014.06.24 H04N 19/147(2014.01) H04N 19/109(2014.01) (71)申请人 华侨大学 地址 362000 福建省泉州市丰泽区城东华侨 大学 (72)发明人 林其伟 许东旭 董晓慧 (74)专利代理机构 泉州市文华专利代理有限公 司 35205 代理人 陈智海 (54) 发明名称 一种适用于 HEVC 的快速帧间预测方法 (57) 摘要 本发明提供了一种适用于 HEVC。

2、 的快速帧间 预测方法。该方法首先在 PU(Prediction Unit， 预测单元)级的模式决策上， 利用当前CU(Coding Unit， 编码单元 ) 与其时空上相邻最近的所有已 编码块获得的 MV(Motion Vector， 运动矢量 ) 长 度提前决定 2Nx2N(N 32， 16， 8， 4) 分割 ； 接着在 CU 级上利用 RDcost 对满足条件的 CU 终止其进一 步分割计算。 本发明方法可精确地终止CU不必要 的深度计算以及终止 PU 不必要的模式计算， 能够 极大地降低 HEVC 的帧间编码复杂度， 有助于实现 HEVC 编码器的实时应用。 (51)Int.Cl. 。

3、权利要求书 1 页 说明书 5 页 附图 1 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书5页 附图1页 (10)申请公布号 CN 104023234 A CN 104023234 A 1/1 页 2 1. 一种适用于 HEVC 的快速帧间预测方法， 其特征在于 ： 包括如下步骤 ： 步骤一 ： 预处理统计阶段， 具体包括 ： 步骤 a1 ： 统计基于 RDcost 的 CU 分割提前终止方法的阈值， 每个深度级 0-2 上的随 QP 变化的三组阈值如下 ： Thr64 2270e0.8907QP (1) Thr32 722.2e0.1096QP (2。

4、) Thr16 228.5e0.1136QP (3) 步骤 a2 ： 统计当前 CU 以及与其时空上相邻最近的所有已编码单元的 MV 长度信息与各 个 PU 模式的关系， 由式 (4)(5) 求出该组 MV 集合里的最大 MV 长度 L， 统计 L 的阈值如下 ： L 为 0 的 QP 是 22， L 为 2 的 QP 是 27， L 为 4 的 QP 是 32， L 为 6 的 QP 是 37 ； l(mvi) |xi|+|yi|,i 1,2,3,4,5,6 (4) L maxl(mv1),l(mv2),l(mv3),l(mv4),l(mv5),l(mv6) (5) 步骤二 ： 实施阶段 ：。

5、 步骤 b1 ： 读入一个 CU 块， 进行 SKIP/Merge 模式计算 ； 进行 inter2Nx2N 的 RDO 计算， 收 集所有 MV 信息 ； 步骤 b2 ： 判断 MV 集合中除 MV1 以外的其余 5 个 MV 是否至少存在 3 个， 是， 转到步骤 3 ； 否则， 转到步骤 4 ； 步骤 b3 ： 按式 (4) 与式 (5) 得出 L， 判断 L 是否小于对应 QP 下的阈值， 是， 则转到步骤 5 ； 否则， 转到步骤 4 ； 步骤 b4 ： 计算 Nx2N 分割模式， 计算 2NxN 分割模式， 计算所有 AMP 模式， 进行帧内预测 ； 步骤 b5 ： 比较已计算的各。

6、个模式的 RDcost， 把最小的 RDcost 记为 Dcost_best ； 步骤 b6 ： 判断当前 CU 的深度， 若深度为 3， 转到步骤 1 ； 否则， 转到步骤 7 ； 步骤 b7 ： 判断当前帧是否为 I 帧， 若是， 转到步骤 13 ； 否则， 转到步骤 8 ； 步骤 b8 ： 判断当前 CU 的深度， 若是 0， 转到步骤 9 ； 若是 1， 转到步骤 10 ； 若是 2， 转到步 骤 11 ； 步骤 b9 ： 由式 (1) 计算出 Thr64x64， 判断 RDcost_best 是否小于 Thr64x64， 若是， 转到 步骤 12 ； 否则转到步骤 13 ； 步骤 b。

7、10 ： 由式 (2) 计算出 Thr32x32， 判断 RDcost_best 是否小于 Thr32x32， 若是， 转 到步骤 12 ； 否则转到步骤 13 ； 步骤 b11 ： 由式 (3) 计算出 Thr16x16， 判断 RDcost_best 是否小于 Thr16x16， 若是， 转 到步骤 12 ； 否则转到步骤 13 ； 步骤 b12 ： 终止当前 CU 的进一步分割， 对下一个 CU 转到步骤 1 ； 步骤 b13 ： 将当前 CU 分割成 4 个子 CU， 对每个子 CU 转到步骤 1 进行相应的处理。 权 利 要 求 书 CN 104023234 A 2 1/5 页 3 。

8、一种适用于 HEVC 的快速帧间预测方法 【技术领域】 0001 本发明属于数字视频通信领域中的视频信息处理领域， 具体涉及一种基于率失真 代价与运动矢量长度的 HEVC(High Efficiency Video Coding， 高效率视频编码 ) 快速帧间 预测方法。 【背景技术】 0002 随着科技的不断进步， 人们对视觉和听觉质量的要求越来越高， 高清视频和超高 清视频开始被普遍关注。10 年之前创立的第二代视频编码标准 H.264/AVC 已不能满足人 们对于实际应用的要求， 工业界和学术界对新一代视频编码标准的渴望越来越强烈。在 这一形势下， VCEG 和 MPEG 两大标准组织开。

9、始进行合作开发， 在 2010 年 1 月成立了称为 JCT-VC(Joint Collaborative Team on Video Coding) 的联合组织， 开始统一制定下一代视 频编码标准并取名为High Efficiency Video Coding(HEVC， 高效率视频编码)， 并于2013年 1 月正式成为国际视频编码标准。 0003 HEVC 虽然跟以往的视频编码标准一样都采用基于块的编码框架， 但 HEVC 做了大 量的技术创新。首次提出三个编码单元概念 ： CU(Coding Unit， 编码单元 )， PU(Prediction Unit， 预测单元 )， TU(Tr。

10、ansform Unit， 变换单元 )。对于 CU 创新性地了采用基于四叉 树的块尺寸递归分割结构， 最大尺寸可达 6464 像素。对于帧间的 PU， 每个深度级上有 SKIP/Merge,2Nx2N,2NxN,Nx2N ； 如果此时深度不为 3， 那么所有的 AMP(Asymmetric Motion Partition， 不对称运动分割)模式 ： 2NxnU， 2NxnD， nLx2N and nRx2N也需包含进去。 对于TU 采用一种称为 RQT(Residual Quad-tree Transform， 残差四叉树 ) 分割结构， 其变换块的大 小可根据残差的特性进行自适应的调整。。

11、 0004 上述所列的技术只是 HEVC 引进的众多技术中最为突出的部分。引进的这些创新 技术使得 HEVC 跟 H.264 相比在保证相同视频质量的同时， 码率可减少 50左右。 0005 可见， 随着对未来高清以及超高清视频的不断需求， 以及移动设备的大力发展， 在 可用带宽限制的前提下， HEVC展现出了巨大的市场应用潜力。 但在取得高增益的同时， HEVC 也面临着一个巨大的问题， 跟 H.264 相比， HEVC 的编码复杂度至少是其 4 倍， 不利于实时应 用。 而HEVC中的模式选择又占到整个编码时间的80以上， 可见研究一种高效的快速模式 选择算法对于降低 HEVC 的编码复杂。

12、度显得尤为重要。 0006 对于帧间 CU 与 PU 的快速决策， 已提出了众多的提案， 如基于 SKIP 模式的子树提 前修剪算法， 该方法首先检查当前 CU 是否为 SKIP 模式， 若是则提前结束其分割过程， 该方 法简单有效， 称为 ECU(Early CU determination) ； 此外还提出了一种 CFM(CBF Fast Mode) 即检查当前亮度块与对应的两个色度块的 cbf(coded block flag) 是否全部为 0， 若是， 则 终止当前 CU 深度余下的 PU 模式处理 ； 同样还提出了一种提前检测 SKIP 模式的方法， 首先 对 2Nx2N 模式进行运。

13、动估计， 之后检查其 DMV(motion vector difference， 运动矢量差值 ) 与 cbf 是否全部为 0， 若是则当前 PU 最优模式为 SKIP 模式， 该方法称为 ESD(Early SKIP Decision)。 目前这三种方法(ECU， CFM， ESD)已被HEVC标准采纳， 作为HM(HEVC Test Model) 说 明 书 CN 104023234 A 3 2/5 页 4 的可选配置选项。但 HEVC 的编码复杂度还是相当巨大。 0007 下面简要说明 HEVC 的帧间预测过程。如图 1 所示， 帧间 CTU(Coding-Tree-Unit， 编码树单。

14、元 ) 的划分从最大的编码单元即 64x64 的 CU 开始， 此时深度为 0。首先对它进行 预测编码， 得到其 RDcost(Rate-Distortion cost， 率失真代价 )， 接着将他分为 4 个子 CU， 每个子 CU 的尺寸为 32x32， 深度为 1， 同样分别对这 4 个子 CU 进行预测编码， 分别得到各自 的 RDcost。如此递归地划分下去 ； 当 CU 的深度为 3 时， 即尺寸为 8x8 时， 终止当前 CU 的分 割。接着对分割的 CU 模式进行选择， 即依次比较 4 个 8x8 的 RDcost 之和是否小于其对应 的 16x16CU 的 RDcost， 如。

15、果是， 则选择 8x8 的分割模式， 否则选择 16x16 的分割模式。如此 比较下去， 直到当前 CU 的深度为 0。此外， 对于每个深度级的 CU， 需要对众多 PU 模式进行 RDO(Rate Distortion Optimization， 率失真优化 ) 计算 ： 如 SKIP/Merge， 2Nx2N， Nx2N 以及 2NxN， 帧内预测 (intra PU) ； 如果当前 CU 的深度不为 3， 那么也必须对所有的 AMP 模式 ： 如 2NxnU， 2NxnD， nLx2N and nRx2N 进行 RDO 计算。接着对每个深度级计算出的所有 PU 模式中 选取一个 RDco。

16、st 最小的模式作为当前深度层的最优模式。 0008 从以上看出， 帧间预测需要穷尽地对 4 个深度级 ( 深度范围 ： 0-3) 的 CU 以及每个 深度级的所有PU模式进行RDO计算， 才能决定出最优的分割模式， 可见复杂度相当巨大。 因 此， 发明一种有效的方法降低 HEVC 帧间预测的计算复杂度显得尤为重要。 【发明内容】 0009 本发明所要解决的技术问题在于提供一种简单且高效的基于率失真代价与运动 矢量长度的 HEVC 快速帧间预测方法， 有助于实现 HEVC 编码器的实时应用。 0010 本发明是这样实现的 ： 0011 一种适用于 HEVC 的快速帧间预测方法， 包括如下步骤 。

17、： 0012 步骤一 ： 预处理统计阶段， 具体包括 ： 0013 步骤 a1 ： 统计基于 RDcost 的 CU 分割提前终止方法的阈值， 每个深度级 0-2 上的 随 QP 变化的三组阈值如下 ： 0014 Thr64 2270e0.8907QP (1) 0015 Thr32 722.2e0.1096QP (2) 0016 Thr16 228.5e0.1136QP (3) 0017 步骤 a2 ： 统计当前 CU 以及与其时空上相邻最近的所有已编码单元的 MV 长度信息 与各个 PU 模式的关系， 由式 (4)(5) 求出该组 MV 集合里的最大 MV 长度 L， 统计 L 的阈值如 下。

18、 ： L 为 0 的 QP 是 22， L 为 2 的 QP 是 27， L 为 4 的 QP 是 32， L 为 6 的 QP 是 37 ； 0018 l(mvi) |xi|+|yi|,i 1,2,3,4,5,6 (4) 0019 L maxl(mv1),l(mv2),l(mv3),l(mv4),l(mv5),l(mv6) (5) 0020 步骤二 ： 实施阶段， 具体包括 ： 0021 步骤 b1 ： 读入一个 CU 块， 进行 SKIP/Merge 模式计算 ； 进行 inter2Nx2N 的 RDO 计 算， 收集所有 MV 信息 ； 0022 步骤 b2 ： 判断 MV 集合中除 M。

19、V1 以外的其余 5 个 MV 是否至少存在 3 个， 是， 转到步 骤 3 ； 否则， 转到步骤 4 ； 0023 步骤 b3 ： 按式 (4) 与式 (5) 得出 L， 判断 L 是否小于对应 QP 下的阈值， 是， 则转到 说 明 书 CN 104023234 A 4 3/5 页 5 步骤 5 ； 否则， 转到步骤 4 ； 0024 步骤 b4 ： 计算 Nx2N 分割模式， 计算 2NxN 分割模式， 计算所有 AMP 模式， 进行帧内 预测 ； 0025 步骤 b5 ： 比较已计算的各个模式的 RDcost， 把最小的 RDcost 记为 Dcost_best ； 0026 步骤 b。

20、6 ： 判断当前 CU 的深度， 若深度为 3， 转到步骤 1 ； 否则， 转到步骤 7 ； 0027 步骤 b7 ： 判断当前帧是否为 I 帧， 若是， 转到步骤 13 ； 否则， 转到步骤 8 ； 0028 步骤 b8 ： 判断当前 CU 的深度， 若是 0， 转到步骤 9 ； 若是 1， 转到步骤 10 ； 若是 2， 转 到步骤 11 ； 0029 步骤 b9 ： 由式 (1) 计算出 Thr64x64， 判断 RDcost_best 是否小于 Thr64x64， 若是， 转到步骤 12 ； 否则转到步骤 13 ； 0030 步骤b10 ： 由式(2)计算出Thr32x32， 判断RD。

21、cost_best是否小于Thr32x32， 若是， 转到步骤 12 ； 否则转到步骤 13 ； 0031 步骤b11 ： 由式(3)计算出Thr16x16， 判断RDcost_best是否小于Thr16x16， 若是， 转到步骤 12 ； 否则转到步骤 13 ； 0032 步骤 b12 ： 终止当前 CU 的进一步分割， 对下一个 CU 转到步骤 1 ； 0033 步骤 b13 ： 将当前 CU 分割成 4 个子 CU， 对每个子 CU 转到步骤 1 进行相应的处理。 0034 本发明的优点在于 ： 1、 简单有效， 不会带来额外的计算复杂度， 可精确的终止当前 CU 块不必要的划分以及跳过。

22、当前 CU 深度不必要的 PU 模式的 RDO 计算， 而且可灵活控制所 选阈值， 使其适用于不同的应用场景， 同时本方法非常利于硬件和软件的实现。 2、 本发明不 会改变HEVC原有的码流结构， 与HEVC标准完全兼容。 3、 对HEVC的编码效率几乎没有影响， 可以灵活控制编码效率与编码复杂度之间的折中。 【附图说明】 0035 下面参照附图结合实施例对本发明作进一步的描述。 0036 图 1 是 HEVC 帧间 CU 递归划分过程以及各深度上对应的 PU 模式。 0037 图 2 是本发明中所有 MV 的位置关系。 【具体实施方式】 0038 一种适用于 HEVC 的快速帧间预测方法， 。

23、包括如下步骤 ： 0039 步骤一 ： 预处理统计阶段， 具体包括 ： 0040 步骤 a1 ： 统计基于 RDcost 的 CU 分割提前终止方法的阈值， 每个深度级 0-2 上的 随 QP(Quantization Parameter， 量化参数 ) 变化的三组阈值如下 ： 0041 Thr64 2270e0.8907QP (1) 0042 Thr32 722.2e0.1096QP (2) 0043 Thr16 228.5e0.1136QP (3) 0044 步骤 a2 ： 统计如图 2 所示的当前 CU 以及与其时空上相邻最近的所有已编码单元 的 MV 长度信息与各个 PU 模式的关系，。

24、 由式 (4)(5) 求出该组 MV 集合里的最大 MV长度 L， 统 计 L 的阈值如下 ： L 为 0 的 QP 是 22， L 为 2 的 QP 是 27， L 为 4 的 QP 是 32， L 为 6 的 QP 是 37 ； 说 明 书 CN 104023234 A 5 4/5 页 6 0045 l(mvi) |xi|+|yi|,i 1,2,3,4,5,6 (4) 0046 L maxl(mv1),l(mv2),l(mv3),l(mv4),l(mv5),l(mv6) (5) 0047 步骤二 ： 实施阶段， 具体包括 ： 0048 步骤 b1 ： 读入一个 CU 块， 进行 SKIP/。

25、Merge 模式计算 ； 进行 inter2Nx2N 的 RDO 计 算， 收集如图 2 所示的所有 MV 信息 ； 0049 步骤 b2 ： 判断 MV 集合中除 MV1 以外的其余 5 个 MV(MV2、 MV3、 MV4、 MV5、 MV6) 是否 至少存在 3 个， 是， 转到步骤 b3 ； 否则， 转到步骤 b4 ； 0050 步骤 b3 ： 按式 (4) 与式 (5) 得出 L， 判断 L 是否小于对应 QP 下的阈值， 是， 则转到 步骤 b5 ； 否则， 转到步骤 b4 ； 0051 步骤 b4 ： 计算 Nx2N 分割模式， 计算 2NxN 分割模式， 计算所有 AMP 模式。

26、， 进行帧内 预测 ； 0052 步骤 b5 ： 比较已计算的各个模式的 RDcost， 把最小的 RDcost 记为 Dcost_best ； 0053 步骤 b6 ： 判断当前 CU 的深度， 若深度为 b3， 转到步骤 b1 ； 否则， 转到步骤 b7 ； 0054 步骤 b7 ： 判断当前帧是否为 I 帧， 若是， 转到步骤 b13 ； 否则， 转到步骤 b8 ； 0055 步骤 b8 ： 判断当前 CU 的深度， 若是 0， 转到步骤 b9 ； 若是 1， 转到步骤 b10 ； 若是 2， 转到步骤 b11 ； 0056 步骤 b9 ： 由式 (1) 计算出 Thr64x64， 判断。

27、 RDcost_best 是否小于 Thr64x64， 若是， 转到步骤 b12 ； 否则转到步骤 b13 ； 0057 步骤b10 ： 由式(2)计算出Thr32x32， 判断RDcost_best是否小于Thr32x32， 若是， 转到步骤 b12 ； 否则转到步骤 b13 ； 0058 步骤b11 ： 由式(3)计算出Thr16x16， 判断RDcost_best是否小于Thr16x16， 若是， 转到步骤 b12 ； 否则转到步骤 b13 ； 0059 步骤 b12 ： 终止当前 CU 的进一步分割， 对下一个 CU 转到步骤 b1 ； 0060 步骤 b13 ： 将当前 CU 分割成。

28、 4 个子 CU， 对每个子 CU 转到步骤 b1 进行相应的处理。 0061 采用新一代的视频编码标准HEVC提供的参考软件HM10.1来衡量本发明方法的效 果。对 HEVC 建议的 5 个分辨率等级 (Class ABCDE) 中的 18 个测试序列进行全部测试。编 码器参数为 ： low-delay-P(LDP， IPPPP) 编码模式， 分别选取 QP 22， 27， 32， 37， 其余 为默认设置 ( 快速可选 ： TZsearch 与 FEN 打开 )， 序列全部编码 50 帧。本发明方法与原始 HM10.1 算法比较的实验结果如表 1 所示。其中表 1 中的 BDBR 与 BD。

29、PSNR 为 VCEG 建议采用 的评价准则， 分别表示在同样的客观质量下， 两种方法的码率节省情况以及在给定的同等 码率下， 两种方法的 Y-PSNR 的差异。其中 Time 定义如下式 (6) 所示 ： 0062 0063 其中 TimeHM10.1(QPi)， Timepro(QPi) 分别是原始 HM10.1 算法以及本发明方法在不同 QP 值下的编码时间。 0064 表 1 ： 0065 说 明 书 CN 104023234 A 6 5/5 页 7 0066 从上表可看出， 本发明提出的基于已编码块的率失真代价与 MV 长度的帧间快 速 CU 与 PU 模式决策算法， 效果良好， 几。

30、乎不会影响编码器的率失真性能， BDBR 仅增加 1.566。需要指出的是， 本发明方法可灵活控制所选阈值， 使其适用于不同应用场合。而 且本发明方法硬件与软件的实现简单， 不会像其他方法引入额外的计算复杂度。 0067 经过以上的分析和实验验证， 可以得出以下结论 ： 本发明提出的基于已编码块的 RDcost与MV长度的快速帧间CU与PU模式决策方法， 其理论依据正确， 实际应用可行， 有助 于实现 HEVC 编码器的实时应用。 0068 以上所述仅为本发明的较佳实施用例而已， 并非用于限定本发明的保护范围。凡 在本发明的精神和原则之内， 所作的任何修改、 等同替换以及改进等， 均应包含在本发明的 保护范围之内。 说 明 书 CN 104023234 A 7 1/1 页 8 图 1 图 2 说 明 书 附 图 CN 104023234 A 8 。