更新查找表的规则.pdf

《更新查找表的规则.pdf》由会员分享，可在线阅读，更多相关《更新查找表的规则.pdf（92页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910591536.8 (22)申请日 2019.07.02 (66)本国优先权数据 PCT/CN2018/093987 2018.07.02 CN (71)申请人 北京字节跳动网络技术有限公司 地址 100041 北京市石景山区实兴大街30 号院3号楼2层B-0035房间 申请人 字节跳动有限公司 (72)发明人 张莉张凯刘鸿彬王悦 (74)专利代理机构 北京市柳沈律师事务所 11105 代理人 彭久云 (51)Int.Cl. H04N 19/176(2014.01) H。

2、04N 19/184(2014.01) H04N 19/593(2014.01) H04N 19/189(2014.01) H04N 19/70(2014.01) (54)发明名称 更新查找表的规则 (57)摘要 描述了使用包含编码候选的历史信息来编 码和解码数字视频的设备、 系统和方法。 在典型 方面， 一种用于视频处理的方法包括： 在当前视 频块和视频的比特流表示之间的转换期间保持 运动候选的一个或多个表， 将与当前视频块关联 的运动候选与所述一个或多个表中的多个条目 进行比较， 以及基于所述比较更新所述一个或多 个表。 权利要求书2页 说明书40页 附图49页 CN 110677661 。

3、A 2020.01.10 CN 110677661 A 1.一种用于处理视频的方法， 其包括： 在当前视频块和视频的比特流表示之间的转换期间保持运动候选的一个或多个表； 将与当前视频块关联的运动候选与所述一个或多个表中的多个条目进行比较； 以及 基于所述比较更新所述一个或多个表。 2.根据权利要求1所述的方法， 其中所述多个条目对应于所述一个或多个表中的所有 条目。 3.根据权利要求1或2所述的方法， 其中所述条目的数量是m， m是整数。 4.根据权利要求3所述的方法， 其中所述m个条目是所述一个或多个表中的一个中的最 后m个条目。 5.根据权利要求1至4中任一项所述的方法， 其中所述更新包括。

4、将所述运动候选添加到 所述一个或多个表中的一个。 6.根据权利要求5所述的方法， 其中所述更新包括将所述运动候选添加作为所述一个 或多个表中的一个的最后条目。 7.根据权利要求1至6中任一项所述的方法， 其中所述一个或多个表不包括重复条目。 8.根据权利要求1至7中任一项所述的方法， 其包括： 使用更新的一个或多个表执行当前视频块之后的第二视频块和视频的比特流表示的 转换。 9.一种用于视频处理方法， 其包括： 执行视频的视频块和视频的比特流表示之间的转换， 同时在所述转换中保持一个或多 个运动候选表； 基于所述视频块中的当前视频块的编码特性， 确定使用所述一个或多个运动候选表执 行当前视频块。

5、和视频的比特流表示之间的转换的适合性； 根据所述适合性执行当前视频块和视频的比特流表示之间的转换； 以及 选择性地使用与当前视频块关联的运动候选更新所述一个或多个运动候选表。 10.根据权利要求9所述的方法， 其中所述适合性指示所述一个或多个运动候选表不适 合用于执行当前视频块和视频的比特流表示之间的转换。 11.根据权利要求10所述的方法， 其中所述编码特性指示当前视频块被子块编码。 12.根据权利要求10所述的方法， 其中所述编码特性指示当前视频块被仿射编码。 13.根据权利要求10所述的方法， 其中所述编码特性指示当前视频块具有预定块尺寸。 14.根据权利要求10至13中任一项所述的方法。

6、， 其中根据所述编码特性跳过所述更新。 15.根据权利要求10至13中任一项所述的方法， 其中根据所述编码特性执行所述更新。 16.根据权利要求15所述的方法， 其中所述更新包括： 使用当前视频块内的一组子块的运动信息更新所述一个或多个运动候选表。 17.根据权利要求9所述的方法， 其中所述适合性指示所述一个或多个运动候选表适合 用于执行当前视频块和视频的比特流表示之间的转换。 18.根据权利要求17所述的方法， 其中根据所述编码特性跳过所述更新。 19.根据权利要求18所述的方法， 其中所述编码特性指示当前视频块被三角预测模式 编码。 20.根据权利要求19所述的方法， 其中根据所述编码特性。

7、执行所述更新。 权利要求书 1/2 页 2 CN 110677661 A 2 21.根据权利要求20所述的方法， 其中所述编码特性指示当前视频块被仿射编码。 22.根据权利要求20或21所述的方法， 其中所述更新包括： 将当前视频块的位置存储在所述一个或多个表中以用于导出仿射参数。 23.根据权利要求1至22所述的方法， 其中所述运动候选包括当前视频块的运动信息。 24.根据权利要求1至23所述的方法， 其中所述运动候选包括从当前视频块的运动信息 导出的信息。 25.根据权利要求1至24中任一项所述的方法， 其中运动候选与运动信息关联， 所述运 动信息包括以下的至少一种： 预测方向、 参考图片。

8、索引、 运动矢量值、 强度补偿标志、 仿射标 志、 运动矢量差精度或运动矢量差值。 26.根据权利要求1至25中任一项所述的方法， 其中所述运动候选包括用于Merge编码 块的多个Merge候选。 27.根据权利要求1至26中任一项所述的方法， 其中所述运动候选包括用于帧内编码块 的帧内预测模式。 28.根据权利要求1至27中任一项所述的方法， 其中所述运动候选包括用于照明补偿编 码块的多个照明补偿参数。 29.根据权利要求1至28中任一项所述的方法， 其中所述运动候选包括在滤波处理中使 用的滤波器参数。 30.一种视频系统中的装置， 其包括处理器和其上具有指令的非暂时性存储器， 其中所 述指。

9、令在由所述处理器执行时使所述处理器实现根据权利要求1至29中任一项所述的方 法。 31.一种存储在非暂时性计算机可读介质上的计算机程序产品， 所述计算机程序产品 包括用于执行根据权利要求1至29中任一项所述的方法的程序代码。 权利要求书 2/2 页 3 CN 110677661 A 3 更新查找表的规则 0001 相关申请的交叉引用 0002 根据适用的 专利法 和/或 巴黎公约 的规定， 本申请及时要求于2018年7月2日 提交的国际专利申请No.PCT/CN2018/093987的优先权和权益。 出于美国法律的所有目的， 国际专利申请No.PCT/CN2018/093987的全部公开以引用。

10、方式并入作为该专利文件的公开 的一部分。 技术领域 0003 该专利文件涉及视频编码技术、 设备和系统。 背景技术 0004 尽管视频压缩有所进步， 但数字视频仍占互联网和其他数字通信网络上的最大带 宽使用。 随着能够接收和显示视频的连接用户设备的数量增加， 预计数字视频使用的带宽 需求将继续增长。 发明内容 0005 描述了与使用包含编码候选的一组查找表(LUT)来编码和解码数字视频有关的设 备、 系统和方法。 所述方法可以应用于现有视频编码标准(例如， 高效视频编码(HEVC)和未 来视频编码标准或视频编解码器。 0006 在一个典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 。

11、该方法包 括执行视频的视频数据的第一块和视频的比特流表示之间的转换， 以及基于所述视频数据 的第一块的编码特性， 使用与所述第一块关联的运动信息更新运动候选表。 0007 在另一典型方面， 公开的技术可以用于提供一种用于处理视频的方法。 该方法包 括在当前视频块和视频的比特流表示之间的转换期间保持一个或多个运动候选表， 将与当 前视频块关联的运动候选与所述一个或多个表中的多个条目进行比较， 以及基于所述比较 更新所述一个或多个表。 0008 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括执行视频的视频块和视频的比特流表示之间的转换， 同时在所述转换中保持一个或多。

12、个 运动候选表， 基于所述视频块中的当前视频块的编码特性， 确定使用所述一个或多个运动 候选表执行当前视频块和视频的比特流表示之间的转换的适合性， 根据所述适合性执行当 前视频块和视频的比特流表示之间的转换， 以及选择性地使用与当前视频块关联的运动候 选更新所述一个或多个运动候选表。 0009 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括在当前视频块和包括当前视频块的视频的比特流表示之间的转换期间保持一个或多个 运动候选表， 确定使用Merge模式或高级运动矢量预测模式(AMVP)对当前视频块进行编码， 以及基于所述确定， 使用所述一个或多个运动候选表执行当前。

13、视频块和视频的比特流表示 之间的转换。 说明书 1/40 页 4 CN 110677661 A 4 0010 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括通过组合一个或多个运动候选表和来自一个或多个非相邻块的非相邻候选集， 确定视频 的视频数据块的运动候选列表。 该方法还包括使用所述运动候选列表执行视频数据块和视 频的比特流表示之间的转换。 0011 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括以从多个可用运动矢量精度选择的M像素(pel)或子像素的运动矢量精度， 保持用于视频 的视频块和视频的比特流表示之间的转换的高级运动矢。

14、量预测(AMVP)候选列表。 M是正整 数。 该方法包括对于与视频块关联的每个可用高级运动矢量预测(AMVP)候选执行： 取整 AMVP候选， 将所述取整的AMVP候选与所述AMVP候选列表中的现有候选进行比较， 以及在确 定所述取整的AMVP候选与现有候选不同时将所述AMVP候选添加到所述AMVP候选列表。 该方 法还包括将所述AMVP候选列表与来自一个或多个运动候选表的一个或多个运动候选组合 以获得组合列表， 并且基于所述组合列表执行所述转换。 0012 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括以从多个可用运动矢量精度选择的M像素或子像素的运动矢量精度。

15、， 保持用于视频的视 频块和视频的比特流表示之间的转换的高级运动矢量预测(AMVP)候选列表， M是正整数。 该 方法还包括将与视频块关联的AMVP候选与所述AMVP候选列表中的现有AMVP候选进行比较， 在确定所述AMVP候选与现有候选不同时将所述AMVP候选添加到所述AMVP候选列表， 以及基 于所述AMVP候选列表执行所述转换。 0013 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括使用Merge索引执行视频的视频数据块和视频的比特流表示之间的转换。 所述比特流表 示包括指示用于所述转换的Merge候选的Merge索引。 所述Merge索引被划分为第一部。

16、分和 第二部分。 所述第一部分使用第一二值化方法编码， 并且所述第二部分使用与所述第一二 值化方法不同的第二二值化方法编码。 0014 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括基于视频的一个或多个先前视频块保持一个或多个帧内预测模式候选表， 以及使用所述 一个或多个帧内预测模式候选表执行视频的当前视频块和视频的比特流表示之间的转换。 0015 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括基于视频的视频块的非相邻块的帧内预测模式确定一组帧内预测模式预测器， 以及使用 所述一组帧内预测模式预测器执行视频块和视频的比特流表示之间。

17、的转换。 0016 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括基于视频的一个或多个先前视频块保持一个或多个照明补偿(IC)参数表， 以及使用所述 一个或多个IC参数表执行视频的当前视频块和视频的比特流表示之间的转换。 0017 在另一典型方面， 公开的技术可以用于提供一种用于视频处理的方法。 该方法包 括基于当前视频块的非相邻块的照明补偿(IC)参数导出视频的当前视频块的IC参数， 以及 使用导出的IC参数执行当前视频块和视频的比特流表示之间的转换。 0018 在另一典型方面， 公开的技术可以用于提供一种用于视频编码的方法。 该方法包 括接收视频数据的第一块。

18、的比特流表示， 以及基于一组查找表(LUT)处理所述比特流表示 以生成所述视频数据的第一块， 其中所述一组LUT包括编码候选。 0019 在另一典型方面， 公开的技术可以用于提供另一种用于视频编码的方法。 该方法 说明书 2/40 页 5 CN 110677661 A 5 包括接收视频数据块的比特流表示， 以及基于来自非相邻块的编码候选处理所述比特流表 示， 其中所述编码候选是非运动候选。 0020 在又一典型方面， 公开的技术可以用于提供另一种用于视频编码的方法。 该方法 包括接收视频数据块的比特流表示， 以及使用多个运动矢量(MV)精度并且基于高级运动矢 量预测(AMVP)候选列表， 处理。

19、所述比特流表示以生成视频数据块， 其中所述视频数据块包 括低MV精度， 并且其中每个AMVP候选在插入所述AMVP候选列表之前被取整， 并与可用的 AMVP候选进行修剪(pruned)。 0021 在又一典型方面， 公开的技术可以用于提供另一种用于视频编码的方法。 该方法 包括接收视频数据块的比特流表示， 以及使用Merge索引编码处理所述比特流表示以生成 视频数据块， 其中所述比特流表示包括被划分为第一部分和第二部分的Merge索引， 其中所 述第一部分通过第一二值化方法处理， 并且其中所述第二部分通过与所述第一二值化方法 不同的第二二值化方法处理。 0022 在又一典型方面， 上述方法以处。

20、理器可执行代码的形式体现并存储在计算机可读 程序介质中。 0023 在又一典型方面， 公开了一种配置或可操作以执行上述方法的设备。 该设备可以 包括被编程为实现该方法的处理器。 0024 在又一典型方面， 视频解码器装置可以实施如本文中所述的方法。 0025 在附图、 说明书和权利要求中更详细地描述了公开技术的上述和其他方面和特 征。 附图说明 0026 图1示出了典型高效视频编码(HEVC)视频编码器和解码器的示例性框图。 0027 图2示出了H.264/AVC中的宏块(MB)分割的示例。 0028 图3示出了将编码块(CB)划分为预测块(PB)的示例。 0029 图4A和4B分别示出了将编。

21、码树块(CTB)细分为CB和变换块(TB)以及对应四叉树的 示例。 0030 图5A和5B示出了用于最大编码单元(LCU)的细分以及对应四叉树加二叉树(QTBT) 的示例。 0031 图6A示出了四叉树(QT)分割的示例。 0032 图6B示出了垂直二叉树(BT)分割的示例。 0033 图6C示出了水平二叉树(BT)分割的示例。 0034 图6D示出了垂直三叉树(TT)分割的示例。 0035 图6E示出了水平三叉树(TT)分割的示例。 0036 图7示出了基于QTBT的CB的示例性细分。 0037 图8A-8I示出了支持多叉树类型(MTT)的CB的分割的示例， 其是QTBT的概括 (gener。

22、alization)。 0038 图9示出了构建Merge候选列表的示例。 0039 图10示出了空间候选的位置的示例。 0040 图11示出了经受空间Merge候选的冗余校验的候选对的示例。 说明书 3/40 页 6 CN 110677661 A 6 0041 图12A和12B示出了基于当前块的尺寸和形状的第二预测单元(PU)的位置的示例。 0042 图13示出了用于时间Merge候选的运动矢量缩放的示例。 0043 图14示出了用于时间Merge候选的候选位置的示例。 0044 图15示出了生成组合双向预测Merge候选的示例。 0045 图16示出了用于运动矢量预测候选的推导过程的示例。。

23、 0046 图17示出了用于空间运动矢量候选的运动矢量缩放的示例。 0047 图18示出了使用用于编码单元(CU)的替代时间运动矢量预测(ATMVP)算法的运动 预测的示例。 0048 图19示出了源块和源图片的识别的示例。 0049 图20示出了由空时运动矢量预测(STMVP)算法使用的具有子块的编码单元(CU)和 相邻块的示例。 0050 图21示出了模式匹配运动矢量推导(PMMVD)模式中的双边匹配的示例， 其是基于 帧速率上转换(FRUC)算法的特殊Merge模式。 0051 图22示出了FRUC算法中的模板匹配的示例。 0052 图23示出了FRUC算法中的单向运动估计的示例。 00。

24、53 图24示出了基于双边模板匹配的解码器侧运动矢量细化(DMVR)算法的示例。 0054 图25示出了用于导出照明补偿(IC)参数的相邻样本的示例。 0055 图26示出了用于导出空间Merge候选的相邻块的示例。 0056 图27示出了提出的67个帧内预测模式的示例。 0057 图28示出了用于最可能模式推导的相邻块的示例。 0058 图29A和29B示出了具有QTBT结构的I条带中的对应亮度和色度子块。 0059 图30示出了来自非相邻块和查找表(LUT)的候选的迭代插入的示例。 0060 图31示出了来自非相邻块和LUT的候选的基于优先级的插入的示例。 0061 图32示出了来自非相邻。

25、块和LUT的候选的基于优先级的插入的另一示例。 0062 图33示出了在一个块之后更新的基于LUT的MVP/帧内模式预测/IC参数的示例的 编码流程。 0063 图34示出了在一个区域之后更新的基于LUT的MVP/帧内模式预测/IC参数的示例 的编码流程。 0064 图35示出了根据本公开技术的用于视频编码的示例性方法的流程图。 0065 图36是用于实现本文件中描述的视觉媒体解码或视觉媒体编码技术的硬件平台 的示例的框图。 0066 图37示出了根据本公开技术的用于视频处理的示例性方法的流程图。 0067 图38示出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 0068 图39示。

26、出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 0069 图40示出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 0070 图41示出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 0071 图42示出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 0072 图43示出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 0073 图44示出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 说明书 4/40 页 7 CN 110677661 A 7 0074 图45示出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 0075 图。

27、46示出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 0076 图47示出了根据本公开技术的用于视频处理的示例性方法的另一流程图。 0077 图48示出了根据本公开技术的用于视频处理的示例性方法的又一流程图。 具体实施方式 0078 由于对更高分辨率视频的需求的增加， 视频编码方法和技术在现代技术中普遍存 在。 视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件， 并且不断改进以提 供更高的编码效率。 视频编解码器将未压缩视频转换成压缩格式， 反之亦然。 视频质量， 用 于表示视频的数据量(由比特率确定)， 编码和解码算法的复杂性， 对数据丢失和错误的敏 感性， 编辑的简易性。

28、， 随机存取和端到端延迟(延迟时间)之间存在复杂的关系。 压缩格式通 常符合标准视频压缩规范， 例如， 高效视频编码(HEVC)标准(也称为H.265或MPEG-H第2部 分)， 待最终确定的通用视频编码标准或其他当前和/或未来的视频编码标准。 0079 公开技术的实施例可以应用于现有视频编码标准(例如， HEVC， H.265)和未来标准 以改进压缩性能。 在本文件中使用章节标题来提高描述的可读性， 并且不以任何方式将讨 论或实施例(和/或实现方式)仅限制到相应的章节。 0080 1.视频编码的示例性实施例 0081 图1示出了典型HEVC视频编码器和解码器的示例性框图。 产生符合HEVC的。

29、比特流 的编码算法通常如下进行。 每个图片被划分为块状区域， 精确的块划分被传送到解码器。 视 频序列的第一图片(以及进入视频序列的每个干净的随机访问点处的第一图片)仅使用图 片内预测(其使用同一图片内区域到区域的空间数据预测， 但不依赖其他图片)进行编码。 对于序列的或随机访问点之间的所有剩余图片， 图片间时间预测编码模式通常用于大多数 块。 用于图片间预测的编码处理包括选择包括所选参考图片的运动数据和要应用于预测每 个块的样本的运动矢量(MV)。 编码器和解码器通过使用MV和模式决策数据应用运动补偿 (MC)来生成相同的图片间预测信号， 其作为辅助信息被传输。 0082 通过线性空间变换来。

30、变换图片内或图片间预测的残差信号， 其是原始块与其预测 之间的差。 然后对变换系数进行缩放， 量化， 熵编码， 并与预测信息一起传输。 0083 编码器复制解码器处理循环(参见图1中的灰色阴影框)， 使得两者都将为后续数 据生成相同的预测。 因此， 通过逆缩放来构造量化的变换系数， 然后对其进行逆变换以复制 残差信号的解码近似。 然后将残差添加到预测， 然后可以将该相加的结果馈送到一个或两 个环路滤波器中以平滑由逐块处理和量化引起的伪像。 最终图片表示(即解码器输出的副 本)存储在解码图片缓冲器中以用于后续图片的预测。 通常， 图片的编码或解码处理的顺序 通常不同于它们从源到达的顺序； 需要区。

31、分解码器的解码顺序(即比特流顺序)和输出顺序 (即显示顺序)。 0084 通常期望由HEVC编码的视频材料作为逐行扫描图像输入(由于源视频源自该格式 或者由编码之前的去交错产生)。 HEVC设计中不存在明确的编码特征以支持隔行扫描的使 用， 因为隔行扫描不再用于显示器， 并且对于分发而言变得非常不常见。 然而， 在HEVC中已 提供了元数据语法以允许编码器通过将隔行扫描视频的每个区(即， 每个视频帧的偶数或 奇数行)编码为单独的图片来指示已发送隔行扫描视频或通过将每个隔行扫描帧编码为 说明书 5/40 页 8 CN 110677661 A 8 HEVC编码图片指示它已被发送。 这提供了一种对隔。

32、行扫描视频进行编码的有效方法， 而不 需要支持用于它的特殊解码处理。 0085 1.1.H.264/AVC中的分割树结构的示例 0086 先前标准中的编码层的核心是宏块， 其包含亮度样本的1616块， 并且在4:2:0颜 色采样的通常情况下， 包含色度样本的两个对应的88块。 0087 帧内编码块使用空间预测来利用像素之间的空间相关性。 定义了两个分割： 16 16和44。 0088 帧间编码块通过估计图片之间的运动来使用时间预测而不是空间预测。 可以针对 1616宏块或其任何子宏块分割独立地估计运动： 168， 816， 88， 84， 48， 44， 如 图2中所示。 每个子宏块分割仅允许。

33、一个运动矢量(MV)。 0089 1.2HEVC中的分割树结构的示例 0090 在HEVC中， 通过使用表示为编码树的四叉树结构将编码树单元(CTU)划分为编码 单元(CU)以适应各种局部特性。 使用图片间(时间)还是图片内(空间)预测来编码图片区域 的决定是在CU级别进行的。 可以根据PU划分类型将每个CU进一步划分为一个， 两个或四个 预测单元(PU)。 在一个PU内部， 应用相同的预测处理， 并且基于PU将相关信息传输到解码 器。 在通过应用基于PU划分类型的预测处理来获得残差块之后， 可以根据类似于CU的编码 树的另一种四叉树结构将CU分割为变换单元(TU)。 HEVC结构的关键特征之。

34、一是它具有多个 分割概念， 包括CU， PU和TU。 0091 使用HEVC的混合视频编码中涉及的某些特征包括： 0092 (1)编码树单元(CTU)和编码树块(CTB)结构： HEVC中的类似结构是编码树单元 (CTU)， 其具有由编码器选择的尺寸并且可以大于传统的宏块。 CTU由亮度CTB和对应色度 CTB和语法元素组成。 亮度CTB的尺寸LL可以选择为L16、 32或64个样本， 较大的尺寸通 常能够实现更好的压缩。 然后HEVC支持使用树结构和类似四叉树的信令通知将CTB划分为 更小的块。 0093 (2)编码单元(CU)和编码块(CB)： CTU的四叉树语法指定其亮度和色度CB的尺寸。

35、和 位置。 四叉树的根与CTU关联。 因此， 亮度CTB的尺寸是亮度CB的最大支持尺寸。 将CTU划分成 亮度和色度CB被联合信令通知。 一个亮度CB和通常两个色度CB以及关联的语法形成编码单 元(CU)。 CTB可以仅包含一个CU或者可以被划分以形成多个CU， 并且每个CU具有关联的分割 为预测单元(PU)和变换单元(TU)的树。 0094 (3)预测单元和预测块(PB)： 在CU级别做出是使用帧间图片还是帧内图片预测来 编码图片区域的决定。 PU分割结构的根在CU级别。 取决于基本预测类型决定， 然后亮度和色 度CB可以进一步在尺寸上划分并从亮度和色度预测块(PB)进行预测。 HEVC支持。

36、从6464下 至44样本的可变PB尺寸。 图3示出了MM CU的允许PB的示例。 0095 (4)变换单元(Tu)和变换块： 使用块变换对预测残差进行编码。 TU树结构的根在CU 级别。 亮度CB残差可以与亮度变换块(TB)相同， 或者可以进一步划分成较小的亮度TB。 这同 样适用于色度TB。 类似于离散余弦变换(DCT)的整数基函数被定义为方形TB尺寸44， 8 8， 1616和3232。 对于亮度帧内图片预测残差的44变换， 交替地指定从离散正弦变换 (DST)的形式导出的整数变换。 0096 1.2.1.树状结构分割为TB和TU的示例 说明书 6/40 页 9 CN 110677661 。

37、A 9 0097 对于残差编码， 可以将CB递归地划分为变换块(TB)。 划分由残差四叉树信令通知。 仅指定了方形CB和TB划分， 其中块可以递归地划分成象限， 如图4A和4B中所示。 对于尺寸为 MM的给定亮度CB， 标志信令通知指示它是否被划分为尺寸为M/2M/2的四个块。 如果可 能进一步划分， 如序列参数集(SPS)中指示的残差四叉树的最大深度信令通知的， 则为每个 象限分配一个标志， 所述标志指示它是否被划分为四个象限。 由残差四叉树产生的叶节点 块是通过变换编码进一步处理的变换块。 编码器指示它将使用的最大和最小亮度TB尺寸。 当CB尺寸大于最大TB尺寸时， 划分是隐含的。 当划分。

38、将导致亮度TB尺寸小于指示的最小值 时， 不划分是隐含的。 在每个维度中色度TB尺寸是亮度TB尺寸的一半， 除了当亮度TB尺寸为 44时， 在该情况下单个44色度TB用于由四个44亮度TB覆盖的区域。 在图片内预测的 CU的情况下， 最近相邻TB(在CB内或外)的解码样本用作用于帧内图片预测的参考数据。 0098 与先前的标准相反， HEVC设计允许TB跨越图片间预测CU的多个PB以最大化四叉树 结构的TB划分的潜在编码效率益处。 0099 1.2.2.父节点和子节点 0100 根据四叉树结构划分CTB， 其节点是编码单元。 四叉树结构中的多个节点包括叶节 点和非叶节点。 叶节点在树结构中没有。

39、子节点(即， 叶节点不被进一步分割)。 非叶节点包括 树结构的根节点。 根节点对应于视频数据的初始视频块(例如， CTB)。 对于多个节点中的每 个相应的非根节点， 相应的非根节点对应于视频块， 所述视频块是与相应的非根节点的树 结构中的父节点对应的视频块的子块。 多个非叶节点中的每个相应的非叶节点在树结构中 具有一个或多个子节点。 0101 1.3.联合探索模型(JEM)中具有较大CTU的四叉树加二叉树块结构的示例 0102 在一些实施例中， 使用称为联合探索模型(JEM)的参考软件来探索未来的视频编 码技术。 除二叉树结构外， JEM还描述了四叉树加二叉树(QTBT)和三叉树(TT)结构。。

40、 0103 1.3.1.QTBT块分割结构的示例 0104 与HEVC相反， QTBT结构消除了多个分割类型的概念， 即， 它消除了CU， PU和TU概念 的分离， 并且支持CU分割形状的更多灵活性。 在QTBT块结构中， CU可以具有方形或矩形形 状。 如图5A中所示， 首先由四叉树结构分割编码树单元(CTU)。 四叉树叶节点进一步由二叉 树结构分割。 在二叉树划分中有两种划分类型， 对称水平划分和对称垂直划分。 二叉树叶节 点被称为编码单元(CU)， 并且该分割用于预测和变换处理而无需任何进一步划分。 这意味 着CU， PU和TU在QTBT编码块结构中具有相同的块尺寸。 在JEM中， CU。

41、有时由不同颜色分量的 编码块(CB)组成， 例如， 一个CU在4:2:0色度格式的P和B条带的情况下包含一个亮度CB和两 个色度CB， 并且有时由单个分量的CB组成， 例如， 一个CU在I条带的情况下包含仅一个亮度 CB或仅两个色度CB。 0105 为QTBT划分方案定义以下参数： 0106 -CTU尺寸： 四叉树的根节点尺寸， 与HEVC中相同的概念 0107 -MinQTSize： 最小允许的四叉树叶节点尺寸 0108 -MaxBTSize： 最大允许的二叉树根节点尺寸 0109 -MaxBTDepth： 最大允许的二叉树深度 0110 -MinBTSize： 最小允许的二叉树叶节点尺寸 。

42、0111 在QTBT分割结构的一个示例中， CTU尺寸被设置为具有两个对应的6464色度样 说明书 7/40 页 10 CN 110677661 A 10 本块的128128亮度样本， MinQTSize被设置为1616， MaxBTSize被设置为6464， MinBTSize(宽度和高度)被设置为44， 并且MaxBTDepth被设置为4。 四叉树划分首先应用 于CTU以生成四叉树叶节点。 四叉树叶节点可以具有从1616(即， MinQTSize)到128128 (即， CTU尺寸)的尺寸。 如果四叉树叶节点是128128， 则由于尺寸超过MaxBTSize(即64 64)， 它将不会由二。

43、叉树进一步划分。 否则， 四叉树叶节点可以由二叉树进一步划分。 因此， 四叉树叶节点也是二叉树的根节点， 并且它具有为0的二叉树深度。 当二叉树深度达到 MaxBTDepth(即4)时， 不考虑进一步的划分。 当二叉树节点的宽度等于MinBTSize(即4)时， 不考虑进一步的水平划分。 类似地， 当二叉树节点的高度等于MinBTSize时， 不考虑进一步 的垂直划分。 通过预测和变换处理进一步处理二叉树的叶节点而无需任何进一步的划分。 在JEM中， 最大CTU尺寸为256256亮度样本。 0112 图5A示出了通过使用QTBT进行块划分的示例， 并且图5B示出了对应的树表示。 实 线表示四叉。

44、树划分并且虚线表示二叉树划分。 在二叉树的每个划分(即， 非叶)节点中， 一个 标志被信令通知以指示使用哪种划分类型(即， 水平或垂直)， 其中0表示水平划分并且1表 示垂直划分。 对于四叉树分割， 不需要指示划分类型， 原因是四叉树划分总是水平地和垂直 地划分块以产生具有相同尺寸的4个子块。 0113 另外， QTBT方案支持亮度和色度具有单独的QTBT结构的能力。 目前， 对于P和B条 带， 一个CTU中的亮度和色度CTB共用相同的QTBT结构。 然而， 对于I条带， 亮度CTB通过QTBT 结构分割为CU， 并且色度CTB通过另一QTBT结构分割为色度CU。 这意味着I条带中的CU由亮 。

45、度分量的编码块或两个色度分量的编码块组成， 并且P或B条带中的CU由所有三个颜色分量 的编码块组成。 0114 在HEVC中， 限制小块的帧间预测以减少运动补偿的存储器访问， 使得48和84 块不支持双向预测， 并且44块不支持帧间预测。 在JEM的QTBT中， 这些限制被去除。 0115 1.4.用于通用视频编码(VVC)的三叉树(TT) 0116 图6A示出了四叉树(QT)划分的示例， 并且图6B和6C分别示出了垂直和水平二叉树 (BT)划分的示例。 在一些实施例中， 除了四叉树和二叉树之外， 还支持三叉树(TT)分割， 例 如水平和垂直中心侧三叉树(如图6D和6E中所示)。 0117 在。

46、一些实现方式中， 支持两级树： 区域树(四叉树)和预测树(二叉树或三叉树)。 首 先通过区域树(RT)划分CTU。 可以使用预测树(PT)进一步划分RT叶。 还可以用PT进一步划分 PT叶片直到达到最大PT深度。 PT叶是基本编码单元。 为方便起见， 它仍被称为CU。 CU无法进 一步划分。 预测和变换都以与JEM相同的方式应用于CU。 整个分割结构称为 “多类型树” 。 0118 1.5.替代视频编码技术中的分割结构的示例 0119 在一些实施例中， 支持称为多叉树类型(MTT)的树结构， 其是QTBT的一般化。 在 QTBT中， 如图7中所示， 首先由四叉树结构分割编码树单元(CTU)。 。

47、四叉树叶节点进一步由二 叉树结构分割。 0120 MTT的结构由两种类型的树节点构成： 区域树(RT)和预测树(PT)， 支持九种类型的 分割， 如图8A-8I中所示。 区域树可以递归地将CTU划分成方块， 直到44尺寸的区域树叶节 点。 在区域树中的每个节点处， 可以从三种树类型之一形成预测树： 二叉树， 三叉树和非对 称二叉树。 在PT划分中， 禁止在预测树的分支中具有四叉树分割。 与JEM中一样， 亮度树和色 度树在I条带中分离。 说明书 8/40 页 11 CN 110677661 A 11 0121 2HEVC/H.265中的帧间预测的示例 0122 多年来， 视频编码标准已得到显着。

48、改进， 并且现在部分地提供高编码效率和对更 高分辨率的支持。 诸如HEVC和H.265的最新标准基于混合视频编码结构， 其中利用时间预测 加变换编码。 0123 2.1预测模式的示例 0124 每个帧间预测的预测单元(PU)具有用于一个或两个参考图片列表的运动参数。 在 一些实施例中， 运动参数包括运动矢量和参考图片索引。 在其他实施例中， 还可以使用 inter_pred_idc对两个参考图片列表中的一个的使用信令通知。 在另外的其他实施例中， 运动矢量可以被明确地编码为相对于预测器的增量。 0125 当用跳过模式(skip mode)对CU进行编码时， 一个PU与CU关联， 并且不存在显著。

49、的 残差系数， 没有编码的运动矢量变化量或参考图片索引。 指定Merge模式， 由此从包括空间 和时间候选的相邻PU获得当前PU的运动参数。 Merge模式可以应用于任何帧间预测的PU， 不 仅适用于跳过模式。 Merge模式的替代方案是运动参数的显式传输， 其中对于每个PU， 明确 地对运动矢量， 每个参考图片列表的对应参考图片索引和参考图片列表使用信令通知。 0126 在H.264/MPEG-4AVC标准中， 预测类型的粒度降低到 “条带级别” 。 条带是帧的空间 上不同的区域， 其与同一帧中的任何其他区域分开编码。 当信令指示要使用两个参考图片 列表中的一个时， PU从一个运动矢量和参考。

50、索引产生。 这被称为 “单向预测” 。 对于P条带和B 条带都可以进行单向预测。 当信令指示要使用两个参考图片列表时， PU从两个运动矢量和 参考索引产生。 这被称为 “双向预测” 。 双向预测仅适用于B条带。 0127 2.1.1构建Merge模式的候选的实施例 0128 当使用Merge模式预测PU时， 指向Merge候选列表中的条目的索引从比特流解析并 用于检索运动信息。 可以根据以下步骤序列总结该列表的构建： 0129 步骤1： 初始候选推导 0130 步骤1.1： 空间候选推导 0131 步骤1.2： 空间候选的冗余校验 0132 步骤1.3： 时间候选推导 0133 步骤2： 附加。