图像处理的方法与装置.pdf

《图像处理的方法与装置.pdf》由会员分享，可在线阅读，更多相关《图像处理的方法与装置.pdf（22页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201980005232.7 (22)申请日 2019.03.12 (85)PCT国际申请进入国家阶段日 2020.04.21 (86)PCT国际申请的申请数据 PCT/CN2019/077894 2019.03.12 (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号 申请人 深圳市大疆创新科技有限公司 (72)发明人 孟学苇郑萧桢王苫社马思伟 (74)专利代理机构 北京龙双利达知识产权代理 有限公司 11329 代理人 王龙华章愫 (51)Int.Cl. 。

2、H04N 19/513(2014.01) H04N 19/56(2014.01) H04N 19/82(2014.01) H04N 19/176(2014.01) H04N 19/13(2014.01) H04N 19/107(2014.01) (54)发明名称 图像处理的方法与装置 (57)摘要 提供一种图像处理的方法与装置， 该方法包 括： 获取图像块的控制点的运动矢量CPMV； 根据 该图像块的CPMV， 获取该图像块中子图像块的运 动矢量， 运动矢量为整像素精度。 通过使作为图 像处理单元的子图像块的运动矢量为整像素精 度， 可以使子图像块的运动补偿过程不涉及亚像 素， 从而在一定程度。

3、上可以降低Affine预测技术 产生的带宽压力。 权利要求书2页 说明书14页 附图5页 CN 111247804 A 2020.06.05 CN 111247804 A 1.一种图像处理的方法， 其特征在于， 包括： 获取图像块的控制点的运动矢量CPMV； 根据所述图像块的CPMV， 获取所述图像块中子图像块的运动矢量， 所述运动矢量为整 像素精度。 2.根据权利要求1所述的方法， 其特征在于， 基于所述图像块的CPMV， 获取所述图像块 中子图像块的运动矢量， 包括： 根据所述图像块的CPMV， 计算所述子图像块的第一运动矢量， 所述第一运动矢量为亚 像素精度； 将所述第一运动矢量处理为整。

4、像素精度的第二运动矢量。 3.根据权利要求1或2所述的方法， 其特征在于， 所述子图像块的高和/或宽为4像素。 4.根据权利要求1至3中任一项所述的方法， 其特征在于， 获取图像块的控制点的运动 矢量CPMV， 包括： 获取所述图像块的运动信息候选列表； 将所述运动信息候选列表中的运动矢量处理为整像素精度； 根据所述运动信息候选列表中处理为整像素精度的运动矢量， 获取所述图像块的 CPMV。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 所述方法还包括： 对所述图像块进行N像素的运动矢量精度决策， N为正整数。 6.根据权利要求1至5中任一项所述的方法， 其特征在于， 所述图像块的。

5、高和/或宽小于 16像素。 7.根据权利要求1至6中任一项所述的方法， 其特征在于， 所述子图像块的帧间预测方 式为如下任一种： 前向预测、 后向预测、 双预测。 8.根据权利要求1至6中任一项所述的方法， 其特征在于， 所述子图像块的帧间预测方 式为双预测， 其中， 所述图像块的CPMV为双预测过程中前向预测所得的所述图像块的CPMV， 或者， 双预测过程中后向预测所得的所述图像块的CPMV。 9.根据权利要求2所述的方法， 其特征在于， 将所述第一运动矢量处理为整像素精度的 第二运动矢量， 包括： 根据所述第一运动矢量， 获取所述第二运动矢量， 使得所述第二运动矢量的终点为与 所述第一运动。

6、矢量的终点最接近的整像素点。 10.一种图像处理的装置， 其特征在于， 包括： 第一获取单元， 用于获取图像块的控制点的运动矢量CPMV； 第二获取单元， 用于根据所述第一获取单元获取的所述图像块的CPMV， 获取所述图像 块中子图像块的运动矢量， 所述运动矢量为整像素精度。 11.根据权利要求10所述的装置， 其特征在于， 所述第二获取单元用于： 根据所述图像块的CPMV， 计算所述子图像块的第一运动矢量， 所述第一运动矢量为亚 像素精度； 将所述第一运动矢量处理为整像素精度的第二运动矢量。 12.根据权利要求10或11所述的装置， 其特征在于， 所述子图像块的高和/或宽为4像 素。 权利要。

7、求书 1/2 页 2 CN 111247804 A 2 13.根据权利要求10至12中任一项所述的装置， 其特征在于， 所述第一获取单元用于： 获取所述图像块的运动信息候选列表； 将所述运动信息候选列表中的运动矢量处理为整像素精度； 根据所述运动信息候选列表中处理为整像素精度的运动矢量， 获取所述图像块的 CPMV。 14.根据权利要求10至13中任一项所述的装置， 其特征在于， 所述装置还包括： 处理单元， 用于对所述图像块进行N像素的运动矢量精度决策， N为正整数。 15.根据权利要求10至14中任一项所述的装置， 其特征在于， 所述图像块的高和/或宽 小于16像素。 16.根据权利要求1。

8、0至15中任一项所述的装置， 其特征在于， 所述子图像块的帧间预测 方式为如下任一种： 前向预测、 后向预测、 双预测。 17.根据权利要求10至16中任一项所述的装置， 其特征在于， 所述子图像块的帧间预测 方式为双预测， 其中， 所述图像块的CPMV为双预测过程中前向预测所得的所述图像块的 CPMV， 或者， 双预测过程中后向预测所得的所述图像块的CPMV。 18.根据权利要求11所述的装置， 其特征在于， 所述第二获取单元用于， 根据所述第一 运动矢量， 获取所述第二运动矢量， 使得所述第二运动矢量的终点为与所述第一运动矢量 的终点最接近的整像素点。 19.一种图像处理装置， 其特征在于。

9、， 包括： 存储器与处理器， 所述存储器用于存储指 令， 所述处理器用于执行所述存储器存储的指令， 并且对所述存储器中存储的指令的执行 使得， 所述处理器用于执行如权利要求1至9中任一项所述的方法。 20.一种计算机存储介质， 其特征在于， 其上存储有计算机程序， 所述计算机程序被计 算机执行时使得， 所述计算机执行如权利要求1至9中任一项所述的方法。 21.一种包含指令的计算机程序产品， 其特征在于， 所述指令被计算机执行时使得计算 机执行如权利要求1至9中任一项所述的方法。 权利要求书 2/2 页 3 CN 111247804 A 3 图像处理的方法与装置 0001 版权申明 0002 本。

10、专利文件披露的内容包含受版权保护的材料。 该版权为版权所有人所有。 版权 所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该 专利披露。 技术领域 0003 本申请涉及图像处理领域， 并且更为具体地， 涉及一种图像处理的方法与装置。 背景技术 0004 视频编码帧间预测的大致思想为： 利用视频相邻帧之间的时域相关性， 使用先前 已经编码的重构帧作为参考帧， 通过运动估计和运动补偿的方法对当前帧进行预测， 从而 去除视频的时间冗余信息。 帧间预测的大致流程包括运动估计(Motion Estimation， ME)与 运动补偿(Motion Compensation， M。

11、C)。 当前帧的当前编码块在参考帧中寻找最相似块作为 当前块的预测块， 当前块与其相似块之间的相对位移为运动矢量(Motion Vector， MV)。 运 动估计的过程就是将当前帧的当前编码块在参考帧中经过搜索、 比较后得到运动矢量的过 程。 运动补偿就是利用MV和参考帧得到预测帧的过程。 运动补偿得到的预测帧可能和原始 的当前帧有一定的差别， 因此需要将预测帧和当前帧的差值(残差)经过变换、 量化等过程 之后传递到解码端， 除此之外还需要将MV和参考帧的信息传递到解码端。 解码端通过MV、 参 考帧、 以及预测帧和当前帧的差值， 可以重构出当前帧。 0005 由于自然物体运动的连续性， 物。

12、体在相邻两帧之间的运动矢量不一定刚好是整数 个像素单位。 为了提高运动矢量的精度， 亚像素精度被提出来。 例如， 在高性能视频编码 (high efficiency video coding， HEVC)标准中， 对亮度分量的运动估计采用1/4像素精度 的运动矢量。 但是在数字视频中并不存在分数像素处的样值， 一般来说， 为了实现1/K像素 精度估计， 必须将这些分像素点的值近似内插出来， 也就是对参考帧的行方向和列方向进 行K倍内插， 即在插值之后的参考帧中进行搜索预测块。 在对当前块进行插值的过程， 需要 用到当前块中的像素点及其相邻区域的像素点。 0006 通常， 在帧间预测过程中只考虑。

13、传统的运动模型(例如， 平移运动)。 然而在现实世 界中， 还有很多种运动形式， 比如缩放、 旋转、 透视运动等无规则的运动。 为了考虑上述多运 动形式， 在VTM-3 .0中， 引入了仿射运动补偿预测(Affine motion compensation prediction， 可简称为Affine)技术。 在Affine模式中， 图像块的仿射运动场可以通过两个 控制点(四参数)或三个控制点(六参数)的运动矢量导出。 0007 在Affine模式中， 可以对图像处理单元的运动估计采用1/4像素精度、 1/16像素精 度或其它亚像素精度的运动矢量。 Affine技术的图像处理单元是sub-CU。

14、(可称为子块)， sub-CU的大小为44(单位： 像素)， 这会使Affine技术产生较大的带宽压力。 说明书 1/14 页 4 CN 111247804 A 4 发明内容 0008 本申请提供一种图像处理的方法与装置， 可以在一定程度上降低Affine预测技术 造成的带宽压力。 0009 第一方面， 提供一种图像处理的方法， 所述方法包括： 获取图像块的控制点的运动 矢量CPMV； 根据所述图像块的CPMV， 获取所述图像块中子图像块的运动矢量， 所述运动矢量 为整像素精度。 0010 第二方面， 提供一种图像处理的装置， 所述装置包括： 第一获取单元， 用于获取图 像块的控制点的运动矢量。

15、CPMV； 第二获取单元， 用于根据所述第一获取单元获取的所述图 像块的CPMV， 获取所述图像块中子图像块的运动矢量， 所述运动矢量为整像素精度。 0011 第三方面， 提供一种图像处理的装置， 所述编码装置包括存储器和处理器， 所述存 储器用于存储指令， 所述处理器用于执行所述存储器存储的指令， 并且对所述存储器中存 储的指令的执行使得所述处理器执行第一方面提供的方法。 0012 第四方面， 提供一种芯片， 所述芯片包括处理模块与通信接口， 所述处理模块用于 控制所述通信接口与外部进行通信， 所述处理模块还用于实现第一方面提供的方法。 0013 第五方面， 提供一种计算机可读存储介质， 其。

16、上存储有计算机程序， 所述计算机程 序被计算机执行时使得所述计算机实现第一方面或第一方面的任一可能的实现方式中的 方法。 0014 第六方面， 提供一种包含指令的计算机程序产品， 所述指令被计算机执行时使得 所述计算机实现第一方面提供的方法。 0015 本申请提供的方案， 通过使作为图像处理单元的子图像块的运动矢量为整像素精 度， 可以使子图像块的运动补偿过程不涉及亚像素， 从而在一定程度上可以降低Affine预 测技术产生的带宽压力。 附图说明 0016 图1是视频编码架构的示意图。 0017 图2是1/4像素插值的示意图。 0018 图3(a)和图3(b)分别是四参数Affine模型和六参。

17、数Affine模型的示意图。 0019 图4是Affine运动矢量场的示意图。 0020 图5是现有技术的Affine模式与HEVC模式所需参考像素点的对比图。 0021 图6是根据本申请实施例的图像处理的方法的示意性流程图。 0022 图7是根据本申请实施例的图像处理的方法的另一示意性流程图。 0023 图8是根据本申请实施例的图像处理的方法的再一示意性流程图。 0024 图9是根据本申请实施例的图像处理的装置的示意性流程图。 0025 图10是根据本申请实施例的图像处理的装置的另一示意性流程图。 具体实施方式 0026 下面将结合附图， 对本申请实施例中的技术方案进行描述。 0027 除非。

18、另有定义， 本文所使用的所有的技术和科学术语与属于本申请的技术领域的 技术人员通常理解的含义相同。 本文中在本申请的说明书中所使用的术语只是为了描述具 说明书 2/14 页 5 CN 111247804 A 5 体的实施例的目的， 不是旨在于限制本申请。 0028 为了便于理解根据本申请实施例的方案， 下面首先描述几个相关的概念。 0029 1、 帧间预测 0030 如图1所示， 视频编码框架主要包括帧内预测、 帧间预测、 变换、 量化、 熵编码、 环路 滤波几个部分。 0031 本申请主要针对帧间预测(inter prediction)部分进行改进。 0032 帧间预测的大致思想是： 利用视。

19、频相邻帧之间的时域相关性， 使用重构帧作为参 考帧， 通过运动估计(Motion Estimation， ME)和运动补偿(Motion Compensation， MC)对当 前帧进行预测， 从而去除视频的时间冗余信息。 0033 本文中提及的当前帧， 在编码场景下， 表示当前正在编码的帧， 在解码场景下， 表 示当前正在解码的帧。 0034 本文中提及的重构帧， 在编码场景下， 表示先前已经编码的帧， 在解码场景下， 表 示先前已经解码的帧。 0035 对于一帧图像， 在编码过程中不会直接对整帧图像进行处理， 通常将整帧图像划 分为图像块进行处理。 0036 作为示例， 先将整帧图像划分成。

20、编码区域(Coding Tree Unit， CTU)， 例如CTU的大 小为6464或128128(单位： 像素)， 然后可以进一步地将CTU划分成方形或矩形的编码单 元(Coding Unit， CU)。 在编码过程中， 对CU进行处理。 0037 本文中提及的图像块的大小的单位均为像素。 0038 帧间预测的大致流程如下。 0039 针对当前帧中的当前图像块(下文简称为当前块)， 在参考帧中寻找最相似块作为 当前块的预测块。 当前块与相似块之间的相对位移称为运动矢量(Motion Vector， MV)。 运 动估计指的是， 将当前帧的当前块在参考帧中经过搜索、 比较后得到运动矢量的过程。

21、。 运动 补偿指的是， 利用参考块与运动估计得到的运动矢量得到预测块的过程。 0040 帧间预测的过程获得的预测块可能和原始的当前块有一定的差别， 因此， 需要计 算预测块与当前块之间的差值， 该差值可称为残差。 对残差进行变换、 量化、 熵编码等处理 之后， 得到编码比特流。 0041 在编码端， 完成图像编码后， 即熵编码得到的比特流之后， 会将比特流以及编码模 式信息， 例如帧间预测模式、 运动矢量信息等信息， 进行存储或发送到解码端。 0042 在解码端， 获得熵编码比特流之后， 先对该比特流进行熵解码， 得到相应的残差； 然后， 根据解码得到的运动矢量等编码模式信息， 获得预测块； 。

22、最后， 根据残差和预测块， 得 到当前块中各像素点的值， 即重构出当前块， 以此类推， 重构出当前帧。 0043 如图1所示， 在编码过程中， 还可以包括反量化和反变换等步骤。 反量化指的就是 与量化过程相反的过程。 反变换指的就是与变换过程相反的过程。 0044 帧间预测主要包括前向预测、 后向预测、 双预测等。 其中， 前向预测是利用当前帧 的前一重构帧(可以称为历史帧)对当前帧进行预测。 后向预测是利用当前帧之后的帧(可 以称为将来帧)对当前帧进行预测。 双预测可以是双向预测， 即既利用 “历史帧” 也利用 “将 来帧” 来对当前帧进行预测。 双预测还可以是两个方向的预测， 例如， 利用。

23、两个 “历史帧” 来 对当前帧进行预测， 或者， 利用两个 “将来帧” 来对当前帧进行预测。 说明书 3/14 页 6 CN 111247804 A 6 0045 2、 亚像素精度运动估计 0046 在实际场景中， 由于自然物体运动的连续性， 物体在相邻两帧之间的运动矢量不 一定刚好是整数个像素单位， 因此， 需要将运动估计的精度提升到亚像素级别(也称为1/K 像素精度)。 例如， 在HEVC标准中， 对亮度分量的运动估计采用1/4像素精度的运动矢量。 0047 但在数字视频中并不存在1/K像素处的样值， 通常， 为了实现1/K像素精度的运动 估计， 将1/K像素点的值近似内插出来， 换言之，。

24、 对参考帧的行方向和列方向进行K倍内插， 在插值之后的图像中进行搜索。 对当前块进行插值的过程， 需要用到当前块中的像素点及 其相邻区域的像素点。 0048 作为示例， 1/4像素插值的过程如图2所示。 对于一个大小为88、 48、 44或8 4的图像块， 会用到该图像块外部左侧的3个像素点和右侧的4个像素点来产生内插点的像 素值。 如图2所示， 对于一个大小为44的图像块， a0,0和d0,0为1/4像素点， b0,0和h0,0为半像 素点， c0,0和n0,0为3/4像素点。 假如说当前块为22的块， A0,0A1,0， A0,0A0,1围成的22 块。 为了计算这个22的块中所有的内插点。

25、， 需要用到22外部的一些点， 包括左边3个， 右 边4个， 上边3个， 下边4个。 0049 3、 仿射运动补偿预测技术(Affine motion compensated prediction， 下文简称 为Affine)。 0050 Affine为一种帧间预测技术。 0051 在HEVC标准中， 帧间预测过程只考虑了传统的运动模型(例如， 平移运动)。 然而在 现实世界中， 还有很多种运动形式， 比如缩放、 旋转、 透视运动等无规则的运动。 为了考虑到 上述运动形式， 在VTM-3.0中， 引入了Affine技术。 0052 如图3所示， 一个Affine模式的运动场可以通过两个控制点(。

26、四参数)(如图3(a)所 示)或三个控制点(六参数)(如图3(b)所示)的运动矢量导出。 0053 下文中， 将控制点的MV(control point motion vector)简称为CPMV。 0054 Affine的处理单元不是CU， 而是将CU划分之后得到的子块(sub-CU)， 每个sub-CU 的大小为44。 在Affine模式， 每个sub-CU具有一个MV。 可以理解到， 不同于普通CU， Affine 模式的CU不只有一个MV， 一个CU中具有多少个sub-CU， 这个CU就具有多少个MV。 0055 作为示例， 一个CU中的sub-CU的MV通过如图3中所示的两个控制点或。

27、三个控制点 的CPMV计算导出。 例如， 对于四参数的Affine运动模型， 位于(x， y)位置的sub-CU的MV通过 以下公式计算得到： 0056 0057 再例如， 对于六参数的Affine运动模型， 位于(x， y)位置的sub-CU的MV通过以下公 式计算得到： 0058 0059 其中(mv0 x， mv0y)为左上角控制点的MV， (mv1x， mv1y)为右上角控制点的MV， (mv2x， mv2y)为左下角控制点的MV。 上述公式中的W表示sub-CU的所在CU的宽， H表示sub-CU的所在 说明书 4/14 页 7 CN 111247804 A 7 CU的高。 0060。

28、 经过上述公式(1)的计算， 一个CU中运动矢量的示意图如图4所示， 每个方格代表4 4大小的sub-CU。 在上述公式计算之后的所有sub-CU的MV都会转换成1/16像素精度的表 示， 也就是说sub-CU的MV最高精度是1/16像素。 0061 在计算得到每一个sub-CU的MV之后， 经过运动补偿的过程得到每一个sub-CU的预 测块。 色度分量和亮度分量的sub-CU的大小都是44， 色度分量44块的运动矢量由其对 应的四个44的亮度分量运动矢量平均得到。 0062 在Affine模式的编码过程中， 在码流中写入CPMV信息， 不需要写入每个sub-CU的 MV信息。 0063 4、。

29、 自适应运动矢量精度(Adaptive Motion Vector Resolution， AMVR) 0064 AMVR技术可以使得CU具有整像素精度和亚像素精度的运动矢量。 整像素精度例如 可以为1像素精度、 2像素精度等。 亚像素精度例如可以为1/2像素精度、 1/4像素精度、 1/8像 素精度或1/16像素精度等。 0065 例如， 对于每一个采用Affine AMVR技术的CU(有些情况下可能CU不采用Affine AMVR)， 在编码端自适应地决策其对应的MV精度， 并将决策的结果写进码流传递到解码端。 0066 Affine AMVR技术中提及的整像素精度或亚像素精度指的是CPM。

30、V的像素精度， 而 不是sub-CU的像素精度。 0067 对于整像素的CPMV， CU的运动估计的过程都是整像素的过程， 但是经过上述公式 (1)或公式(2)计算之后得到的sub-CU的MV可能是1/4像素精度或其它亚像素精度。 0068 如果sub-CU的MV是亚像素精度， 则sub-CU的运动补偿过程会涉及到亚像素， 且由 于sub-CU的大小为44， 这会使得Affine预测过程产生较大的带宽压力。 0069 申请人在VVC最新的参考软件VTM-4.0上， 选取官方通测数据作为测试序列， 进行 了仿真， 仿真结果如图5所示。 0070 如图5所示， 左侧方框表示HEVC最坏情况(1/4。

31、像素精度的MV)为88的双向帧间预 测CU， 所需的参考像素点的个数为(8+7)(8+7)2450。 右侧方框表示VVC的Affine模式 下最坏情况(1/16和1/4像素精度MV)下的44双向帧间预测的CU， 所需参考像素点的个数 为(4+7)(4+7)24968。 0071 从图5可知， 现有的Affine模式， 相比于HEVC， 增加了115的参考像素点， 造成了 较大的带宽压力。 0072 针对上述问题， 本申请提出一种图像处理的方法与装置， 可以在一定程度上减小 Affine技术产生的带宽压力。 0073 本申请适用于数字视频编码技术领域， 具体用于视频编解码器的帧间预测部分。 本申。

32、请可以应用于符合国际视频编码标准H.264/HEVC和中国AVS2标准等的编解码器， 以及 符合下一代视频编码标准VVC或AVS3等的编解码器。 0074 本申请可以应用于视频编解码器的帧间预测部分， 也就是说， 根据本申请实施例 的图像处理的方法可以由编码装置执行， 也可以由解码装置执行。 0075 图6为本申请提供的图像处理的方法600的示意性流程图， 该方法600包括如下步 骤。 0076 610， 获取图像块的控制点的运动矢量(CPMV)。 说明书 5/14 页 8 CN 111247804 A 8 0077 下文将描述获取图像块的CPMV的方式， 这里暂不描述。 0078 620， 。

33、根据该图像块的CPMV， 获取图像块中子图像块的运动矢量， 该运动矢量为整 像素精度。 0079 换句话说， 基于该图像块的CPMV， 获取该图像块中的子图像块的运动矢量， 并使得 该子图像块的运动矢量的像素精度为整像素精度。 0080 本申请中提及的子图像块表示图像处理或视频处理的处理单元。 该子图像块的宽 和/或高可以小于8像素。 例如， 子图像块的大小为44(像素)。 0081 子图像块可以是通过划分图像块得到的块。 可以理解到， 若图像块与子图像块的 大小相同， 则子图像块可以认为就是图像块本身。 0082 子图像块可以是方形的块、 例如大小为44或88的块， 也可以是矩形的块， 例如。

34、 大小为24或48的块。 0083 本申请中提及的图像块的大小可以为1616、 168、 164、 816、 48、 88、 8 4、 48等其它尺寸。 0084 应理解， 作为处理单元的子图像块的运动矢量为整像素精度， 因此， 子图像块的运 动补偿过程不会涉及到亚像素， 从而可以降低视频帧间预测过程产生的带宽压力。 0085 根据图像块的CPMV， 获取图像块中子图像块的运动矢量的过程可以包括： 根据该 图像块的两个或三个控制点的运动矢量， 计算获得子图像块的运动矢量， 并使得所获得的 子图像块的运动矢量的像素精度为整像素精度。 0086 作为示例， 可以根据前文描述的公式(1)或公式(2)。

35、， 计算得到子图像块的运动矢 量。 0087 可选地， 在一些实施例中， 如果直接基于图像块的CPMV计算得到的子图像块的运 动矢量的像素精度为整像素精度， 则这个运动矢量就是本申请要获取的子图像块的运动矢 量。 0088 例如， 作为一种可能的实现方式， 采用一种算法， 根据图像块的CPMV计算子图像块 的运动矢量， 该算法可以保证计算出的子图像块的运动矢量的像素精度为整像素。 0089 可选地， 在一些实施例中， 如果直接基于图像块的CPMV， 计算得到的子图像块的运 动矢量的像素精度为亚像素精度， 例如， 1/4像素精度、 1/8像素精度或1/16像素精度， 则还 需要对当前计算得到的运。

36、动矢量进行处理， 使其由亚像素精度变为整像素精度。 0090 可选地， 步骤620包括如下步骤1)和步骤2)。 0091 1)根据图像块的CPMV， 计算子图像块的第一运动矢量， 第一运动矢量为亚像素精 度。 0092 例如， 根据前文描述的公式(1)或公式(2)， 基于CPMV计算子图像块的第一运动矢 量， 计算得到的第一运动矢量的像素精度为亚像素。 0093 2)将第一运动矢量处理为整像素精度的第二运动矢量。 0094 作为步骤2)的一种可能的实现方式： 根据子图像块的第一运动矢量， 获取第二运 动矢量， 使得第二运动矢量的终点为与第一运动矢量的终点最接近的整像素点。 0095 例如， 最。

37、接近的整像素点可以是第一运动矢量的终点的上方、 下方、 左方或右方的 整像素点。 0096 作为一个示例， 通过如下公式， 根据子图像块的第一运动矢量(MV1x， MV1y)， 计算 说明书 6/14 页 9 CN 111247804 A 9 得到该子图像块的第二运动矢量(MV2x， MV2y)。 0097 若MV1x0， MV2x(MV1x+(1shift)shift； 0098 若MV1x0， MV2x-(-MV1x+(1shift)0， MV2y(MV1y+(1shift)shift； 0100 若MV1y0， MV2y-(-MV1y+(1shift)0， MV2x(MV1xshift)。

38、shift； 0105 若MV1xshift)0， MV2y(MV1yshift)shift； 0107 若MV1yshift)shift)， 式(4)。 0108 其中， shift的含义与前文描述的shift的含义一致。 0109 公式(3)和公式(4)中的 “” 表示右移。 0110 需要说明的是， 本申请对运动矢量的像素精度由亚像素级别转换为整像素级别的 方式不作限定。 例如， 还可以根据其它可行的从亚像素到整像素的变换算法， 根据第一运动 矢量获得整像素精度的第二运动矢量。 0111 当前Affine技术中处理的最小CU(对应本申请实施例中的图像块)的大小为16 16时， 在运动估计。

39、的过程中不会带来带宽的压力， 因此， 对运动估计过程不需要进行修改。 这种情形下， 图像块的CPMV的像素精度可能为整像素， 也可能为亚像素。 若图像块的CPMV的 像素精度为亚像素， 则根据图像块的CPMV计算得到的子图像块的运动矢量的像素精度也为 亚像素； 若图像块的CPMV的像素精度为整像素， 根据图像块的CPMV计算得到的子图像块的 运动矢量的像素精度也有可能为亚像素， 例如， 根据公式(1)或公式(2)计算得到的子图像 块的运动矢量的像素精度可能是亚像素。 0112 上述可知， 现有的Affine技术中， 子图像块， 即处理单元的运动矢量的像素精度可 能为亚像素， 这会导致运动补偿过。

40、程涉及亚像素， 会增加Affine技术的带宽压力。 0113 本申请提供的方案， 通过使作为图像处理单元的子图像块的运动矢量为整像素精 度， 可以使子图像块的运动补偿过程不涉及亚像素， 从而在一定程度上可以降低Affine预 测技术产生的带宽压力。 0114 应理解， 通过扩大作为处理单元的子图像块的大小， 在一定程度上也可以缓解带 宽压力的问题， 但是， 这样会降低图像压缩性能。 本申请通过将作为处理单元的子图像块的 运动矢量处理为整像素精度， 可以保证整像素精度的运动补偿， 从而一方面可以解决带宽 压力的问题， 另一方面也可以保证较好的图像压缩性能。 0115 可以根据本申请提供的方案， 。

41、对现有的Affine技术进行改进， 即将Affine模式下 的Sub-CU的运动矢量处理为整像素精度， 从而可以降低Affine技术产生的带宽压力。 0116 除了可以应用于Affine技术之外， 本申请提供的方案也可以应用于将来可能出现 的其它类似的技术中， 例如， 运动矢量的像素精度包括整像素精度与亚像素精度， 且图像处 说明书 7/14 页 10 CN 111247804 A 10 理单元的尺寸较小， 例如， 44。 0117 应理解， 本申请提供的方案， 可用于提升压缩视频质量， 提升编解码器的硬件友好 性， 对广播电视、 电视会议、 网络视频等视频的压缩处理具有重要意义。 0118 。

42、可选地， 在一些实施例中， 本申请实施例提供的方法还包括： 将该图像块的CPMV处 理为整像素精度。 0119 本实施例可以保证图像块的CPMV为整像素精度。 0120 下文将描述将该图像块的CPMV处理为整像素精度的实施方式。 0121 可选地， 如图7所示， 在一些实施例中， 步骤610包括如下步骤611、 步骤612和步骤 613。 0122 611， 获取该图像块的运动信息候选列表。 0123 例如， 获取该图像块的空域和/或时域邻近块的运动矢量， 基于这些邻近块的运动 矢量， 构建该图像块的运动信息候选列表。 0124 612， 将该运动信息候选列表中的运动矢量处理为整像素精度。 0。

43、125 例如， 可以采用前文描述的公式(3)或公式(4)， 将该运动信息候选列表中的运动 矢量处理为整像素精度。 0126 邻近块指的是用于构建该图像块的运动信息候选列表的邻近块， 例如， 时域和/或 空域上的邻近块。 本申请对于确定邻近块的方式不作限定。 0127 613， 根据所述运动信息候选列表中处理为整像素精度的运动矢量， 获取所述图像 块的CPMV。 0128 Affine帧间预测模式可以分为Affine merge模式和Affine inter模式。 0129 图7所示实施例可以应用于Affine inter模式， 也可以应用于Affine merge模式。 0130 可选地， 在。

44、如图7所示的实施例中， 该图像块的帧间预测方式为Affine merge模 式。 0131 在Affine merge模式下， 可以从运动信息候选列表选择一个CPMV直接作为该图像 块的CPMV。 即步骤613包括： 从该图像块的运动信息候选列表中选择一个CPMV作为该图像块 的CPMV。 0132 因为用于构建运动信息候选列表的邻近块的运动矢量被处理为整像素精度， 因 此， 从运动信息候选列表选择CPMV直接作为该图像块的CPMV， 可以保证该图像块的CPMV为 整像素。 0133 作为示例， Affine merge模式的帧间预测的大致流程包括如下步骤。 在本示例中， 以图像块为CU为例。。

45、 0134 步骤1-1， 从空域临近块和/或时域临近块获取邻近块的运动矢量(MV)。 此过程会 获取到Affine模式的邻近块的MV以及传统模式的邻近块的MV， 根据这些邻近块的MV组合得 到CPMVs， 并由这些CPMVs构建该CU的运动信息候选列表。 0135 步骤1-2， 将该CU的运动信息候选列表中的运动矢量， 处理为整像素精度。 0136 步骤1-3， 从运动信息候选列表中选择一个组合(该组合中可能包含两个或者三个 CPMV， 代表两个控制点和三个控制点的CPMV)， 作为CU的CPMVs。 0137 在Affine merge模式中， 将运动信息候选列表中选出的CPMVs作为当前C。

46、U的 CPMVs， 不需要进行运动估计， 也不存在Affine inter模式中的MVD的概念(下文将描述)。 也 说明书 8/14 页 11 CN 111247804 A 11 就是说， 在Affine merge模式中， 只需要将从运动信息候选列表中选出的CPMVs的索引(一 个CU只需要写一个索引)写入码流， 不需要传输MVD。 0138 关于步骤1-1中提及的邻近块， 该临近块的帧间预测模式可以是传统的帧间预测 模式也可能是affine模式， 因此从临近块获取到的MV可能是整像素精度也可能是亚像素精 度。 0139 本实施例通过将当前图像块的邻近块的运动矢量处理为整像素精度， 从而可以。

47、保 证该图像块的CPMV为整像素精度。 0140 前文已述， 图7所示的实施例也可以应用于Affine inter模式。 为了更好地理解本 申请实施例， 在描述将图7所示的实施例应用于Affine inter模式的实施例之前， 先描述一 下Affine Inter模式的大致流程。 0141 作为示例， Affine Inter模式的大致流程包括如下步骤。 在本示例中， 以图像块为 CU为例。 0142 步骤2-1， 从空域临近块和/或时域临近块获取邻近块的运动矢量。 此过程会获取 到Affine模式的邻近块的运动矢量以及传统模式的邻近块的运动矢量； 根据所获取的运动 矢量组合得到CPMVs， 。

48、并由这些CPMVs构建该CU的运动信息候选列表。 0143 步骤2-2， 从步骤2-1构建的运动信息候选列表中选择一个组合(该组合中可能包 含两个或者三个CPMV， 代表两个控制点和三个控制点的CPMV)， 作为当前CU的预测MV (Motion vector prediction， MVP)(即当前CU的预测CPMVs)。 0144 步骤2-3， 以当前整个CU为单位进行运动估计， 获取当前CU的CPMVs。 0145 步骤2-4， 计算步骤2-2选择的CPMVs与步骤2-3运动估计的CPMVs之间的差值， 获得 运动矢量差值(Motion Vector Difference， MVD)。 。

49、0146 在Affine Inter模式中， 需要将选择的CPMVs的索引， 以及MVD写入码流。 0147 在Affine Inter模式中， 运动估计过程以CU(对应于本申请实施例中的图像块)为 单位进行， 运动补偿过程则以44的sub-CU(对应于本申请实施例中的子图像块)为单位进 行。 0148 关于步骤2-1中提及的邻近块， 该临近块的帧间预测模式可以是传统的帧间预测 模式也可能是affine模式， 因此从临近块获取到的MV可能是整像素精度也可能是亚像素精 度。 0149 在Affine Inter模式中， 编码端会进行CU的运动矢量的不同像素精度的选择， 这 个过程可以称为自适应运。

50、动矢量精度(Adaptive Motion Vector Resolution， AMVR)决策。 0150 AMVR决策的像素精度本质上是MVD的像素精度， 也就是CU的CPMVs的像素精度， 而 不是sub-CU的MV的像素精度。 0151 在现有的Affine Inter模式中， AMVR决策的像素精度的范围包括但不限于： 1/16 像素精度、 1/8像素精度、 1/4像素精度、 1/2像素精度、 1像素精度、 2像素精度、 4像素精度等。 换句话说， CU可以有多种不同像素精度的CPMVs。 例如， CU可以有整像素、 1/4像素精度和1/ 16像素精度三种不同的CPMVs。 0152。