视频运动信息编码方法及装置.pdf

《视频运动信息编码方法及装置.pdf》由会员分享，可在线阅读，更多相关《视频运动信息编码方法及装置.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910293685.6 (22)申请日 2019.04.12 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 刘东马常月吴枫 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 王宝筠 (51)Int.Cl. H04N 19/107(2014.01) H04N 19/132(2014.01) H04N 19/70(2014.01) (54)发明名称 一种视频运动信息编码方法及装置 (57)摘要 本。

2、申请提出一种视频运动信息编码方法及 装置， 该方法包括： 获取当前预测单元周围的已 编码预测单元的运动信息语法元素； 其中， 所述 周围的已编码预测单元包括与所述当前预测单 元时域和空域相邻的已编码预测单元； 根据所述 已编码预测单元的运动信息语法元素， 确定所述 当前预测单元的运动信息语法元素的概率分布； 根据所述当前预测单元的运动信息语法元素的 概率分布， 对所述当前预测单元的运动信息语法 元素进行编码处理。 上述技术方案能够实现基于 视频语法元素的运动信息编码， 能够适用于解析 与重构分离的硬件架构。 权利要求书2页 说明书10页 附图3页 CN 109996068 A 2019.07.。

3、09 CN 109996068 A 1.一种视频运动信息编码方法， 其特征在于， 包括： 获取当前预测单元周围的已编码预测单元的运动信息语法元素； 其中， 所述周围的已 编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元； 根据所述已编码预测单元的运动信息语法元素， 确定所述当前预测单元的运动信息语 法元素的概率分布； 根据所述当前预测单元的运动信息语法元素的概率分布， 对所述当前预测单元的运动 信息语法元素进行编码处理。 2.根据权利要求1所述的方法， 其特征在于， 所述获取当前预测单元周围的已编码预测 单元的运动信息语法元素， 包括： 获取当前预测单元所在的视频帧中， 包含所。

4、述当前预测单元的设定大小的图像区域的 已编码运动信息语法元素； 以及， 获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元素； 其中， 所述运动信息语法元素包括参考索引reference index、 运动向量motion vector、 与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的 值、 以及所述当前预测单元所在视频帧的编码区域分布信息。 3.根据权利要求2所述的方法， 其特征在于， 所述获取当前预测单元所在的视频帧中， 包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素， 包括： 获取以当前预测单元右下角像素为起点， 向左、 向上分别延伸。

5、第一数量的基本单元， 以 及向右、 向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语法元 素； 其中， 所述基本单元由设定大小的像素阵列构成。 4.根据权利要求2所述的方法， 其特征在于， 所述获取与所述当前预测单元时域相邻的 预测单元中的已编码运动信息语法元素， 包括： 分别从与所述当前预测单元相邻的各个预测单元内， 查找参考索引reference index 和运动向量motion vector； 当查找到参考索引reference index和运动向量motion vector时， 则停止查找操作， 并获取该参考索引reference index和运动向量motion v。

6、ector对应的时域预测单元区域 内的运动信息语法元素。 5.根据权利要求2所述的方法， 其特征在于， 所述方法还包括： 将未获取到的已编码预测单元的运动信息语法元素的值设置为预设值。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述已编码预测单元的运动信息 语法元素， 确定所述当前预测单元的运动信息语法元素的概率分布， 包括： 将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络， 得到所述当前 预测单元的运动信息语法元素的概率分布； 其中， 所述卷积神经网络至少通过根据已编码预测单元的运动信息语法元素计算当前 预测单元的运动信息语法元素的概率分布训练得到， 并且， 所述卷。

7、积神经网络的输入通道 数量与所述已编码预测单元的运动信息语法元素数量相同。 7.根据权利要求1所述的方法， 其特征在于， 所述根据所述当前预测单元的运动信息语 法元素的概率分布， 对所述当前预测单元的运动信息语法元素进行编码处理， 包括： 分别将所述当前预测单元的运动信息语法元素， 以及该运动信息语法元素的概率分 权利要求书 1/2 页 2 CN 109996068 A 2 布， 输入二进制或多进制算数编码器， 得到该运动信息语法元素的编码结果。 8.一种视频运动信息编码装置， 其特征在于， 包括： 数据获取单元， 用于获取当前预测单元周围的已编码预测单元的运动信息语法元素； 其中， 所述周围。

8、的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测 单元； 数据处理单元， 用于根据所述已编码预测单元的运动信息语法元素， 确定所述当前预 测单元的运动信息语法元素的概率分布； 编码处理单元， 用于根据所述当前预测单元的运动信息语法元素的概率分布， 对所述 当前预测单元的运动信息语法元素进行编码处理。 9.根据权利要求8所述的装置， 其特征在于， 所述数据获取单元包括： 第一数据获取单元， 用于获取当前预测单元所在的视频帧中， 包含所述当前预测单元 的设定大小的图像区域的已编码运动信息语法元素； 第二数据获取单元， 用于获取与所述当前预测单元时域相邻的预测单元中的已编码运 动信息。

9、语法元素； 其中， 所述运动信息语法元素包括参考索引reference index、 运动向量motion vector、 与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的 值、 以及所述当前预测单元所在视频帧的编码区域分布信息。 10.根据权利要求8所述的装置， 其特征在于， 所述数据处理单元根据所述已编码预测 单元的运动信息语法元素， 确定所述当前预测单元的运动信息语法元素的概率分布时， 具 体用于： 将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络， 得到所述当前 预测单元的运动信息语法元素的概率分布； 其中， 所述卷积神经网络至少通过根据已编码预测单元的。

10、运动信息语法元素计算当前 预测单元的运动信息语法元素的概率分布训练得到， 并且， 所述卷积神经网络的输入通道 数量与所述已编码预测单元的运动信息语法元素数量相同。 权利要求书 2/2 页 3 CN 109996068 A 3 一种视频运动信息编码方法及装置 技术领域 0001 本申请涉及视频编码技术领域， 更具体地说， 尤其涉及一种视频运动信息编码方 法及装置。 背景技术 0002 视频压缩编码是视频存储与传输中的重要处理过程。 已经制定的视频编码标准都 属于混合视频编码框架， 该标准中的熵编码以无损压缩的形式将语法元素编成二进制码 流， 是混合视频编码框架中的核心技术。 0003 现存的基于。

11、神经网络的语法元素编码技术通常以视频语法元素重建得到的视频 图像为基础进行编码处理， 但是在实际中， 对视频码流解析得到视频语法元素， 以及由视频 语法元素重建得到视频图像这两种处理过程在硬件上是分离执行的， 而上述的语法元素编 码技术无法实现视频码流解析与语法元素重构这两个过程的分离， 不利于硬件实现。 因此， 用户需要基于视频语法元素的运动信息编码方法， 来适应解析与重构处理过程分离的硬件 架构。 发明内容 0004 基于上述需求， 本申请提出一种视频运动信息编码方法及装置， 能够实现基于运 动信息语法元素的运动信息编码， 适用于解析与重构分离的硬件框架实现。 0005 一种视频运动信息编。

12、码方法， 包括： 0006 获取当前预测单元周围的已编码预测单元的运动信息语法元素； 其中， 所述周围 的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元； 0007 根据所述已编码预测单元的运动信息语法元素， 确定所述当前预测单元的运动信 息语法元素的概率分布； 0008 根据所述当前预测单元的运动信息语法元素的概率分布， 对所述当前预测单元的 运动信息语法元素进行编码处理。 0009 可选的， 所述获取当前预测单元周围的已编码预测单元的运动信息语法元素， 包 括： 0010 获取当前预测单元所在的视频帧中， 包含所述当前预测单元的设定大小的图像区 域的已编码运动信息语法元。

13、素； 0011 以及， 获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元 素； 0012 其中， 所述运动信息语法元素包括参考索引reference index、 运动向量motion vector、 与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的 值、 以及所述当前预测单元所在视频帧的编码区域分布信息。 0013 可选的， 所述获取当前预测单元所在的视频帧中， 包含所述当前预测单元的设定 大小的图像区域的已编码运动信息语法元素， 包括： 说明书 1/10 页 4 CN 109996068 A 4 0014 获取以当前预测单元右下角像素为起点， 向左、 向。

14、上分别延伸第一数量的基本单 元， 以及向右、 向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语 法元素； 其中， 所述基本单元由设定大小的像素阵列构成。 0015 可选的， 所述获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息 语法元素， 包括： 0016 分别从与所述当前预测单元相邻的各个预测单元内， 查找参考索引reference index和运动向量motion vector； 0017 当查找到参考索引reference index和运动向量motion vector时， 则停止查找操 作， 并获取该参考索引reference index和运动向量motion。

15、 vector对应的时域预测单元区 域内的运动信息语法元素。 0018 可选的， 所述方法还包括： 0019 将未获取到的已编码预测单元的运动信息语法元素的值设置为预设值。 0020 可选的， 所述根据所述已编码预测单元的运动信息语法元素， 确定所述当前预测 单元的运动信息语法元素的概率分布， 包括： 0021 将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络， 得到所述 当前预测单元的运动信息语法元素的概率分布； 0022 其中， 所述卷积神经网络至少通过根据已编码预测单元的运动信息语法元素计算 当前预测单元的运动信息语法元素的概率分布训练得到， 并且， 所述卷积神经网络的输入 。

16、通道数量与所述已编码预测单元的运动信息语法元素数量相同。 0023 可选的， 所述根据所述当前预测单元的运动信息语法元素的概率分布， 对所述当 前预测单元的运动信息语法元素进行编码处理， 包括： 0024 分别将所述当前预测单元的运动信息语法元素， 以及该运动信息语法元素的概率 分布， 输入二进制或多进制算数编码器， 得到该运动信息语法元素的编码结果。 0025 一种视频运动信息编码装置， 包括： 0026 数据获取单元， 用于获取当前预测单元周围的已编码预测单元的运动信息语法元 素； 其中， 所述周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码 预测单元； 0027 数据处理。

17、单元， 用于根据所述已编码预测单元的运动信息语法元素， 确定所述当 前预测单元的运动信息语法元素的概率分布； 0028 编码处理单元， 用于根据所述当前预测单元的运动信息语法元素的概率分布， 对 所述当前预测单元的运动信息语法元素进行编码处理。 0029 可选的， 所述数据获取单元包括： 0030 第一数据获取单元， 用于获取当前预测单元所在的视频帧中， 包含所述当前预测 单元的设定大小的图像区域的已编码运动信息语法元素； 0031 第二数据获取单元， 用于获取与所述当前预测单元时域相邻的预测单元中的已编 码运动信息语法元素； 0032 其中， 所述运动信息语法元素包括参考索引referenc。

18、e index、 运动向量motion vector、 与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的 值、 以及所述当前预测单元所在视频帧的编码区域分布信息。 说明书 2/10 页 5 CN 109996068 A 5 0033 可选的， 所述第一数据获取单元获取当前预测单元所在的视频帧中， 包含所述当 前预测单元的设定大小的图像区域的已编码运动信息语法元素时， 具体用于： 0034 获取以当前预测单元右下角像素为起点， 向左、 向上分别延伸第一数量的基本单 元， 以及向右、 向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语 法元素； 其中， 所述基本单。

19、元由设定大小的像素阵列构成。 0035 可选的， 所述第二数据获取单元获取与所述当前预测单元时域相邻的预测单元中 的已编码运动信息语法元素时， 具体用于： 0036 分别从与所述当前预测单元相邻的各个预测单元内， 查找参考索引reference index和运动向量motion vector； 0037 当查找到参考索引reference index和运动向量motion vector时， 则停止查找操 作， 并获取该参考索引reference index和运动向量motion vector对应的时域预测单元区 域内的运动信息语法元素。 0038 可选的， 在本申请的另一个实施例中还公开了， 。

20、所述第一数据获取单元和所述第 二数据获取单元还用于： 0039 将未获取到的已编码预测单元的运动信息语法元素的值设置为预设值。 0040 可选的， 在本申请的另一个实施例中还公开了， 所述数据处理单元110根据所述已 编码预测单元的运动信息语法元素， 确定所述当前预测单元的运动信息语法元素的概率分 布时， 具体用于： 0041 将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络， 得到所述 当前预测单元的运动信息语法元素的概率分布； 0042 其中， 所述卷积神经网络至少通过根据已编码预测单元的运动信息语法元素计算 当前预测单元的运动信息语法元素的概率分布训练得到， 并且， 所述卷积。

21、神经网络的输入 通道数量与所述已编码预测单元的运动信息语法元素数量相同。 0043 可选的， 在本申请的另一个实施例中开公开了， 所述编码处理单元120根据所述当 前预测单元的运动信息语法元素的概率分布， 对所述当前预测单元的运动信息语法元素进 行编码处理时， 具体用于： 0044 分别将所述当前预测单元的运动信息语法元素， 以及该运动信息语法元素的概率 分布， 输入二进制或多进制算数编码器， 得到该运动信息语法元素的编码结果。 0045 本申请技术方案在对当前预测单元的运动信息进行编码时， 先获取当前预测单元 周围的已编码预测单元的运动信息语法元素； 然后根据所述已编码预测单元的运动信息语 。

22、法元素， 确定所述当前预测单元的运动信息语法元素的概率分布； 最后根据所述当前预测 单元的运动信息语法元素的概率分布， 对所述当前预测单元的运动信息语法元素进行编码 处理。 可见， 上述处理过程是根据已编码预测单元的运动信息语法元素为依据， 对当前预测 单元的运动信息语法元素进行编码处理， 该方案是基于视频语法元素的运动信息编码方 法， 能够适用解析与重构分离的硬件架构。 附图说明 0046 为了更清楚地说明本申请实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 说明书 3/10 页 6 CN 1099960。

23、68 A 6 申请的实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 提供的附图获得其他的附图。 0047 图1是本申请实施例提供的一种视频运动信息编码方法的流程示意图； 0048 图2是本申请实施例提供的编码单元划分示意图； 0049 图3是本申请实施例提供的已编码运动信息语法元素选取示意图； 0050 图4是本申请实施例提供的卷积神经网络结构示意图； 0051 图5是本申请实施例提供的适用于不同量化参数和不同语法元素的卷积神经网络 示意图； 0052 图6是本申请实施例提供的一种视频运动信息编码装置的结构示意图。 具体实施方式 0053 下面将结合本申请实施。

24、例中的附图， 对本申请实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本申请一部分实施例， 而不是全部的实施例。 基于 本申请中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例， 都属于本申请保护的范围。 0054 本申请实施例公开了一种视频运动信息编码方法， 参见图1所示， 该方法包括： 0055 S101、 获取当前预测单元周围的已编码预测单元的运动信息语法元素； 其中， 所述 周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已编码预测单元； 0056 具体的， 当编码当前预测单元(PredictionUnit， PU)的。

25、运动信息时， 与当前预测单 元时域相邻和空域相邻的已编码预测单元的运动信息语法元素已知。 本申请实施例设定， 这些已编码预测单元的运动信息语法元素作为对当前预测单元的运动信息进行编码的依 据， 示例性的， 当编码当前预测单元的每个运动信息语法元素时， 以相邻空域和相邻时域预 测单元的已编码运动信息在解析过程中转化的参考索引reference index和运动向量 motion vector两个语法元素作为编码依据。 0057 除此之外， 当对当前预测单元的某个运动信息语法元素进行编码时， 将该当前预 测单元相邻空域和相邻时域预测单元的， 已编码的该运动信息语法元素的编码值也作为编 码依据。 例。

26、如， 在对当前预测单元的语法元素merge flag， merge index， motion vector difference， motion vector prediction index进行编码时， 将当前预测单元相邻空域和 相邻时域预测单元的， 已编码的merge flag， merge index， motion vector difference， motion vector prediction index的编码值也作为编码依据。 0058 因此， 在对当前预测单元的运动信息进行编码时， 首先获取当前预测单元周围的 已编码预测单元的运行信息语法元素。 0059 示例性的， 本申。

27、请实施例在获取当前预测单元周围的已编码预测单元的运动信息 语法元素时， 分为从空域和时域分别获取。 0060 当从空域获取当前预测单元周围的已编码预测单元的运动信息语法元素时， 具体 为获取当前预测单元所在的视频帧中， 包含所述当前预测单元的设定大小的图像区域的已 编码运动信息语法元素。 0061 在最新的国际视频编码标准(High Efficiency Video Coding， HEVC)中， 参见图2 所示， 编码单元(CodingUnit,CU)的大小变化范围是646488， 编码单元(CU)划分为预 说明书 4/10 页 7 CN 109996068 A 7 测单元(PU)的方式包括。

28、NN,N/2N,NN/2,N/2N/2,N/4N(L),N/4N(R),NN/4(U) 和NN/4(D)共8种方式。 0062 作为一种可选的实现方式， 本申请实施例设定， 当获取当前预测单元所在的视频 帧中， 包含所述当前预测单元的设定大小的图像区域的已编码运动信息语法元素时， 具体 为： 0063 获取以当前预测单元右下角像素为起点， 向左、 向上分别延伸第一数量的基本单 元， 以及向右、 向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语 法元素； 其中， 所述基本单元由设定大小的像素阵列构成。 0064 具体的， 对于当前预测单元， 获取其当前帧中的， 也就是其所在的视频。

29、帧中的已编 码运动信息时， 获取以当前预测单元右下角像素为起点， 向左、 向上分别延伸第一数量的基 本单元， 以及向右、 向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信 息语法元素。 0065 参见图3所示， 本申请实施例在获取当前帧中的已编码运动信息语法元素时， 以当 前预测单元右下角为起点， 向左、 向上延伸20个基本单元， 向右、 向下延伸2个基本单元， 共 计2222的图像区域的已编码运动信息语法元素。 其中， 一个基本单元涵盖44的像素阵 列范围。 0066 按照上述方式， 分别从上述图像区域内获取参考索引reference index， 运动向量 motion vec。

30、tor水平分量， 运动向量motion vector竖直分量， 与当前待编码运动信息语法 元素相同的已编码运动信息语法元素的值， 以及模板信息， 该模板信息用于表示当前预测 单元所在的空域的已编码、 待编码、 未编码区域分布情况。 0067 另一方面， 当从时域获取当前预测单元周围的已编码预测单元的运动信息语法元 素时， 具体为获取与所述当前预测单元时域相邻的预测单元中的已编码运动信息语法元 素。 0068 作为一种可选的实现方式， 在获取与所述当前预测单元时域相邻的预测单元中的 已编码运动信息语法元素时， 其具体处理过程可以包括： 0069 分别从与所述当前预测单元相邻的各个预测单元内， 查。

31、找参考索引reference index和运动向量motion vector； 0070 当查找到参考索引reference index和运动向量motion vector时， 则停止查找操 作， 并获取该参考索引reference index和运动向量motion vector对应的时域预测单元区 域内的运动信息语法元素。 0071 示例性的， 依次检测当前预测单元左、 上、 右上、 左下、 左上预测单元， 从中查找 reference index和motion vector， 如果某个位置内包含已编码的运动信息时， 则停止查 找操作。 此时， 以得到的reference index和mot。

32、ion vector确定当前预测单元对应的时域 相邻预测单元区域， 该预测单元区域即为当前预测单元的参考帧， 然后， 以该预测单元区域 内的运动信息语法元素作为获取到的与所述当前预测单元时域相邻的预测单元周围的已 编码运动信息语法元素。 0072 按照上述方式， 分别从上述参考帧内获取参考索引reference index， 运动向量 motion vector水平分量， 运动向量motion vector竖直分量， 与当前待编码运动信息语法 元素相同的已编码运动信息语法元素的值。 说明书 5/10 页 8 CN 109996068 A 8 0073 可以理解， 本申请实施例所获取的上述运动信。

33、息语法元素包括参考索引 reference index、 运动向量motion vector、 与所述当前预测单元中的待编码运动信息语 法元素对应的运动信息语法元素的值、 以及所述当前预测单元所在视频帧的编码区域分布 信息。 0074 其中， 与当前预测单元时域和空域相邻的预测单元的运动信息语法元素都包含 reference index， motion vector水平分量， motion vector竖直分量， 当前待编码语法元 素的值。 另外， 与当前预测单元空域相邻的预测单元的运动信息还包括模板信息， 用于表示 当前预测单元所在空域的已编码、 待编码、 未编码区域分布情况。 0075 进。

34、一步的， 对于上述的各个已编码运动信息语法元素， 如果按照上述实施例处理 过程未获取到其编码值， 则将未获取到的已编码预测单元的运动信息语法元素的值设置为 预设值。 0076 具体的， 上述预设值， 可以为预先设置的默认值。 其中， reference index的默认值 为-1， motion vector的水平分量和竖直分量的默认值为0， merge flag的默认值为-1， motion vector difference的默认值为0， motion vector prediction index的默认值为- 1。 模板中已编码区域赋值为2， 当前预测单元所在区域(待编码区域)赋值为1，。

35、 未编码区域 赋值为0。 0077 综上， 按照上述实施例介绍获取到当前预测单元周围的已编码预测单元的运动信 息语法元素后， 以获取到的运动信息语法元素为依据， 对当前预测单元的运动信息语法元 素进行后续的编码处理。 0078 S102、 根据所述已编码预测单元的运动信息语法元素， 确定所述当前预测单元的 运动信息语法元素的概率分布； 0079 具体的， 上述已编码预测单元的运动信息语法元素， 与当前预测单元的运动信息 语法元素的概率分布之间存在映射关系， 根据该映射关系， 可以根据已编码预测单元的运 动信息语法元素， 确定当前预测单元的运动信息语法元素的概率分布。 0080 作为一种可选的实。

36、现方式， 本申请实施例预先训练卷积神经网络， 用于根据已编 码预测单元的运动信息语法元素， 确定当前预测单元的运动信息语法元素的概率分布。 0081 其中， 上述的卷积神经网络至少通过根据已编码预测单元的运动该信息语法元素 计算当前预测单元的运动信息语法元素的概率分布训练得到。 0082 上述预先训练的卷积神经网络用于建立输入与当前预测单元语法元素的概率分 布之间的联系。 参见图4所示， 本申请实施例设计的卷积神经网络基于DenseNet的网络结 构， 包含两种基本的网络结构。 DenseNet为计算机视觉中用于进行图像分类的非常高效的 网络结构。 整个DenseNet划分为几个densebl。

37、ocks， 在每个dense block内， 基本层由卷积层 接ReLU层接BN层构成。 在dense block与dense block之间， 过渡层完成对feature maps的 下采样。 softmax层接在最后一个dense block后， 用于预测每个candidate的概率分布。 0083 对于在不同量化参数(QP)下的不同语法元素， 本申请实施例尝试了三种不同的网 络结构： 图4所示结构1中每个Dense Block包含12层时， 该网络作为第一种卷积神经网络； 图4所示结构1中每个Dense Block包含6层时， 该网络作为第二种卷积神经网络2； 图4所示 结构2中每个De。

38、nse Block包含6层时， 该网络作为第三种卷积神经网络3。 0084 对于不同的运动信息语法元素， softmax层的长度不同。 具体的， merge flag为2， 说明书 6/10 页 9 CN 109996068 A 9 merge index为5， reference index为4， motion vector prediction index为2， motion vector difference的softmax层长度为motion vector difference的最大值减最小值加 1。 通过比较三种神经网络在验证集上的损失函数大小， 最终确定的针对不同量化参数、 不 同。

39、语法元素的卷积神经网络如图5所示。 0085 另外需要说明的是， 如图4所示， 本申请实施例所应用的上述卷积神经网络的输入 通道的数量与已编码预测单元的运动信息语法元素数量相同。 由于本申请实施例技术方案 从当前预测单元空域和时域相邻的预测单元中获取9种已编码运动信息语法元素， 因此将 这9种已编码运动信息语法元素作为卷积神经网络的输入， 由卷积神经网络根据这9种已编 码运动信息语法元素， 计算得到当前预测单元的运动信息语法元素的概率分布。 0086 可以理解， 由于本申请实施例技术方案设定上述卷积神经网络的输入通道的数量 与已编码预测单元的运动信息语法元素数量相同， 因此， 对于不同大小的预。

40、测块， 均可以通 过执行本申请实施例技术方案获取对应的一定数量的已编码预测单元运动信息语法元素， 然后将获取的各个运动信息语法元素分别输入预设的卷积神经网络的各个通道， 即可得到 当前预测单元的运动信息语法元素的概率分布。 0087 根据本申请实施例技术方案， 对所有的预测单元， 不论其大小如何变化， 均可以通 过本申请实施例图4所示的卷积神经网络获取其运动信息语法元素的概率分布。 也就是说， 本申请实施例技术方案具有更广泛的适用性， 可以用于针对各种尺寸的预测单元的运动信 息编码处理。 0088 S103、 根据所述当前预测单元的运动信息语法元素的概率分布， 对所述当前预测 单元的运动信息语。

41、法元素进行编码处理。 0089 具体的， 由于本申请实施例中的卷积神经网络可以自适应建立周围已编码预测单 元运动信息输入与当前预测单元运动信息的语法元素的概率分布的映射关系。 因此本申请 实施例不再对运动信息预先进行二值化操作， 而是在得到运动信息的概率分布后， 针对不 同语法元素， 选择性采用二进制或多进制算术编码器。 0090 示例性的， 本申请实施例分别将所述当前预测单元的运动信息语法元素， 以及该 运动信息语法元素的概率分布， 输入二进制或多进制算数编码器， 得到该运动信息语法元 素的编码结果。 0091 对于merge flag， merge index， reference ind。

42、ex和motion vector prediction index， 分别采用2、 5、 4、 2进制算术编码器。 对于motion vector difference， 将该语法元素 转化为二进制码流并计算相应的二进制条件概率分布， 最终采用二进制算术编码器。 具体 的转化方式为， motion vector difference转化为是否为0， 不为0的话是否大于0， 不为0的 话是否大于1， 大于1的话是否大于2， ， 直到判断该语法元素值是否大于它本身。 0092 通过上述介绍可见， 本申请实施例在对当前预测单元的运动信息进行编码时， 先 获取当前预测单元周围的已编码预测单元的运动信息。

43、语法元素； 然后根据所述已编码预测 单元的运动信息语法元素， 确定所述当前预测单元的运动信息语法元素的概率分布； 最后 根据所述当前预测单元的运动信息语法元素的概率分布， 对所述当前预测单元的运动信息 语法元素进行编码处理。 可见， 上述处理过程是根据已编码预测单元的运动信息语法元素 为依据， 对当前预测单元的运动信息语法元素进行编码处理， 该方案是基于视频语法元素 的运动信息编码方法， 能够适用解析与重构分离的硬件架构。 说明书 7/10 页 10 CN 109996068 A 10 0093 与上述的视频运动信息编码方法相对应的， 本申请另一实施例还公开了一种视频 运动信息编码装置， 参见。

44、图6所示， 该装置包括： 0094 数据获取单元100， 用于获取当前预测单元周围的已编码预测单元的运动信息语 法元素； 其中， 所述周围的已编码预测单元包括与所述当前预测单元时域和空域相邻的已 编码预测单元； 0095 数据处理单元110， 用于根据所述已编码预测单元的运动信息语法元素， 确定所述 当前预测单元的运动信息语法元素的概率分布； 0096 编码处理单元120， 用于根据所述当前预测单元的运动信息语法元素的概率分布， 对所述当前预测单元的运动信息语法元素进行编码处理。 0097 可选的， 在本申请的另一个实施例中还公开了， 所述数据获取单元100包括： 0098 第一数据获取单元，。

45、 用于获取当前预测单元所在的视频帧中， 包含所述当前预测 单元的设定大小的图像区域的已编码运动信息语法元素； 0099 第二数据获取单元， 用于获取与所述当前预测单元时域相邻的预测单元中的已编 码运动信息语法元素； 0100 其中， 所述运动信息语法元素包括参考索引reference index、 运动向量motion vector、 与所述当前预测单元中的待编码运动信息语法元素对应的运动信息语法元素的 值、 以及所述当前预测单元所在视频帧的编码区域分布信息。 0101 其中， 所述第一数据获取单元获取当前预测单元所在的视频帧中， 包含所述当前 预测单元的设定大小的图像区域的已编码运动信息语法。

46、元素时， 具体用于： 0102 获取以当前预测单元右下角像素为起点， 向左、 向上分别延伸第一数量的基本单 元， 以及向右、 向下分别延伸第二数量的基本单元所构成的图像区域的已编码运动信息语 法元素； 其中， 所述基本单元由设定大小的像素阵列构成。 0103 所述第二数据获取单元获取与所述当前预测单元时域相邻的预测单元中的已编 码运动信息语法元素时， 具体用于： 0104 分别从与所述当前预测单元相邻的各个预测单元内， 查找参考索引reference index和运动向量motion vector； 0105 当查找到参考索引reference index和运动向量motion vector时。

47、， 则停止查找操 作， 并获取该参考索引reference index和运动向量motion vector对应的时域预测单元区 域内的运动信息语法元素。 0106 可选的， 在本申请的另一个实施例中还公开了， 所述第一数据获取单元和所述第 二数据获取单元还用于： 0107 将未获取到的已编码预测单元的运动信息语法元素的值设置为预设值。 0108 可选的， 在本申请的另一个实施例中还公开了， 所述数据处理单元110根据所述已 编码预测单元的运动信息语法元素， 确定所述当前预测单元的运动信息语法元素的概率分 布时， 具体用于： 0109 将所述已编码预测单元的运动信息语法元素输入预设的卷积神经网络。

48、， 得到所述 当前预测单元的运动信息语法元素的概率分布； 0110 其中， 所述卷积神经网络至少通过根据已编码预测单元的运动信息语法元素计算 当前预测单元的运动信息语法元素的概率分布训练得到， 并且， 所述卷积神经网络的输入 说明书 8/10 页 11 CN 109996068 A 11 通道数量与所述已编码预测单元的运动信息语法元素数量相同。 0111 可选的， 在本申请的另一个实施例中开公开了， 所述编码处理单元120根据所述当 前预测单元的运动信息语法元素的概率分布， 对所述当前预测单元的运动信息语法元素进 行编码处理时， 具体用于： 0112 分别将所述当前预测单元的运动信息语法元素，。

49、 以及该运动信息语法元素的概率 分布， 输入二进制或多进制算数编码器， 得到该运动信息语法元素的编码结果。 0113 具体的， 上述视频运动信息编码装置的各个实施例中的各个单元的具体工作内 容， 请参见上述方法实施例的内容， 此处不再赘述。 0114 对于前述的各方法实施例， 为了简单描述， 故将其都表述为一系列的动作组合， 但 是本领域技术人员应该知悉， 本申请并不受所描述的动作顺序的限制， 因为依据本申请， 某 些步骤可以采用其他顺序或者同时进行。 其次， 本领域技术人员也应该知悉， 说明书中所描 述的实施例均属于优选实施例， 所涉及的动作和模块并不一定是本申请所必须的。 0115 需要说。

50、明的是， 本说明书中的各个实施例均采用递进的方式描述， 每个实施例重 点说明的都是与其他实施例的不同之处， 各个实施例之间相同相似的部分互相参见即可。 对于装置类实施例而言， 由于其与方法实施例基本相似， 所以描述的比较简单， 相关之处参 见方法实施例的部分说明即可。 0116 本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、 合并和删减。 0117 本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、 划 分和删减。 0118 本申请所提供的几个实施例中， 应该理解到， 所揭露的终端， 装置和方法， 可以通 过其它的方式实现。 例如， 以上所描述的终端实施例仅仅是示意。