编码失真的图像帧的方法、设备和计算机程序产品.pdf

《编码失真的图像帧的方法、设备和计算机程序产品.pdf》由会员分享，可在线阅读，更多相关《编码失真的图像帧的方法、设备和计算机程序产品.pdf（19页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010387614.5 (22)申请日 2020.05.09 (30)优先权数据 19174349.1 2019.05.14 EP (71)申请人 安讯士有限公司 地址 瑞典， 浪德 (72)发明人 维克托埃德帕尔姆袁嵩 (74)专利代理机构 北京德琦知识产权代理有限 公司 11018 代理人 康泉宋志强 (51)Int.Cl. H04N 19/176(2014.01) H04N 19/44(2014.01) H04N 19/70(2014.01) (54)发明名称 编码失。

2、真的图像帧的方法、 设备和计算机程 序产品 (57)摘要 提供了编码失真的图像帧的方法、 设备和计 算机程序产品。 方法包括： 确定失真的图像帧的 空间分辨率分布； 确定最大像素块尺寸的分布 图， 其中， 最大像素块尺寸的分布图基于空间分 辨率分布， 使得对于失真的图像帧的具有第一空 间分辨率的第一部分， 将与该第一部分相对应的 最大像素块尺寸设置为第一值， 并且对于失真的 图像帧的具有低于第一空间分辨率的第二空间 分辨率的第二部分， 将与该第二部分相对应的最 大像素块尺寸设置为低于第一值的第二值； 以及 对失真的图像帧(140)进行编码， 其中， 最大像素 块尺寸的分布图用于定义编码块的最大。

3、块尺寸。 权利要求书2页 说明书10页 附图6页 CN 111953982 A 2020.11.17 CN 111953982 A 1.一种使用基于块的视频编码算法对经由至少一个图像传感器(212)产生的描绘场景 的失真的图像帧(140)进行编码的方法(300)， 所述失真的图像帧(140)中的每个像素与所 述场景中的视场FOV相对应， 所述方法(300)包括： 确定(304)与所述失真的图像帧(140)相对应的最大像素块尺寸的分布图(150)， 其中， 基于空间分辨率分布来确定所述最大像素块尺寸的分布图(150)， 所述空间分辨率分布与 所述失真的图像帧(140)中的每像素的对应FOV的范围。

4、分布相对应， 使得对于所述失真的图 像帧(140)的具有第一空间分辨率的第一部分(142)， 将与所述第一部分(142)相对应的最 大像素块尺寸设置为第一值(1502)， 并且对于所述失真的图像帧(140)的具有低于所述第 一空间分辨率的第二空间分辨率的第二部分(144)， 将与所述第二部分(144)相对应的最大 像素块尺寸设置为低于所述第一值(1502)的第二值(1504)； 并且 使用所述基于块的视频编码算法对所述失真的图像帧(140)进行编码(306)， 其中， 所 述最大像素块尺寸的分布图(150)用于定义所述基于块的视频编码算法的编码块的最大块 尺寸。 2.根据权利要求1所述的方法(。

5、300)， 其中， 所述基于块的视频编码算法是h.265或AV1， 并且其中， 所述最大像素块尺寸的分布图(150)用于定义所述基于块的视频编码算法的编 码单元的最大尺寸。 3.根据权利要求1所述的方法(300)， 进一步包括： 确定(308)与所述失真的图像帧(140)相对应的最小像素块尺寸的分布图(160)， 其中， 所述最小像素块尺寸的分布图(160)包括具有不同的最小像素块尺寸的区域(162、 164)， 并 且其中， 基于所述空间分辨率分布来确定所述最小像素块尺寸的分布图(160)， 使得对于所 述失真的图像帧(140)的具有所述第一空间分辨率的所述第一部分(142)， 将与所述第一。

6、部 分(142)相对应的最小像素块尺寸设置为低于所述第一值(1502)的第三值(1602)， 并且对 于所述失真的图像帧(140)的具有所述第二空间分辨率的所述第二部分(144)， 将与所述第 二部分(144)相对应的最小像素块尺寸设置为低于所述第二值(1504)和所述第三值(1602) 的第四值(1604)； 并且 其中， 在对所述失真的图像帧(140)进行编码(306)的步骤中， 所述最小像素块尺寸的 分布图(160)用于定义所述基于块的视频编码算法的编码块的最小块尺寸。 4.根据权利要求3所述的方法(300)， 其中， 所述基于块的视频编码算法是h.265， 并且 其中， 所述最小像素块。

7、尺寸的分布图(160)用于定义所述基于块的视频编码算法的预测单 元PU和/或变换单元TU的最小尺寸。 5.根据权利要求1所述的方法(300)， 其中， 所述失真的图像帧(140)是通过由一个图像 传感器(212)通过广角透镜进行捕获(312)而产生的。 6.根据权利要求5所述的方法(300)， 其中， 所述广角透镜是鱼眼透镜。 7.根据权利要求1所述的方法(300)， 其中， 所述失真的图像帧(140)是通过由一个图像 传感器(212)通过光学圆顶进行捕获(314)而产生的。 8.根据权利要求1所述的方法(300)， 其中， 每个失真的图像帧(140)是通过基于投影算 法对由一个或多个图像传感。

8、器(212)捕获的多个原图像帧进行拼接(316)而产生的。 9.根据权利要求5所述的方法(300)， 其中， 所述最大像素尺寸的分布图(150)的与所述 失真的图像帧(140)的所述第一部分(142)相对应的第一区域(152)和所述最大像素尺寸的 权利要求书 1/2 页 2 CN 111953982 A 2 分布图(150)的与所述失真的图像帧(140)的所述第二部分(144)相对应的第二区域(154) 形成从所述最大像素尺寸的分布图(150)的参考位置(1500)径向地扩展的椭圆形图案； 并 且 其中， 所述参考位置(1500)和所述第一区域(152)之间的径向距离小于所述参考位置 (150。

9、0)和所述第二区域(154)之间的径向距离。 10.一种计算机程序产品， 包括非暂时性计算机可读介质， 所述非暂时性计算机可读介 质上存储有计算机代码指令， 所述计算机代码指令被适配为当被具有处理能力的设备执行 时实施根据权利要求1所述的方法(300)。 11.一种使用基于块的视频编码算法对经由至少一个图像传感器(212)产生的描绘场 景的失真的图像帧(140)进行编码的编码器(200)， 所述失真的图像帧中的每个像素与所述 场景的视场FOV相对应， 所述编码器(200)包括： 最大像素块尺寸分布图部件(204)， 被适配为确定与所述失真的图像帧(140)相对应的 最大像素块尺寸的分布图(15。

10、0)， 其中， 基于空间分辨率分布来确定所述最大像素块尺寸的 分布图(150)， 所述空间分辨率分布与所述失真的图像帧(140)中的每像素的对应FOV的范 围分布相对应， 使得对于所述失真的图像帧(140)的具有第一空间分辨率的第一部分 (142)， 将与所述第一部分(142)相对应的最大像素块尺寸设置为第一值(1502)， 并且对于 所述失真的图像帧(140)的具有低于所述第一空间分辨率的第二空间分辨率的第二部分 (144)， 将与所述第二部分(144)相对应的最大像素块尺寸设置为低于所述第一值(1502)的 第二值(1504)； 以及 视频编码部件(206)， 被适配为使用所述基于块的视频。

11、编码算法对所述失真的图像帧 (140)进行编码， 其中， 所述最大像素块尺寸的分布图(150)被所述基于块的视频编码算法 使用来定义所述基于块的视频编码算法的编码块的最大块尺寸。 12.一种相机(210、 410)， 包括根据权利要求11所述的编码器(200)。 13.根据权利要求12所述的相机(210、 410)， 进一步包括广角透镜， 由所述相机(210、 410)的一个图像传感器(212)通过所述广角透镜捕获图像。 14.根据权利要求12所述的相机(210、 410)， 进一步包括多个图像传感器(212)， 并且其 中， 所述编码器(200)进一步包括拼接部件(412)， 所述拼接部件(。

12、412)被适配为从由所述多 个图像传感器(212)捕获的多个原图像拼接图像帧。 权利要求书 2/2 页 3 CN 111953982 A 3 编码失真的图像帧的方法、 设备和计算机程序产品 技术领域 0001 本发明涉及使用基于块的视频编码算法来对经由至少一个图像传感器产生的失 真的图像帧进行编码。 背景技术 0002 相机应用的重要领域是位置的监视。 典型地， 根据所监视的位置， 使用不同的相机 配置。 例如， 能够使用能够(例如， 通过全景拼接或使用广角透镜)产生广角视频的一个或多 个相机来监视停车场以便调取停车场的空中概览。 在广角视频中， 对象的尺寸跨帧而变化， 这是跨视频帧的不均匀的。

13、空间分辨率的效应。 移动通过所监视的场景的车辆的尺寸将因此 改变， 这是因为尺寸取决于所监视的场景中的当前位置。 典型地使用大范围的不同的图像 处理算法来处理所监视的位置的视频。 例如， 对视频进行编码， 以便减少与编码的视频相关 联的带宽需求和文件大小。 0003 然而， 由于视频帧中的不均匀的空间分辨率， 视频编码的挑战在于提供被编码的 视频中的活动对象的足够的视觉质量。 发明内容 0004 鉴于以上所述， 本发明构思的目的是各别地或组合地缓解、 缓和或消除现有技术 中的一个或多个上面所述的缺陷和缺点。 0005 根据第一方面， 提供了一种使用基于块的视频编码算法来对经由至少一个图像传 感。

14、器产生的失真的图像帧进行编码的方法。 该方法包括： 确定失真的图像帧的空间分辨率 分布； 确定与失真的图像帧相对应的最大像素块尺寸的分布图， 其中， 基于空间分辨率分布 来确定最大像素块尺寸的分布图， 使得对于失真的图像帧的具有第一空间分辨率的第一部 分， 将与第一部分相对应的最大像素块尺寸设置为第一值， 并且对于失真的图像帧的具有 低于第一空间分辨率的第二空间分辨率的第二部分， 将与第二部分相对应的最大像素块尺 寸设置为低于第一值的第二值； 并且使用基于块的视频编码算法对失真的图像帧进行编 码， 其中， 最大像素块尺寸的分布图用于定义基于块的视频编码算法的编码块的最大块尺 寸。 0006 在。

15、本申请的上下文内，“失真的图像帧” 应当被理解为具有失真视角的图像帧。 在 失真的图像帧中， 场景中的直线典型地有某种程度的弯曲。 相比之下， 完全直线图像帧具有 与描绘的场景中的直线相对应的完全直线。 在本申请的上下文内， 讨论两种类型的失真源： 物理失真源和数字失真源。 物理失真源的非限制性示例是广角透镜， 包括鱼眼透镜(例如， 平场聚焦透镜)、 光学圆顶和不完全直线透镜。 透镜中的不完美可能由制造不精确引起。 数 字失真源的非限制性示例是图像拼接算法， 例如用于从多个图像产生全景图像。 失真图案 能够是不规则的或规则的(诸如径向畸变)。 所捕获的图像的失真图案可能由失真源中的一 个或组合。

16、引起。 0007 在本申请的上下文内，“空间分辨率” 应当被理解为图像帧的空间分辨率。 在例如 说明书 1/10 页 4 CN 111953982 A 4 通过广角透镜获得的或从多个图像帧拼接的失真的图像帧中， 图像的不同的部分具有不同 的空间分辨率。 换句话说， 图像帧的同样尺寸的部分覆盖不同大小角度的相机的视场 (FOV)。 可以对于图像帧在像素级指定空间分辨率， 或能够在像素子组级(例如， 在宏模块 级)确定空间分辨率。 空间分辨率可以被表示为每FOV角度的像素的数量， 或每像素的FOV角 度量。 本领域技术人员熟悉如何根据应用在这些表示之间进行互换。 例如， 在根据本发明构 思的方法的。

17、实施方式中， 可以优先使用这些表示之一。 可以通过例如指示像素或像素子组 (例如， 用于宏块)的空间分辨率分布的表格来表示空间分辨率分布。 0008 在本申请的上下文内，“基于块的视频编码算法” 应当被理解为其中将图像帧中的 邻居像素集合处理为编码块的用于对视频进行编码的算法。 对于视频流的独立的帧的像素 的对应的部分， 编码块的尺寸可以在视频流中的独立的帧之间改变。 帧中的不同的像素块 的尺寸可以改变。 通常， 大尺寸的编码块导致与编码相关联的较低的计算成本， 这是为什么 基于块的视频编码算法典型地被编码为尽可能使用大尺寸的编码块。 另一方面， 大尺寸的 编码块也导致编码的视频的降低的视觉质。

18、量。 因此对基于块的视频编码算法进行编程以对 编码块的尺寸与编码的视频的视觉质量进行平衡。 0009 在本申请的上下文内，“编码块” 应当被理解为基于块的视频编码算法的基本处理 单元。 例如， 如果基于块的视频编码算法是h.265或AV1， 则编码块可以是编码单元(CU)。 0010 借助于本发明构思， 用于基于块的视频编码算法的编码块的最大块尺寸基于失真 的图像帧的空间分布， 并且允许编码的视频的提高的视觉质量。 因为第一部分与第二部分 的空间分辨率是不同的， 使用于基于块的编码算法的编码块的最大块尺寸基于空间分辨 率， 所以允许编码的视频的更同质的、 并且因此提高的视觉质量。 更具体地， 。

19、通过对于较低 的空间分辨率的失真的图像中的区域设置较低的最大像素块尺寸， 可以在编码的图像帧中 更好地保留失真的图像帧的这些区域中的细节。 0011 基于块的视频编码算法可以是h.265或AV1， 并且其中， 最大像素块尺寸的分布图 可以用于定义基于块的视频编码算法的编码单元的最大尺寸。 0012 与基于块的视频编码算法是h.265相关联的优点是， 可以通过设置基于块的视频 编码算法的编码树单元、 CTU的尺寸来设置基于块的视频编码算法的编码单元的最大尺寸。 0013 与基于块的视频编码算法是AV1相关联的优点是， 可以通过设置基于块的视频编 码算法的超块的尺寸来设置基于块的视频编码算法的编码。

20、单元的最大尺寸。 0014 本实施例能够因此有利地被标准编码器/解码器采用。 0015 该方法可以进一步包括： 确定与失真的图像帧相对应的最小像素块尺寸的分布 图， 其中， 最小像素块尺寸的分布图包括具有不同的最小像素块尺寸的区域， 并且其中， 基 于空间分辨率分布来确定最小像素块尺寸的分布图， 使得对于失真的图像帧的具有第一空 间分辨率的第一部分， 将与该第一部分相对应的最小像素块尺寸设置为低于第一值的第三 值， 并且对于失真的图像帧的具有第二空间分辨率的第二部分， 将与该第二部分相对应的 最小像素块尺寸设置为低于第二值和第三值的第四值； 并且其中， 在对失真的图像帧进行 编码的步骤中， 最。

21、小像素块尺寸的分布图可以用于定义基于块的视频编码算法的编码块的 最小块尺寸。 0016 与根据目前实施例的使用最小像素块尺寸的分布图以用于定义基于块的视频编 码算法的编码块的最小块尺寸相关联的优点是， 可以减少与视频编码相关联的计算成本、 说明书 2/10 页 5 CN 111953982 A 5 文件大小和/或带宽并且仍然允许编码的视频的更同质的、 并且因此提高的视觉质量。 更具 体地， 通过不允许(与第二部分相比较具有较高的空间分辨率的)第一部分的最小块尺寸低 于第二部分的最小块尺寸， 与第二部分相比较， 编码器能够对于第一部分有利地选择使用 较高的压缩比。 0017 基于块的视频编码算法。

22、可以是h.265， 并且最小像素块尺寸的分布图可以用于定 义基于块的视频编码算法的预测单元PU和/或变换单元TU的最小尺寸。 0018 有利地， 本实施例允许使用标准h.265编码器/解码器的最小块尺寸的低复杂度实 施方式。 0019 可以通过由一个图像传感器通过广角透镜进行捕获来产生失真的图像帧， 并且可 以基于广角透镜的透镜多项式来确定空间分辨率分布。 0020 在本申请的上下文内，“透镜多项式” 应当被理解为描述表示透镜或光学圆顶的透 镜折射的专用于透镜的多项式。 可以通过对透镜或对光学圆顶执行测量例如使用离轴 模量传输函数(MTF)测量方法来获得透镜多项式。 对于在它们的分类中的不同类。

23、型的透镜 或光学圆顶， 透镜或光学圆顶制造商能够典型地提供表示失真的透镜多项式， 或表格。 0021 与由一个图像传感器通过广角透镜捕获失真的图像帧相关联的优点是， 可以允许 使用一个图像传感器的场景的宽全景并且仍然允许同质的， 以及因此提高的视觉质量。 因 此， 可以在不需要将由单独相机捕获的图像帧拼接在一起的情况下实现具有提高的视觉质 量的宽全景。 0022 与基于广角透镜的透镜多项式来确定空间分辨率分布相关联的优点是， 可以允许 空间分辨率分布的容易且较不复杂的确定。 0023 广角透镜可以是鱼眼透镜。 0024 与广角透镜是鱼眼透镜相关联的优点是， 可以允许使用一个图像传感器的场景的 。

24、宽全景或半球图像帧并且仍然允许同质的， 以及因此提高的视觉质量。 因此， 可以在不需要 将由单独相机捕获的图像帧拼接在一起的情况下实现具有提高的视觉质量的宽全景。 0025 可以通过由一个图像传感器通过光学透镜进行捕获来产生失真的图像帧， 并且可 以基于光学圆顶的透镜多项式来确定空间分辨率分布。 0026 与由一个图像传感器通过光学圆顶进行捕获来产生失真的图像帧相关联的优点 是， 可以允许使用一个图像传感器的场景的宽全景或半球图像帧， 并且仍然允许同质的， 以 及因此提高的视觉质量。 因此， 可以在不需要将由单独相机捕获的图像帧拼接在一起的情 况下实现具有提高的视觉质量的宽全景。 0027 与。

25、基于光学圆顶的透镜多项式来确定空间分辨率分布相关联的优点是， 可以允许 空间分辨率分布的容易且较不复杂的确定。 0028 最大像素尺寸的分布图的第一区域和第二区域可以形成从运动检测灵敏度分布 图的参考位置径向地扩展的椭圆形图案； 并且其中， 参考位置和第一区域之间的径向距离 可以小于参考位置和第二区域之间的径向距离。 0029 与最大像素尺寸的分布图的第一区域和第二区域形成从运动检测灵敏度分布图 的参考位置径向地扩展的椭圆形图案相关联的优点是可以允许最大像素尺寸的分布图的 容易的且较不复杂的确定。 0030 可以通过基于投影算法进行由一个或多个图像传感器所捕获的多个原图像帧的 说明书 3/10。

26、 页 6 CN 111953982 A 6 拼接来产生每个失真的图像帧。 0031 在本申请的上下文内，“投影算法” 应当被理解为描述如何将多个原图像帧拼接/ 组合以形成拼接的图像帧的算法。 可以通过不同的目的例如， 用于提供原图像帧之间 的平稳过渡或用于最小化结果得到的图像帧中的失真来设计投影算法。 0032 通过基于投影算法进行由一个或多个图像传感器所捕获的多个原图像帧的拼接 来产生每个失真的图像帧的优点是， 可以允许具有较大数量的像素的拼接的图像帧。 0033 通过基于投影算法进行由一个或多个图像传感器所捕获的多个原图像帧的拼接 来产生每个失真的图像帧的另外的优点是， 可以允许没有复杂光。

27、学部件(例如， 鱼眼透镜或 光学圆顶)的全景图像帧。 0034 可以基于投影算法来确定空间分辨率分布。 0035 相关联的优点是， 可以定义编码块的最小和/或最大块尺寸， 使得提高拼接的图像 帧或全景图像帧的视觉质量。 0036 另外的相关联的优点是， 例如通过使用投影算法的反向， 其是确定空间分辨率分 布的容易的且较不复杂的方式。 0037 根据第二方面， 提供了一种计算机程序产品。 计算机程序产品包括计算机可读介 质， 该计算机可读介质上存储有计算机代码指令， 该计算机代码指令被适配为当被具有处 理能力的设备执行时执行本方法。 0038 计算机可读介质可以是非暂时性计算机可读介质。 003。

28、9 当可适用时， 方法的以上提及的特征也适用于该第二方面。 为了避免过度的重复， 对以上进行参考。 0040 根据第三方面， 提供了一种使用基于块的视频编码算编码器来对经由至少一个图 像传感器产生的失真的图像帧进行编码的编码器。 编码器包括： 空间分辨率分布部件， 其被 适配为确定失真的图像帧的空间分辨率分布； 最大像素块尺寸分布图部件， 其被适配为确 定与失真的图像帧相对应的最大像素块尺寸的分布图， 其中， 基于空间分辨率分布来确定 最大像素块尺寸的分布图， 使得对于失真的图像帧的具有第一空间分辨率的第一部分， 将 与该第一部分相对应的最大像素块尺寸设置为第一值， 并且对于失真的图像帧的具有。

29、低于 第一空间分辨率的第二空间分辨率的第二部分， 将与该第二部分相对应的最大像素块尺寸 设置为低于第一值的第二值； 以及视频编码部件， 其被适配为使用基于块的视频编码算法 对失真的图像帧进行编码， 其中， 由基于块的视频编码算法来使用最大像素块尺寸的分布 图以用于定义基于块的视频编码算法的编码块的最大块尺寸。 0041 当可适用时， 方法和计算机程序产品的以上提及的特征也适用于该第三方面。 为 了避免过度的重复， 对以上进行参考。 0042 编码器可进一步包括： 被适配为确定与失真的图像帧相对应的最小像素块尺寸的 分布图的最小像素块尺寸分布图部件， 最小像素块尺寸的分布图包括具有不同的最小像素。

30、 块尺寸的区域， 并且其中， 基于空间分辨率分布来确定最小像素块尺寸的分布图， 使得对于 失真的图像帧的具有第一空间分辨率的第一部分， 将与该第一部分相对应的最小像素块尺 寸设置为低于第一值的第三值， 并且对于失真的图像帧的具有第二空间分辨率的第二部 分， 将与该第二部分相对应的最小像素块尺寸设置为低于第二值和第三值的第四值； 并且 其中， 可以由基于块的视频编码算法来使用最小像素块尺寸的分布图用于定义基于块的视 说明书 4/10 页 7 CN 111953982 A 7 频编码算法的编码块的最小块尺寸。 0043 根据第四方面， 提供了一种相机。 相机包括根据第三方面的编码器。 0044 当。

31、可适用时， 方法、 计算机程序产品和编码器的以上提及的特征也适用于该第四 方面。 为了避免过度的重复， 对以上进行参考。 0045 相机可以进一步包括广角透镜， 由相机的一个图像传感器通过该广角透镜来捕获 图像。 0046 相机可以进一步包括多个图像传感器， 并且其中， 编码器进一步包括被适配为从 由多个图像传感器捕获的多个原图像拼接图像帧的拼接部件。 0047 根据在下面给出的具体实施方式， 本公开的应用的进一步范围将变得明显。 然而， 应当理解， 具体实施方式和特定示例在指示本发明构思的优选变体时仅仅作为说明被给 出， 这是因为根据该具体实施方式， 本发明构思范围内的各种改变和修改将对那些。

32、本领域 技术人员变得明显。 0048 应当理解， 该发明构思不局限于所描述的方法的特定步骤或所描述的系统的构成 部分， 照此方法和系统可以改变。 也将理解的是， 在本文使用的术语仅仅用于描述特定实施 例的目的并且不意图进行限制。 必须指出， 如在说明书和所附权利要求中使用的， 冠词 “一” 、“该” 和 “所述” 意图意指存在一个或多个要素， 除非该上下文清楚地另外指示其他。 因 此， 例如对 “单元” 或者 “该单元” 的引用可以包括若干设备， 等等。 此外， 词语 “包括” 、“包括 有” 、“包含” 以及类似的措辞不排除其他要素或者步骤。 附图说明 0049 现在将参考示出本发明构思的变。

33、体的附图来更详细地描述本发明构思的以上及 其他方面。 图不应当被考虑为将本发明限制为特定变体； 而是， 它们被用于解释和理解本发 明构思。 0050 如在图中所图示出的， 层和区域的尺寸被夸大以用于说明目的， 并且因此， 被提供 以图示出本发明的实施例的通用结构。 贯穿本文， 相同附图标记指的是相同要素。 0051 图1A图示出由监视相机从上方监视的场景的侧视图。 0052 图1B图示出在图1A中监视的场景的顶视图。 0053 图1C图示出图1B中的顶视图的非直线图像帧。 0054 图1D图示出最大像素块尺寸的分布图。 0055 图1E图示出最小像素块尺寸的分布图。 0056 图2A图示出用于。

34、使用基于块的编码算法对经由至少一个图像传感器产生的失真 的图像帧进行编码的编码器。 0057 图2B图示出包括图2A的编码器的相机。 0058 图2C图示出包括多个图像传感器的相机。 0059 图3是用于使用基于块的视频编码算法对经由至少一个图像传感器产生的失真的 图像帧进行编码的方法的方框图。 具体实施方式 0060 现在将参考附图在下文更全面地描述本发明构思， 在附图中示出了本发明构思的 说明书 5/10 页 8 CN 111953982 A 8 当前优选的变体。 然而， 可以以许多不同的形式实施该发明构思并且该发明构思不应当被 理解为受限于在本文阐述的变体； 更确切些， 为了彻底性和完整。

35、性而提供这些变体， 并且这 些变体向本领域技术人员充分传达本发明构思的范围。 0061 图1A图示出由相机110从上方监视的场景的侧视图。 场景包括第一框122， 以及具 有类似尺寸的第二框124。 相机110包括被安排为产生场景的失真的图像帧的至少一个图像 传感器。 图1A中的相机110可以是关于图2B所描述的相机210或关于图2C所描述的相机410。 将关于图1C来描述图1A中图示出的场景的失真的图像帧140的示例。 相机110具有宽视场 112。 宽视场112可以高达180 。 宽视场112的相关联的立体角可以高达2 sr。 0062 图1B图示出在图1A中监视的场景的顶视图的直线图像帧。

36、130。 如在图1B中看出的， 当在直线图像帧130中从上方看时， 框122、 124中的每一个具有类似的尺寸。 因此， 图1B中的 直线图像帧130中的空间分辨率在直线图像帧130上基本上是恒定的。 0063 图1C图示出图1B中的顶视图的失真的图像帧140。 可以通过由一个图像传感器通 过广角透镜进行捕获而产生失真的图像帧140。 可以通过由一个图像传感器通过光学圆顶 进行捕获而产生失真的图像帧140。 可以通过基于投影算法拼接多个原图像来产生失真的 图像帧140， 如将关于图2C的描述的。 如在图1C中看出的， 框122、 124的明显尺寸根据每个框 122、 124在失真的图像帧140。

37、中位置而变化。 因此， 失真的图像帧140中的空间分辨率在失真 的图像帧140上变化。 可以失真的图像帧140和直线图像帧130来确定空间分布。 可以基于相 机110的广角透镜来确定空间分布。 可以通过由一个图像传感器通过广角透镜进行捕获而 产生失真的图像帧140， 并且其中， 基于广角透镜多项式的来确定空间分辨率分布。 如果通 过基于投影算法拼接多个原图像来产生失真的图像帧140， 则空间分布可以基于投影算法。 例如， 空间分布可以基于投影算法的反向。 0064 在图1C中， 第一框122位于失真的图像帧140的第一部分142内。 失真的图像帧140 的第一部分142与第一空间分辨率相关联。。

38、 第二框124位于失真的图像帧140的第二部分144 内。 失真的图像帧140的第二部分142与第二空间分辨率相关联。 由于当产生失真的图像帧 140时所使用的成像光学和/或投影算法， 失真的图像帧140还可以包括没有与所监视的场 景有关的信息的部分148。 第一空间分辨率和第二空间分辨率的关系为， 使得与在失真的图 像140的第二部分144中相比， 相等尺寸的对象(例如， 框122、 124)在失真的图像140的第一 部分142中表现得较大。 换句话说， 按照每像素的视场角度来表示空间分辨率， 第一部分142 中的空间分辨率高于第二部分144中的空间分辨率。 0065 在使用基于块的视频编码。

39、算法的编码块的相同的块尺寸对图2C中所图示的失真 的图像帧140进行编码的情况下， 则与第一部分142中的对象相比， 将使用较少的编码块对 第二部分144中的对象(例如， 第二框124)进行编码， 这是因为第二部分144中的对象看起来 小于第一部分142中的对象。 为此， 减小用于与第二部分144相对应的编码块的最大像素块 尺寸可以增加用于对第二部分144中的对象(例如， 第二框124)进行编码的编码块的数量。 如以上讨论的， 将因此提高编码的失真视频帧中的第二部分144中的对象的视觉质量。 0066 在现有技术中， 通常指示基于块的视频编码算法基于失真的图像帧的内容来选择 编码块的像素块尺寸。

40、。 基于块的视频编码算法典型地确定， 与具有高空间分辨率的部分中 的(例如， 失真的图像帧140的第一部分142中的)内容相比， 具有低空间分辨率的部分中的 (例如， 失真的图像帧140的第二部分144中的)内容较不重要。 因此， 与对于具有较高的空间 说明书 6/10 页 9 CN 111953982 A 9 分辨率的部分(例如， 第一部分142)相比， 现有技术编码器典型地对于具有较低的空间分辨 率的部分(例如， 第二部分144)选择编码块的较大的像素块尺寸。 因此， 基于块的视频编码 算法对失真的图像帧进行编码， 因此降低具有低空间分辨率的失真的图像的部分中的视觉 质量。 0067 为此。

41、， 为了考虑失真的图像帧140上的变化的空间分布， 基于空间分辨率分布来确 定最大像素块尺寸的分布图150， 使得对于失真的图像帧140的具有第一空间分辨率的第一 部分142， 将最大像素块尺寸设置为第一值1502， 并且对于失真的图像帧140的具有低于第 一空间分辨率的第二空间分辨率的第二部分144， 将与第二部分144相对应的最大像素块尺 寸设置为低于第一值1502的第二值1504。 在图1D中图示出最大像素块尺寸的分布图150的 示例。 使用基于块的视频编码算法对失真的图像帧140进行编码， 其中， 最大像素块尺寸的 分布图150用于定义基于块的视频编码算法的编码块的最大像素块尺寸。 最。

42、大像素块尺寸 的分布图150可以用于定义基于块的视频编码算法的编码单元的最大尺寸。 例如， 如果基于 块的视频编码算法是h.265， 则编码树单元、 CTU、 尺寸可以设置编码单元的最大尺寸。 如果 基于块的视频编码算法是AV1， 则超块的尺寸可以设置编码单元的最大尺寸。 0068 基于块的视频编码算法可以使用编码块的与最大像素块尺寸相比较小的像素块 尺寸。 基于块的视频编码算法典型地使用编码块的与最大像素块尺寸相比较小的像素块尺 寸如果基于块的视频编码算法确定其有益于编码的视频的视觉质量的话。 因此， 可以 使用大量编码块对进行失真的图像帧140的第一部分142中的对象编码， 因此导致具有高。

43、比 特率的编码的视频。 为了减少比特率， 可以设置用于与对失真的图像帧140的第一部分142 进行编码相关联的编码块的最小像素块尺寸。 因而， 将因此降低第一部分142中的对象的视 觉质量以便减少编码的视频的比特率。 如果基于块的视频编码算法是h.265， 则可以通过定 义基于块的视频编码算法的预测单元PU和/或变换单元TU的最小尺寸来设置编码块的最小 像素块尺寸。 0069 为此目的， 可以确定与失真的图像帧140相对应的最小像素块尺寸的分布图160。 在图1E中图示出最大像素块尺寸的分布图160的示例。 最小像素块尺寸的分布图160可以包 括具有不同的最小像素块尺寸的区域162、 164，。

44、 并且其中， 基于空间分辨率分布来确定最小 像素块尺寸的分布图160， 使得对于失真的图像帧140的具有第一空间分辨率的第一部分 142， 将与该第一部分142相对应的最小像素块尺寸设置为低于第一值1502的第三值1602， 并且对于失真的图像帧140的具有第二空间分辨率的第二部分144， 将与该第二部分144相 对应的最小像素块尺寸设置为低于第二值1504和第三值1602的第四值1604。 可以使用用于 定义基于块的视频编码算法的编码块的最小块尺寸的最小像素块尺寸的分布图160来进一 步对失真的图像帧140进行编码。 使用用于定义基于块的视频编码算法的编码块的最小块 尺寸的最小像素块尺寸的分。

45、布图160可以减少与视频编码相关联的计算成本、 文件大小和/ 或带宽， 并且仍然允许同质的， 以及因此提高的视觉质量。 更具体地， 通过不允许(与第二部 分相比较具有较高的空间分辨率的)第一部分142的最小块尺寸低于第二部分144的最小块 尺寸， 与第二部分144相比较， 基于块的视频编码算法可以对于第一部分142有利地选择使 用较高的压缩比。 0070 如在图1C中示范的， 失真的图像帧140中的第一部分142和第二部分144可以形成 从失真的图像帧140的参考位置径向地扩展的椭圆形图案。 参考位置可以是失真的图像帧 说明书 7/10 页 10 CN 111953982 A 10 140的中。

46、心位置， 如在图1C中示范的， 并且从参考位置到第一部分142的径向距离小于从参 考位置到第二部分144的径向距离。 因此， 最大像素尺寸的分布图150的与失真的图像帧140 的第一部分142相对应的第一区域152以及最大像素尺寸的分布图150的与失真的图像帧 140的第二部分144相对应的第二区域154可以形成从最大像素尺寸的分布图150的参考位 置1500径向地扩展的椭圆形图案。 参考位置1500和第一区域152之间的径向距离可以小于 参考位置1500和第二区域154之间的径向距离。 0071 此外， 最小像素尺寸的分布图160的与失真的图像帧140的第一部分142相对应的 第一区域162。

47、以及最小像素尺寸的分布图150的与失真的图像帧140的第二部分144相对应 的第二区域164可以形成从参考位置1600径向地扩展的椭圆形图案。 参考位置1600和第一 区域162之间的径向距离可以小于参考位置1600和第二区域164之间的径向距离。 最小像素 块尺寸的分布图160中的参考位置1600可以与最大像素块尺寸的分布图150中的参考位置 1500相对应。 0072 应当理解， 失真的图像帧140的空间分辨率分布可以在失真的图像帧140上连续地 改变， 并且可以相应地改变最大像素块尺寸的对应的分布图150。 因而， 关于图1A至1E的描 述涉及第一部分142和第二部分144， 但是也可以。

48、同等地涉及较大数量的部分。 熟练人员认 识到如何将以上描述适配为考虑失真的图像帧140中的附加的部分和/或失真的图像帧140 上的连续变化的空间分辨率分布。 0073 图2A图示出编码器200。 编码器200被配置用于使用基于块的编码算法对经由至少 一个图像传感器产生的失真的图像帧进行编码。 编码器200可以是硬件和/或软件实施的。 0074 编码器200包括被适配为确定失真的图像帧的空间分辨率分布的空间分辨率部件 202。 可以基于当捕获失真的图像帧410时所使用的成像光学的透镜多项式来确定空间分辨 率。 成像光学可以是例如鱼眼透镜的广角透镜， 或光学圆顶。 0075 编码器200进一步包括。

49、被适配为确定与失真的图像帧相对应的最大像素块尺寸的 分布图的最大像素块尺寸分布图部件204， 其中， 基于空间分辨率分布来确定最大像素块尺 寸的分布图， 使得对于失真的图像帧的具有第一空间分辨率的第一部分， 将与该第一部分 相对应的最大像素块尺寸设置为第一值， 并且对于失真的图像帧的具有低于第一空间分辨 率的第二空间分辨率的第二部分， 将与该第二部分相对应的最大像素块尺寸设置为低于第 一值的第二值。 0076 编码器200进一步包括被适配为使用基于块的视频编码算法对失真的图像帧进行 编码的视频编码部件206， 其中， 由基于块的视频编码算法使用最大像素块尺寸的分布图用 于定义基于块的视频编码算。

50、法的编码块的最大块尺寸。 最大像素块尺寸的分布图可以用于 定义基于块的视频编码算法的编码单元的最大块尺寸。 如果基于块的编码算法是h.265， 则 编码树单元、 CTU、 尺寸可以定义编码单元的最大块尺寸。 如果基于块的编码算法是AV1， 则 超块的尺寸可以定义编码单元的最大尺寸。 0077 如在图2A中示范的， 编码器200可以进一步包括被适配为确定与失真的图像帧相 对应的最小像素块尺寸的分布图的最小像素块尺寸分布图部件208， 最小像素块尺寸的分 布图包括具有不同的最小像素块尺寸的区域， 并且其中， 基于空间分辨率分布来确定最小 像素块尺寸的分布图， 使得对于失真的图像帧的具有第一空间分辨。