图像的水平畸变矫正方法及水平畸变矫正装置.pdf

《图像的水平畸变矫正方法及水平畸变矫正装置.pdf》由会员分享，可在线阅读，更多相关《图像的水平畸变矫正方法及水平畸变矫正装置.pdf（26页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010849707.5 (22)申请日 2020.08.21 (71)申请人 安谋科技 （中国） 有限公司 地址 200233 上海市闵行区田林路1016号 科技绿洲三期11号楼 (72)发明人 李宝川刘宇轩 (74)专利代理机构 上海华诚知识产权代理有限 公司 31300 代理人 肖华 (51)Int.Cl. G06T 5/00(2006.01) G06T 3/40(2006.01) G06T 7/60(2017.01) (54)发明名称 图像的水平畸变矫正方法及水平畸变。

2、矫正 装置 (57)摘要 本申请涉及图像处理技术领域， 提供了一种 图像的水平畸变矫正方法及水平畸变矫正装置， 该方法包括： 获取第一畸变强度参数及矫正前图 像的行像素点数据； 在行有效期之前， 基于第一 畸变强度参数进行插值计算得到第二畸变强度 参数； 在行有效期内， 基于第二畸变强度参数及 矫正前图像的行像素点数据完成畸变矫正计算 输出矫正后图像的行像素点； 基于矫正后图像的 行像素点， 生成矫正后图像。 该装置包括： 存储 器、 行畸变插值单元、 步长及畸变相对系数计算 单元、 行数据读写控制单元、 畸变矫正计算单元。 通过预处理的方式将复杂的畸变矫正计算进行 拆分， 提高实时性， 且占。

3、用存储资源小； 同时解决 了畸变矫正后边缘物体宽高比失调的问题。 权利要求书2页 说明书16页 附图7页 CN 111951193 A 2020.11.17 CN 111951193 A 1.一种图像的水平畸变矫正方法， 用于电子设备， 其特征在于， 包括： 获取第一畸变强度参数及矫正前图像的行像素点数据； 在行有效期之前， 基于所述第一畸变强度参数进行插值计算得到第二畸变强度参数； 在行有效期内， 基于所述第二畸变强度参数及矫正前图像的行像素点数据完成畸变矫 正计算输出矫正后图像的行像素点； 基于矫正后图像的行像素点， 生成矫正后图像。 2.根据权利要求1所述的方法， 其特征在于， 所述在行。

4、有效期之前， 基于所述第一畸变 强度参数进行插值计算得到第二畸变强度参数包括： 在行有效期之前的行消隐期内， 基于所述第一畸变强度参数进行插值计算得到第二畸 变强度参数； 或者 采用乒乓操作方法， 基于所述第一畸变强度参数进行插值计算得到第二畸变强度参 数。 3.根据权利要求2所述的方法， 其特征在于， 所述矫正前图像的行像素点数据输入的时 钟周期为所述行有效期， 所述行有效期之间的间隔时钟周期为所述行消隐期。 4.根据权利要求3所述的方法， 其特征在于， 所述采用乒乓操作方法包括： 在上一行有效期内， 基于所述第一畸变强度参数进行插值计算得到当前行像素点所在 栅格的第二畸变强度参数， 以及 。

5、在帧消隐期内， 基于所述第一畸变强度参数进行插值计算得到下一帧的第一行像素点 所在栅格的第二畸变强度参数， 其中 所述矫正前图像的帧数据输入的时钟周期为帧有效期， 所述帧有效期之间的间隔时钟 周期为所述帧消隐期。 5.根据权利要求1所述的方法， 其特征在于， 所述在行有效期内基于所述第二畸变强度 参数完成畸变矫正计算包括： 在行有效期内， 基于所述第二畸变强度参数计算扫描步长， 并 且 基于所述扫描步长的整数部分读取所述矫正前图像的行像素点数据； 基于所述扫描步长的小数部分计算畸变相对系数。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述扫描步长的整数部分读取所 述矫正前图像的行像。

6、素点数据包括： 在所述扫描步长的整数部分为0的情况下， 读取当前行的当前像素点数据； 在所述扫描步长的整数部分为1的情况下， 读取当前行的下一个像素点数据。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述扫描步长的小数部分计算畸 变相对系数包括： 基于所述扫描步长的小数部分确定相邻所述行输入像素点之间的亚像素 点位置， 并且 基于所述亚像素点位置计算相应的行输出像素点的缩放参数以确定所述畸变相对系 数。 8.根据权利要求1至7中任一项所述的方法， 其特征在于， 所述矫正前图像的行像素点 数据包括像素值， 以及 所述第一畸变强度参数为图像栅格模型中栅格的标定点畸变强度， 所述第二畸变。

7、强度 参数为所述行输入像素点所在栅格的水平中心点畸变强度， 所述标定点为所述栅格的中心 权利要求书 1/2 页 2 CN 111951193 A 2 点， 并且所述方法包括： 所述标定点畸变强度通过简化标定方案标定得到， 所述水平中心点畸变强度通过插值 法计算得到。 9.根据权利要求8所述的方法， 其特征在于， 所述简化标定方案包括： 忽略垂直方向上 的畸变而保留水平方向上的畸变， 从而简化计算得到标定点处水平方向上的畸变强度值作 为所述标定点畸变强度。 10.一种水平畸变矫正装置， 其特征在于， 所述畸变矫正装置包括： 存储器， 用于存储第一畸变强度参数和矫正前图像的行像素点数据； 行畸变插。

8、值单元， 获取所述第一畸变强度参数， 并基于所述第一畸变强度参数进行插 值计算得到第二畸变强度参数； 步长及畸变相对系数计算单元， 获取所述第二畸变强度参数， 并基于所述第二畸变强 度参数进行计算得到扫描步长和畸变相对系数； 行数据读写控制单元， 获取所述扫描步长， 并基于所述扫描步长控制读取所述矫正前 图像的行像素点数据； 畸变矫正计算单元， 基于所述行数据读写控制单元读取的所述矫正前图像的行像素点 数据、 以及所述扫描步长及畸变相对系数计算单元计算得到的畸变相对系数， 计算并输出 矫正后图像的行像素点数据， 所述行像素点数据用于生成矫正后图像。 11.根据权利要求10所述的装置， 其特征在。

9、于， 所述存储器包括： 畸变强度参数查找表存储器， 用于保存所述第一畸变强度参数； 以及 行图像数据缓冲存储器， 用于保存所述矫正前图像的行像素点数据。 12.根据权利要求11所述的装置， 其特征在于， 所述畸变矫正装置进一步包括行畸变强 度参数查找表存储器， 用于存储所述行畸变插值单元输出的第二畸变强度参数， 并且将所 述第二畸变强度参数提供至所述步长及畸变相对系数计算单元。 13.根据权利要求12所述的装置， 其特征在于， 所述步长及畸变相对系数计算单元基于 计算得到的所述步长的小数部分计算得到所述畸变相对系数； 所述行数据读写控制单元基于所述步长的整数部分控制读取所述矫正前图像的行像 素。

10、点数据。 14.根据权利要求13所述的装置， 其特征在于： 所述畸变矫正装置进一步包括控制寄存 器， 用于从总线获取所述第一畸变强度参数并输出至所述畸变强度参数查找表存储器。 15.根据权利要求11至14任一项所述的装置， 其特征在于， 所述第一畸变强度参数为图 像栅格模型中栅格的标定点畸变强度， 所述第二畸变强度参数为所述行输入像素点所在栅 格的水平中心点畸变强度， 所述标定点为所述栅格的中心点， 以及 所述矫正前图像的行像素点数据、 所述矫正后图像的行像素点数据包括像素值。 权利要求书 2/2 页 3 CN 111951193 A 3 图像的水平畸变矫正方法及水平畸变矫正装置 技术领域 0。

11、001 本发明涉及图像处理技术领域， 提供了一种图像的水平畸变矫正方法及水平畸变 矫正装置。 背景技术 0002 摄像机标定是三维视觉检测领域中的基本问题， 作为检测系统中信息获取单元的 摄像机， 其参数标定的精度将直接影响测到测量结果， 因而是视觉测量中的关键和前提。 对 高精度视觉检测系统而言， 采用针孔摄像机模型描述是不充分的， 通常还需要考虑镜头的 畸变模型。 0003 传统摄像机标定方法是将镜头畸变参量与摄像机模型中的其他参量一起估计， 其 具有代表性的方法包括张氏标定法。 0004 现有的监控摄像头， 是一种半导体成像器件， 目前主流的成像器件包括电荷耦合 元件(Charge-Co。

12、upled Device， CCD)和互补金属氧化物半导体(Complementary Metal Oxide Semiconductor， CMOS)图像传感器。 监控摄像头实际工作过程中， 由于光学系统的设 计、 加工和装调所致， 往往会出现畸变现象， 使得成像时， 比如常见的桶形畸变， 从而不利于 我们对目标进行准确的辨认、 分析和判断。 目前大多数畸变矫正采用的张氏标定法， 对这类 监控摄像头的标定和畸变矫正处理过程过于复杂且占用大量内部存储资源， 进而影响了监 控摄像头的拍摄处理效率， 导致实时性较差， 同时对系统的存储资源或者存储访问带宽带 来挑战。 发明内容 0005 本申请实施。

13、例提供了一种图像的水平畸变矫正方法及水平畸变矫正装置， 基于预 置的标定点上的畸变强度参数， 利用行消隐期或者采用乒乓操作方式对下一行像素点所在 栅格的水平中心点畸变强度值进行插值预处理， 以用于行有效期内的其他插值计算， 通过 这种预处理畸变强度的方式将复杂的畸变矫正计算进行拆分， 大大节约畸变矫正计算的时 间， 提高实时性； 并且基于预处理得到的水平中心点畸变强度计算扫描步长以读入需要用 到的像素点数据， 使得行有效期内畸变矫正计算中仅需要单行像素点数据缓冲存储空间和 预处理的行水平中心点畸变强度的存储空间， 存储资源占用小。 另外， 通过简化标定方案的 思想对行像素点两端畸变的像素点进行。

14、矫正处理得到无畸变的行像素点， 最终完成图像的 畸变矫正， 矫正过程中畸变图像的边缘畸变像素点得以恢复， 解决了现有技术中畸变矫正 后边缘物体宽高比失调的问题。 0006 第一方面， 本申请实施例提供了一种图像的水平畸变矫正方法， 用于电子设备， 包 括： 获取第一畸变强度参数及矫正前图像的行像素点数据； 在行有效期之前， 基于所述第一 畸变强度参数进行插值计算得到第二畸变强度参数； 在行有效期内， 基于所述第二畸变强 度参数及矫正前图像的行像素点数据完成畸变矫正计算输出矫正后图像的行像素点； 基于 矫正后图像的行像素点， 生成矫正后图像。 说明书 1/16 页 4 CN 111951193 。

15、A 4 0007 例如， 畸变矫正装置中设置控制寄存器， 可以从总线获取标定点畸变强度参数存 入畸变矫正装置中， 行有效期开始后， 矫正前图像的行像素点输入畸变矫正装置， 畸变矫正 装置中的行图像数据缓冲区存储器存储该行输入像素点数据。 畸变矫正装置基于标定点畸 变强度参数进行的插值计算， 预处理得到下一行像素点所在栅格的水平中心点畸变强度， 并基于水平中心点畸变强度和该行输入像素点数据进一步进行畸变矫正的其他计算得到 该行输出像素点数据。 最终基于若干行输出像素点数据， 生成矫正后图像。 0008 在上述第一方面的一种可能的实现中， 上述方法还包括： 所述在行有效期之前， 基 于所述第一畸变。

16、强度参数进行插值计算得到第二畸变强度参数包括： 在行有效期之前的行 消隐期内， 基于所述第一畸变强度参数进行插值计算得到第二畸变强度参数； 或者采用乒 乓操作方法， 基于所述第一畸变强度参数进行插值计算得到第二畸变强度参数。 所述矫正 前图像的行像素点数据输入的时钟周期为所述行有效期， 所述行有效期之间的间隔时钟周 期为所述行消隐期。 0009 例如， 畸变矫正装置可以在行有效期之前的行消隐期内进行插值计算， 预处理得 到下一行像素点所在栅格的水平中心点畸变强度， 也可以采用乒乓操作方法， 在当前行有 效期内进行其他畸变矫正计算的同时， 进行插值计算预处理得到下一行像素点所在栅格的 水平中心点。

17、畸变强度。 0010 在上述第一方面的一种可能的实现中， 所述采用乒乓操作方法包括： 在上一行有 效期内， 基于所述第一畸变强度参数进行插值计算得到当前行像素点所在栅格的第二畸变 强度参数， 以及在帧消隐期内， 基于所述第一畸变强度参数进行插值计算得到下一帧的第 一行像素点所在栅格的第二畸变强度参数， 其中所述矫正前图像的帧数据输入的时钟周期 为帧有效期， 所述帧有效期之间的间隔时钟周期为所述帧消隐期。 0011 例如， 畸变矫正装置采用乒乓操作方法进行插值计算， 预处理得到下一行像素点 所在栅格的水平中心点畸变强度， 第一行像素点所在栅格的水平中心点畸变强度可以在帧 有效期开始之前的帧消隐期。

18、内完成。 0012 在上述第一方面的一种可能的实现中， 上述方法还包括： 所述在行有效期内基于 所述第二畸变强度参数完成畸变矫正计算包括： 在行有效期内， 基于所述第二畸变强度参 数计算扫描步长， 并且基于所述扫描步长的整数部分读取所述矫正前图像的行像素点数 据； 基于所述扫描步长的小数部分计算畸变相对系数。 0013 例如， 畸变矫正装置中设置步长及畸变相对系数计算单元， 以用于通过设计好的 计算电路计算扫描步长， 计算扫描步长时， 需要先基于该行像素点所在栅格的水平中心点 畸变强度来计算当前扫描点处的畸变强度， 再进一步计算扫描步长。 畸变矫正装置中还设 置有行数据读写控制单元， 该单元基。

19、于上述计算得到的扫描步长的整数部分控制从行图像 数据缓冲存储器中读取当前行的输入像素点数据， 以用于其他计算。 步长及畸变相对系数 计算单元可以进一步基于上述计算得到的扫描步长的小数部分计算出畸变相对系数。 0014 在上述第一方面的一种可能的实现中， 上述方法还包括： 所述基于所述扫描步长 的整数部分读取所述矫正前图像的行像素点数据包括： 在所述扫描步长的整数部分为0的 情况下， 读取当前行的当前像素点数据； 在所述扫描步长的整数部分为1的情况下， 读取当 前行的下一个像素点数据。 0015 例如， 畸变矫正装置中的行数据读写控制单元基于上述计算得到的扫描步长的整 说明书 2/16 页 5 。

20、CN 111951193 A 5 数部分控制从行图像数据缓冲存储器中读取当前行的输入像素点数据， 当计算得到的扫描 步长小于1时， 即该扫描步长的整数部分为0时， 则行数据读写控制单元控制读取当前行的 当前像素点数据。 当计算得到的扫描步长等于1时， 即该扫描步长的整数部分为1时， 则行数 据读写控制单元控制读取当前行的下一个像素点数据。 0016 在上述第一方面的一种可能的实现中， 上述方法还包括： 所述基于所述扫描步长 的小数部分计算畸变相对系数包括： 基于所述扫描步长的小数部分确定相邻所述行输入像 素点之间的亚像素点位置， 并且基于所述亚像素点位置计算相应的行输出像素点的缩放参 数以确定。

21、所述畸变相对系数。 0017 例如， 在本申请的技术方案实现中， 把相邻的两个输入像素点之间归一化成了若 干个亚像素点， 例如， 8192个亚像素点。 根据扫描步长的小数部分可以确定相邻的两个行输 入像素点之间的亚像素点位置， 进一步基于确定的亚像素点位置可以计算出相应的行输出 像素点的缩放参数， 通过该缩放参数确定畸变相对系数。 0018 在上述第一方面的一种可能的实现中， 上述方法还包括： 所述矫正前图像的行像 素点数据包括像素值， 以及所述第一畸变强度参数为图像栅格模型中栅格的标定点畸变强 度， 所述第二畸变强度参数为所述行输入像素点所在栅格的水平中心点畸变强度， 所述标 定点为所述栅格。

22、的中心点， 并且所述方法包括： 所述标定点畸变强度通过简化标定方案标 定得到， 所述水平中心点畸变强度通过插值法计算得到。 0019 所述简化标定方案包括： 忽略垂直方向上的畸变而保留水平方向上的畸变， 从而 简化计算得到标定点处水平方向上的畸变强度值作为所述标定点畸变强度。 0020 例如， 畸变矫正装置获取的标定点畸变强度是基于简化标定方案标定得到的水平 方向上的畸变强度， 这种标定方式简单快速， 标定计算量小， 亦节省标定过程的内存占用。 0021 第二方面， 本申请实施例提供了一种水平畸变矫正装置， 所述畸变矫正装置包括： 存储器， 用于存储第一畸变强度参数和矫正前图像的行像素点数据；。

23、 行畸变插值单元， 获取 所述第一畸变强度参数， 并基于所述第一畸变强度参数进行插值计算得到第二畸变强度参 数； 步长及畸变相对系数计算单元， 获取所述第二畸变强度参数， 并基于所述第二畸变强度 参数进行计算得到扫描步长和畸变相对系数； 行数据读写控制单元， 获取所述扫描步长， 并 基于所述扫描步长控制读取所述矫正前图像的行像素点数据； 畸变矫正计算单元， 基于所 述行数据读写控制单元读取的所述矫正前图像的行像素点数据、 以及所述扫描步长及畸变 相对系数计算单元计算得到的畸变相对系数， 计算并输出矫正后图像的行像素点数据， 所 述行像素点数据用于生成矫正后图像。 0022 例如， 畸变矫正装置。

24、通过存储器获取由摄像设备系统配置决定的标定点畸变强 度， 存入畸变强度参数查找表存储器中， 当行有效期开始时， 畸变矫正装置的行图像数据缓 冲区将扫描输入的行像素点的数据存储下来， 包括输入行像素点的位置信息及像素值等。 其中， 在行有效期之前的行消隐期内， 或者在上一个行有效期内， 行畸变插值单元可以基于 畸变强度参数查找表存储器中的标定点畸变强度进行插值预处理， 计算下一行像素点所在 栅格水平中心点畸变强度， 用于行有效期内的其他计算。 行有效期内的计算， 主要包括步长 及畸变相对系数计算单元进行的扫描步长和畸变相对系数的计算和畸变矫正计算单元进 行的对输出像素点的像素值的计算。 基于畸变。

25、矫正后输出的行像素点， 生成矫正后图像， 完 成畸变矫正。 由于标定点畸变强度的标定采用的是水平方向上的简化标定方案， 因此， 上述 说明书 3/16 页 6 CN 111951193 A 6 畸变矫正装置完成的畸变矫正过程主要是在水平方向上进行的水平畸变矫正方法。 0023 在上述第二方面的一种可能的实现中， 所述存储器包括： 畸变强度参数查找表存 储器， 用于保存所述第一畸变强度参数； 以及行图像数据缓冲存储器， 用于保存所述矫正前 图像的行像素点数据。 0024 在上述第二方面的一种可能的实现中， 所述畸变矫正装置进一步包括行畸变强度 参数查找表存储器， 用于存储所述行畸变插值单元输出的。

26、第二畸变强度参数， 并且将所述 第二畸变强度参数提供至所述步长及畸变相对系数计算单元。 0025 在上述第二方面的一种可能的实现中， 所述步长及畸变相对系数计算单元基于计 算得到的所述扫描步长的小数部分计算得到所述畸变相对系数； 0026 在上述第二方面的一种可能的实现中， 所述行数据读写控制单元基于所述扫描步 长的整数部分控制读取所述矫正前图像的行像素点数据。 0027 在上述第二方面的一种可能的实现中， 所述畸变矫正装置进一步包括控制寄存 器， 用于从总线获取所述第一畸变强度参数并输出至所述畸变强度参数查找表存储器。 0028 在上述第二方面的一种可能的实现中， 所述第一畸变强度参数为图像。

27、栅格模型中 栅格的标定点畸变强度， 所述第二畸变强度参数为所述行输入像素点所在栅格的水平中心 点畸变强度， 所述标定点为所述栅格的中心点， 以及所述矫正前图像的行像素点数据、 所述 矫正后图像的行像素点数据包括像素值。 0029 例如， 通过步长及畸变相对系数计算单元计算得到的步长是0至1之间的数(包括0 和1)， 当步长不足1时， 扫描点还未扫描到下一个输入像素点， 但此时需要输出像素点， 则基 于步长的小数部分计算当前扫描点(亚像素点位置)计算缩放参数以确定畸变相对系数， 畸 变相对系数表征是的有效输入像素点对亚像素位置处输出像素点的像素值的影响程度， 基 于畸变相对系数和输入像素点的像素。

28、值可以计算得到。 当步长等于1时， 扫描点扫描下一个 输入像素点， 此时输出像素点的像素值与输入像素点的像素值相同。 附图说明 0030 图1为现有畸变矫正方案适用的畸变模型和本申请实施例适用的畸变模型； 0031 图2为本申请图像的水平畸变矫正方法及水平畸变矫正装置的应用场景示意图； 0032 图3为本申请图像的水平畸变矫正方法及水平畸变矫正装置适用的图像栅格模型 示意图； 0033 图4为本申请图像的水平畸变矫正方法及水平畸变矫正装置中相关概念理解性示 意图； 0034 图5为本申请图像的水平畸变矫正方法及水平畸变矫正装置中简化标定方案形成 过程示意图； 0035 图6为本申请图像的水平畸。

29、变矫正方法及水平畸变矫正装置中简化标定方案形成 过程示意图； 0036 图7为本申请的畸变矫正装置的示例性结构示意图； 0037 图8为本申请图像的水平畸变矫正方法的流程示意图； 0038 图9为本申请图像的水平畸变矫正方法中行像素点畸变矫正的过程示意图； 0039 图10为本申请实现畸变矫正装置功能的行畸变插值单元对畸变强度进行插值计 说明书 4/16 页 7 CN 111951193 A 7 算标定的示意图； 0040 图11位本申请的由处理器运行程序实现的畸变矫正装置的示意性软件框图； 0041 图12为根据本申请的一种电子系统的框图； 0042 图13为根据本申请的一种片上系统的框图。。

30、 具体实施方式 0043 本申请的说明性实施例包括但不限于实时水平畸变矫正方法、 可读介质及矫正单 元。 0044 为使本申请的目的、 技术方案和优点更加清楚， 下面将结合具体附图对本申请的 实施方式作进一步地详细描述。 可以理解的是， 此处描述的具体实施例仅是为了解释本申 请， 而非对本申请的限定。 此外， 为了便于描述， 附图中仅示出了与本申请相关的部分而非 全部的结构或系统流程。 0045 目前市场上许多摄像产品中的图像处理单元普遍应用的畸变矫正系统/装置大多 适用于图像畸变程度比较大的镜头。 例如， 传统的相机镜头很多是如图1a所示的鱼眼镜头 的畸变模型， 鱼眼镜头畸变模型的无畸变点一。

31、般是圆心/中心点位置处， 中间变形较小， 越 靠近周缘处变形越大。 鱼眼镜头畸变模型的畸变矫正的运算处理过程比较复杂， 内存占用 量大， 相应的图像处理的时间也比较长。 对鱼眼镜头畸变模型进行畸变矫正一般采用比较 成熟的张氏标定法进行畸变强度的标定， 其畸变矫正的方案流程一般是： (一)确定畸变中 心， 即待矫正图像中没有畸变的点， 即圆心/中心点位置处； (二)根据失真原理， 构建畸变模 型进行分析， 标定计算畸变强度系数； (三)通过反向映射方式用矫正后的图像像素点映射 畸变图像中对应的像素点； (四)通过插值运算恢复畸变像素点的灰度值。 这种矫正方法过 程比较繁琐复杂， 运算量大， 矫正。

32、速度慢， 占用内存也比较大。 0046 还有的摄像设备， 例如， 包括但不限于安防领域常见的监控摄像头或摄像机(球机 除外)、 手机、 相机、 电脑、 可穿戴设备、 智能家电以及应用于汽车上的行车记录仪等， 其获得 的图像畸变程度不是特别大。 以监控摄像头为例， 监控摄像头拍摄的画面一般是矩形画面， 图像畸变模型如图1b所示， 监控摄像头所拍摄画面的畸变特点是其水平方向上的畸变程度 远大于垂直方向上的畸变程度。 但基于这类摄像头的监控或安防等用途， 需要对拍摄画面 进行快速的处理且可能需要长时间的保存， 所以一般要求这类摄像头对拍摄的图像处理要 尽可能少的占用设备内存且处理速度要快。 因此， 。

33、上述对鱼眼镜头畸变模型进行畸变矫正 的方案流程不能满足对畸变图像矫正处理占用少量内存资源且具有较强实时性的要求。 因 此， 需要设计本申请的技术方案以解决图像矫正处理中内存占用较大且实时性差的问题。 0047 图2示意性地给出了摄像设备中畸变图像经畸变矫正处理的场景。 如图2所示， 传 感器(Sensor)400获取镜头500拍摄的图像， 并且传感器400处理并输出矫正前图像， 由畸变 矫正装置111对矫正前图像进行处理。 该畸变矫正装置111对矫正前图像做水平畸变矫正处 理后输出无畸变的矫正后图像， 完成图像的畸变矫正。 0048 可以理解， 摄像设备的畸变程度是由摄像设备本身的配置决定的，。

34、 例如不同型号 镜头500的选用以及不同型号的传感器400的选用都会导致摄像设备的畸变程度不同。 畸变 程度体现在矫正前图像上各个像素点的畸变程度。 因此， 摄像设备内一般会通过对预置的 图像栅格模型中选择标定点标定畸变强度， 以用于图像畸变矫正计算。 说明书 5/16 页 8 CN 111951193 A 8 0049 如图3所示， 为根据本申请实施例的图像栅格模型。 矫正前图像上的畸变像素点矫 正后得到矫正后图像。 在选择标定点标定畸变强度时， 可以选择矫正后图像的图像栅格模 型中的栅格中心点作为标定点， 通过专用的简化标定方案及实验得到标定点的畸变强度。 0050 基于本申请实施例的应用。

35、场景， 结合畸变模型的特点， 本申请实施例采用专用的 简化标定方案实现标定点畸变强度的标定。 简化标定方案对标定点畸变强度的标定过程， 具体参考以下示例： 0051 如图4所示， 可以选择图像栅格模型中的栅格401的中心点作为畸变强度参数的标 定点402。 栅格401可以理解为对应的图像帧， 因此， 每个栅格包含若干个像素点。 例如， 常见 的每个栅格401包含32*32或64*64个像素点， 也可以设置每个栅格401中包含其他数量个像 素点， 此处不做限定。 无畸变图像包含的栅格401数量由该无畸变图像的宽高比和每个栅格 包含的像素点决定， 具体的栅格401数量此处亦不做限定。 0052 基。

36、于张氏标定法适用的畸变模型， 只考虑径向畸变的情况下， 其矫正后像素点相 对于矫正前像素点之间的关系可用泰勒级数展开为如下方程式(一)： 0053 XdistortedX(1+k1r2+k2r4+k3r6+) 0054 YdistortedY(1+k1r2+k2r4+k3r6+) 0055 其中， (X， Y)为矫正前图像的像素点坐标， (Xdistorted， Ydistorted)为对应的矫正后图 像的像素点坐标， (k1， k2， )为不定项系数， r为矫正后图像的像素点到镜头球心的距离。 0056 其中， 公式中的不定项系数(k1， k2， )可以通过实验计算出来。 例如， 在实验室利。

37、 用棋盘格图卡拍摄多张图像， 按照实验测量坐标计算不定项系数(k1， k2， )计算出来。 目前 有很多软件工具已经内嵌了根据标准球面镜头自动标定的程序。 在此以一般保留泰勒级数 的二次方精度为例， 其计算方程参考如下方程式(二)： 0057 XdistortedX(1+k1r2) 0058 YdistortedY(1+k1r2) 0059 为便于理解标定方案的逻辑， 如图4所示， 假定将上述标定点402连线成为MN的 网格， 那么原始图像就有(M+1)(N+1)个角点， 即有(M+1)(N+1)个标定点402。 对于不定 项系数k1， 可以采用上述实验室棋盘格标定方法或二维平面内手工标注任意。

38、角点坐标的方 式测量计算得到， 进而计算出当前角点处的畸变强度。 0060 再基于本实施例适用的畸变模型特点： 矫正前图像在水平方向上的畸变程度要明 显强于垂直方向上的畸变程度， 相应的水平方向上的畸变强度远大于垂直方向上的畸变强 度。 考虑对上述标定点402(即角点)处的畸变强度标定忽略垂直方向上的畸变， 因此， 上述 方程式(二)可进一步简化为如下公式(1)： 0061 XdistortedX(1+k1r2) (1) 0062 进而变换得到公式(2)： 0063 0064 其中， X为矫正前图像上畸变像素点的横坐标， Xdistorted为矫正后图像上对应的无 畸变像素点的横坐标。 假设矫。

39、正后图像上的无畸变像素点的横坐标Xdistorted的水平坐标值 为y， 只考虑水平方向上径向畸变的情况下， r为矫正后图像的像素点到图像垂直中心轴的 距离， 因此ry。 畸变强度可以理解为无畸变像素点水平坐标y位移为1(即y位移至y+1处) 说明书 6/16 页 9 CN 111951193 A 9 时相应的畸变像素点的水平坐标位移程度， 带入上述公式(2)可以得到畸变强度计算公式 如下： 0065 0066 其中， Ratioxy是矫正前图像第x行第y列的畸变强度， y为矫正后图像的无畸变像素 点的横坐标Xdistorted的水平坐标值， X1为Xdistorted位移前对应的矫正前图像上。

40、畸变像素点的 横坐标， X2为Xdistorted位移1(即y+1)时对应的矫正前图上畸变像素点的横坐标， k1x是第x行 的不定项系数。 0067 如上假设， 如图5所示， M(行)N(列)的网格， 即有(M+1)(N+1)个角点， 即有(M+ 1)(N+1)个标定点402， 计算时需要计算出每一行的不定项系数值， 即(M+1)个k1值。 0068 例如， 计算上述第x行的不定项系数k1x， 如图6所示， 假设第x行第y列的矫正前图像 的畸变像素点水平坐标为y1， 第x行第y列的矫正后图像中对应的无畸变像素点的水平坐标 为y0， r为矫正后图像的像素点到图像垂直中心轴的距离， 因此， 第x行。

41、第y列中ry0， 带入上 述公式(1)， 那么第x行的不定项系数k1x的计算公式如下。 0069 0070 将标定水平坐标值得到的k1x带入公式(3)即可得到矫正前图像在第x行第y列像素 点的畸变强度。 参照上述方法依次标定(M+1)(N+1)个标定点402处的畸变强度。 0071 可以理解， 标定点上的畸变强度标定在对图像处理之前， 例如， 可以在系统选取摄 像头之后， 标定完的畸变强度参数可以存储在非易失存储单元内。 正常使用时， 系统通电 后， 由中央处理单元(Central Processing Unit， CPU)或者直接存储器访问(Direct Memory Access， DMA。

42、)将已标定的畸变强度参数搬运至查找表存储单元(或者SRA(Static Ram)存储器)中， 当然也可以直接由非易失存储单元作为畸变强度的查找表存储单元。 0072 可以理解， 矫正前图像的数据以帧数据输入， 每帧数据以像素点数据输入， 输入方 式可以采取自上向下逐行、 自左向右的方式。 其中帧数据输入并进行处理的时钟周期为帧 有效期， 帧有效期前后没有帧数据输入的时钟周期为帧消隐期； 帧内每行像素点数据输入 并进行处理的时钟周期为行有效期， 行有效期前后没有像素点输入的时钟周期为行消隐 期。 0073 本实施例基于上述简化标定方案， 通过畸变矫正装置111实现对图像的实时水平 畸变矫正。 具。

43、体地， 本实施例的畸变矫正装置111基于预置的标定点上的畸变强度参数， 利 用行消隐期或者采用乒乓操作方式对下一行像素点所在栅格的水平中心点畸变强度值进 行插值预处理， 以用于行有效期内的其他插值计算， 通过这种预处理畸变强度的方式将复 杂的畸变矫正计算进行拆分， 大大节约畸变矫正计算的时间， 提高实时性； 并且基于预处理 得到的水平中心点畸变强度计算扫描步长以读入需要用到的像素点数据， 使得行有效期内 畸变矫正计算中仅需要单行像素点数据缓冲存储空间和预处理的行水平中心点畸变强度 的存储空间， 存储资源占用小。 另外， 通过简化标定方案的思想对行像素点两端畸变的像素 点进行矫正处理得到无畸变的。

44、行像素点， 最终完成图像的畸变矫正， 矫正过程中畸变图像 的边缘畸变像素点得以恢复， 解决了现有技术中畸变矫正后边缘物体宽高比失调的问题。 0074 图7根据本申请实施例示出了一种畸变矫正装置111的示意性结构图。 0075 在图7所示的实施例中， 畸变矫正装置111通过集成电路的形式实现。 具体地， 畸变 说明书 7/16 页 10 CN 111951193 A 10 矫正装置111包括控制存储器112、 畸变强度参数查找表存储器113、 行畸变插值单元114、 行 图像数据缓冲存储器115、 行畸变强度参数查找表存储器116、 步长及畸变相对系数计算单 元117、 行数据读写控制单元118。

45、以及畸变矫正计算单元119。 0076 可以理解， 畸变矫正装置111中的各电路单元主要通过逻辑控制单元、 逻辑运算单 元以及存储单元等集成实现， 设备通电后， 畸变矫正装置111中的各电路单元运行电路完成 相应的功能以达到最终实现实时水平畸变矫正图像的目的。 0077 畸变矫正装置111中的各电路单元实现的功能， 包括： 0078 控制寄存器112： 通过具有复制功能的电路实现， 用于从总线获取矫正前图像的配 置信息及系统配置信息， 例如， 矫正前图像的宽高比信息及图像栅格模型和标定点畸变强 度等。 控制寄存器112将获取到的矫正前图像的宽高比信息及图像栅格模型和标定点畸变 强度存储下来， 。

46、并输出标定点畸变强度， 该标定点畸变强度作为畸变强度参数查找表存储 器113的畸变强度参数输入。 0079 畸变强度参数查找表存储器113： 通过具有存储功能的电路实现， 用于存储输入的 标定点畸变强度参数。 在畸变强度参数查找表存储器113中， 标定点畸变强度以畸变强度参 数查找表的形式呈现， 以供查找并用于其他计算。 在插值计算过程中， 畸变强度参数查找表 存储器113输出标定点畸变强度作为插值参数， 该标定点畸变强度作为行畸变插值单元114 的输入。 0080 行畸变插值单元114： 通过具有插值计算功能的电路实现， 用于进行插值计算， 例 如： 在行有效期之前， 行畸变插值单元114基。

47、于标定点畸变强度值进行插值计算， 得到行像 素点所在栅格的水平中心点畸变强度， 即通过插值预处理得到水平中心点畸变强度， 该水 平中心点畸变强度作为行畸变强度参数查找表存储器116的输入。 0081 在行有效期内的扫描步长计算过程中， 行畸变插值单元114基于预处理得到的水 平中心点畸变强度进行插值计算， 输出当前行的输入像素点畸变强度， 该当前行的输入像 素点畸变强度作为步长及畸变相对系数计算单元117的输入。 0082 行图像数据缓冲存储器115： 通过具有存储功能的电路实现， 用于存储行有效期内 的输入像素点数据， 包括该行像素点的位置信息及像素值。 在行有效期内进行畸变矫正运 算的过程。

48、中， 行图像数据缓冲存储器115存储的像素点数据不超过1行， 大大节省了内存占 用量。 行图像数据缓冲存储器115输出当前行的输入像素点数据， 该输入像素点的像素值作 为行数据读写控制单元118的输入。 0083 行畸变强度参数查找表存储器116： 通过具有存储功能的电路实现， 用于存储预处 理得到的水平中心点畸变强度。 在行畸变强度参数查找表存储器116中， 水平中心点畸变强 度以行畸变强度参数查找表的形式呈现， 以供查找并用于其他计算。 在行有效期内的扫描 步长计算过程中， 行畸变强度参数查找表存储器116输出水平中心点畸变强度， 该水平中心 点畸变强度作为行畸变插值单元114的输入。 0。

49、084 行畸变强度参数查找表存储器116中仅存储一行水平中心点畸变强度， 当行畸变 插值单元114预处理得到新的一行水平中心点畸变强度输出给行畸变强度参数查找表存储 器116时， 行畸变强度参数查找表存储器116存入新的下一行水平中心点畸变强度并删除之 前行水平中心点畸变强度数据。 0085 步长及畸变相对系数计算单元117： 通过具有运算功能的电路实现， 用于计算扫描 说明书 8/16 页 11 CN 111951193 A 11 步长和畸变相对系数。 在行有效期内的扫描步长计算过程中， 步长及畸变相对系数计算单 元117基于当前行的输入像素点畸变强度进行扫描步长的计算， 输出计算得到的扫描。

50、步长， 该扫描步长作为步长及畸变相对系数计算单元117和行数据读写控制单元118的输入。 0086 步长及畸变相对系数计算单元117基于扫描步长的小数部分进行缩放参数的计 算， 输出畸变相对系数， 该畸变相对系数作为畸变矫正计算单元119的输入。 0087 行数据读写控制单元118： 通过具有计数控制功能的电路实现， 用于控制读取输入 像素点的像素值。 行数据读写控制单元118基于扫描步长的整数部分读取输入像素点的像 素值， 在畸变矫正计算中， 行数据读写控制单元118输出该输入像素点的像素值， 该输入像 素点的像素值作为畸变矫正计算单元119的输入。 0088 例如， 扫描步长的整数部分为0。