图像处理设备、 图像处理方法和计算机程序 技术领域 本发明涉及能够基于由成像装置获得的校准图案图像以高精度进行畸变修正的 图像处理技术。
背景技术 按照常规思路， 已经开发出了各种各样的检验系统和缺陷检测系统， 其用于通过 使用成像装置拾取测试对象的图像、 然后使用所拾取的多值图像检验测试对象和检测测试 对象的缺陷来确定测试对象是否为合格品。 不过， 在使用成像装置获取图像时， 图像经常由 于透镜畸变和透视畸变而发生畸变， 不能原样使用图像来确定是否是合格品等， 除非进行 适当的畸变修正。
为了解决上述问题， 例如 《A Flexible New Technique for Camera Calibration》 (Zhang Z.， Technical Report MSR-TR-98-71， Microsoft Research， 1998) 公开了一种在
不同倾斜角度上获取具有某种规律性的校准图案的多个图像并获得成像装置的诸如透镜 畸变和焦距之类的内部参数和成像装置的诸如三维位置和相对位置之类的外部参数的方 法。 以这种方式， 可以通过畸变修正适当地修正所拾取的图像， 并且能够以高精度进行合格 品确定。发明内容
按照 《A Flexible New Technique for Camera Calibration》 中公开的方法， 需 要以不同倾角获得多个校准图案的图像。因此， 必须在多次改变成像装置与校准图案之间 的相对倾角的同时拍摄图像， 这使得图像获取变成了繁重的工作。
此外， 当要获得的参数的数量很大而所获取的图像的数量很小时， 经常不能确定 所有这些参数。因此， 就有了在成像装置与校准图案之间的相对倾角不合适的情况下不能 正确获得参数的问题。
本发明涉及能够简化获取校准图案图像的步骤并且能够以较高精度在较宽区域 内进行畸变修正的图像处理设备、 图像处理方法和计算机程序。
按照本发明的一种实施方式， 给出了一种图像处理设备， 该图像处理设备通过使 用成像装置获得校准图案图像并通过基于所获得的校准图案图像执行校准来进行畸变修 正， 该图像处理设备包括 ： 第一提取装置， 该第一提取装置获得以第一间隔设置有安排在可 由成像装置拍摄到的成像范围内的第一特征点的校准图案图像， 并且该第一提取装置提取 第一特征点群 ； 以及第二提取装置， 该第二提取装置获得以第二间隔设置有安排在可由成 像装置拍摄到的成像范围内的第二特征点的校准图案图像， 并且该第二提取装置提取第二 特征点群， 其中基于分别从具有不同成像范围的区域内提取出来的第一特征点群和第二特 征点群执行所述校准。
按照本发明的另一种实施方式， 在图像处理设备中， 第二间隔被设置为比第一间 隔宽， 并且第一提取装置在稀疏显示特征点的区域内提取第一特征点群， 而第二提取装置 在密集显示特征点的区域内提取第二特征点群。正如这里所用的那样， ″稀疏显示特征点 的区域″指的是这样的区域 ： 相对于由预定数量的像素显示的显示屏幕而言， 特征点被显示得比预定间隔窄， 而″密集显示特征点的区域″指的是这样的区域 ： 相对于由预定数量 的像素显示的显示屏幕而言， 特征点被显示得比预定间隔宽。
按照本发明的另一种实施方式， 图像处理设备此外还包括 ： 设定装置， 该设定装置 将多个校准图案图像中的一个设定为基准图像 ； 投影变换参数设定装置， 该投影变换参数 设定装置设定表示第一坐标系和第二坐标系之间关系的投影变换参数， 第一坐标系代表以 平面图形式示出的基准图像， 第二坐标系用于显示基准图像 ； 仿射变换参数设定装置， 该仿 射变换参数设定装置通过包括在基于基准图像的第一坐标系内的缩放系数的仿射变换参 数设定基准图像与除了基准图像之外的校准图案图像之间的关系 ； 透镜畸变参数设定装 置， 该透镜畸变参数设定装置通过成像装置设定用于修正透镜畸变的透镜畸变参数和透镜 畸变参数之间的关系 ； 以及参数优化装置， 该参数优化装置根据第一坐标系中基于基准图 像的坐标数据和第二坐标系中显示的包括基准图像的多种布置方式中的特征点的坐标数 据， 优化投影变换参数、 仿射变换参数和透镜畸变参数。
按照本发明的另一种实施方式， 图像处理设备此外还包括 ： 投影变换参数计算装 置， 该投影变换参数计算装置计算假设不存在透镜畸变时的投影变换参数的估计值 ； 以及 仿射变换参数计算装置， 该仿射变换参数计算装置计算假设不存在透镜畸变时的仿射变换 参数的估计值， 其中参数优化装置采用投影变换参数的估计值和仿射变换参数的估计值作 为初始值， 优化投影变换参数、 仿射变换参数和透镜畸变参数。
按照本发明的另一种实施方式， 图像处理设备此外还包括 ： 选择接收装置， 该选择 接收装置接收是否使用多于一个校准图案图像的选择。
按照本发明的另一种实施方式， 图像处理设备此外还包括 ： 特征点显示装置， 该特 征点显示装置显示用于执行校准的第一特征点群和第二特征点群中的至少一个。
按照本发明的另一种实施方式， 图像处理设备此外还包括 ： 获取指令接收装置， 该 获取指令接收装置接收针对成像装置的对接收下来要由选择设定接收装置选择的各个校 准图案图像进行重新获取的指令的输入。
按照本发明的另一种实施方式， 图像处理设备此外还包括 ： 提取区域显示装置， 该 提取区域显示装置显示从中提取了第一特征点群和第二特征点群中的至少一个的区域。
此外， 按照本发明的另一种实施方式， 给出了一种图像处理方法， 该方法能够由图 像处理设备执行， 该图像处理设备通过使用成像装置获得校准图案图像并通过基于所获得 的校准图案图像执行校准来进行畸变修正， 该方法包括步骤 ： 获得以第一间隔设置有安排 在可由成像装置拍摄到的成像范围内的第一特征点的校准图案图像并且提取第一特征点 群； 获得以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准 图案图像并且提取第二特征点群 ； 以及基于分别从具有不同成像范围的区域内提取出来的 第一特征点群和第二特征点群执行所述校准。
接着， 按照本发明的另一种实施方式， 给出了一种计算机程序， 该计算机程序能够 在图像处理设备上执行， 该图像处理设备通过使用成像装置获得校准图案图像并通过基于 所获得的校准图案图像执行校准来进行畸变修正， 该计算机程序促使图像处理设备起到如 下作用 ： 第一提取装置， 该第一提取装置获得以第一间隔设置有安排在可由成像装置拍摄 到的成像范围内的第一特征点的校准图案图像， 并且该第一提取装置提取第一特征点群 ； 第二提取装置， 该第二提取装置获得以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准图案图像， 并且该第二提取装置提取第二特征点群 ； 以及基于 分别从具有不同成像范围的区域内提取出来的第一特征点群和第二特征点群执行所述校 准的装置。
按照本发明的实施方式， 畸变修正是通过使用成像装置获取校准图案图像并通过 基于所获取的校准图案图像执行校准来进行的。 获取以第一间隔设置有安排在可由成像装 置拍摄到的成像范围内的第一特征点的校准图案图像并且提取第一特征点群。类似地， 获 取以第二间隔设置有安排在可由成像装置拍摄到的成像范围内的第二特征点的校准图案 图像并且提取第二特征点群。 基于分别从具有不同成像范围的区域内提取出来的第一特征 点群和第二特征点群执行所述校准。 由于特征点群是在基于特征点之间的间隔不同的校准 图案图像的不同区域中提取的， 因此可以减小难以提取出特征点的区域， 并且可以在较宽 的区域内执行校准。
此外， 第二间隔被设置为比第一间隔宽， 在稀疏显示特征点的区域内提取第一特 征点群， 而在密集显示特征点的区域内提取第二特征点群。 由此， 在可以稀疏显示特征点的 区域内使用特征点之间的间隔较窄的校准图案图像， 而在可以密集显示特征点的区域内使 用特征点之间的间隔较宽的校准图案图像， 从而可以以较高的精度在较宽的区域内执行校 准。 此外， 多个校准图案图像中的一个被设置为基准图像， 并且设定表示第一坐标系 和第二坐标系之间关系的投影变换参数， 其中第一坐标系代表以平面图形式示出的基准图 像， 第二坐标系用于显示基准图像。 此外， 由包括在基于基准图像的第一坐标系内的缩放系 数的仿射变换参数设定基准图像与除了基准图像之外的校准图案图像之间的关系， 并且通 过成像装置设定用于修正透镜畸变的透镜畸变参数和透镜畸变参数之间的关系。 根据第一 坐标系中基于基准图像的坐标数据和第二坐标系中显示的包括基准图像的多种布置方式 中的特征点的坐标数据， 优化投影变换参数、 仿射变换参数和透镜畸变参数。由此， 可以消 除诸如坐标系变换过程中的死像素 (dead pixel) 之类的副作用， 并且可以增加校准的可靠 性和以高精度获得投影变换参数和透镜畸变参数。
此外， 计算假设不存在透镜畸变时的投影变换参数的估计值， 并且计算假设不存 在透镜畸变时的仿射变换参数的估计值。 采用投影变换参数的估计值和仿射变换参数的估 计值作为初始值优化投影变换参数、 仿射变换参数和透镜畸变参数， 并且这样可以消除坐 标系变换过程中由于发散而不能确定各个参数的可能性， 并且可以增加校准的可靠性和以 高精度获得投影变换参数和透镜畸变参数。
此外， 还提供了选择设定接收装置， 其接收是与否使用多于一个校准图案图像之 间的选择， 并且因此可以依据图像畸变的程度选择是否使用多于一个校准图案图像。
此外， 显示用于执行校准的第一特征点群和第二特征点群中的至少一个， 并且因 此可以直观确认哪个特征点群是从图像中的哪个部分中提取出来的， 并且可以容易地确定 所执行的校准的可靠性。
此外， 可以接收针对成像装置的对接收下来要选择的各个校准图案图像进行重新 获取的指令的输入。因此， 当校准图案图像不足以与图像畸变相当时， 例如， 即使当校准图 案图像内密集 ( 稀疏 ) 显示特征点的区域内的特征点之间的间隔较窄 ( 较宽 ) 时， 也可以 通过重新获取特征点之间的间隔较宽 ( 较窄 ) 的校准图案图像来以高精度在较宽的区域内
执行校准。
此外， 显示从中提取出第一特征点群和第二特征点群中的至少一个的区域， 并且 因此可以直观确认哪个特征点群是从图像中的哪个部分中提取出来的， 并且可以增加所要 执行的校准的可靠性。
按照本发明的实施方式， 在基于特征点之间的间隔不同的校准图案图像的不同区 域中提取特征点群。 因此， 可以减小难以提取特征点的区域， 并且可以在较宽的区域内执行 校准。 例如， 在可以稀疏显示特征点的区域内使用特征点之间的间隔较窄的校准图案图像， 而在可以密集显示特征点的区域内使用特征点之间的间隔较宽的校准图案图像， 从而可以 以较高的精度在较宽的区域内执行校准。 附图说明 图 1 是示意性表示按照本发明的实施方式的图像处理设备的结构的框图 ； 图 2 是表示按照本发明的实施方式的图像处理设备的构成实例的功能框图 ； 图 3A 和 3B 是各自表示使用特征点之间的间隔相同的校准图案图像时的特征点分布的示意 图； 图 4A 到 4C 是表示由按照本发明的实施方式的图像处理设备获得的多个校准图案图像的示 意图 ； 图 5 是表示进行从世界坐标系到像素坐标系的投影变换时的状态的示意图 ； 图 6A 和 6B 是各自表示校准图案图像内的特征点在像素坐标系中的坐标被变换到世界坐标 系中的坐标的状态的示意图 ； 图 7 是表示基准图像中的特征点在世界坐标系中的位置与图 6A 和 6B 中变换的除了基准图 像之外的校准图案图像中的特征点群在世界坐标系中的位置之间的关系的示意图 ； 图 8 是表示由按照本发明的实施方式的图像处理设备的图像处理部分的主控部分执行的 校准处理步骤的流程图 ； 图 9 是表示用于设定所需要的信息的校准设定屏的示意图， 以便执行按照本发明的实施方 式的图像处理设备的校准 ； 图 10 是表示用于获取按照本发明的实施方式的图像处理设备的校准图案图像数据的图像 登记屏的示意图 ； 图 11 是表示用于呈现按照本发明的实施方式的图像处理设备的校准执行结果的校准设定 屏的示意图 ； 图 12 是表示用于登记按照本发明的实施方式的图像处理设备的校准图案图像数据的图像 登记屏的示意图 ； 图 13 是表示通过其可以在按照本发明的实施方式的图像处理设备中设定缩放系数的校准 设定屏的示意图 ； 图 14 是表示由按照本发明的实施方式的图像处理设备中的图像处理部分的主控部分执行 校准之后的图像处理的处理步骤的流程图 ； 以及图 15A 到 15C 是各自表示畸变修正之后的图像的示意图。
具体实施方式
下面参照附图介绍按照本发明的实施方式的图像处理设备。应当注意， 在要参照 的所有附图中， 用相同或类似附图标记指代具有相同或类似结构或功能的部件， 并且已经 介绍过的那些部件不会再加以详细介绍。
图 1 是示意性表示按照本发明的实施方式的图像处理设备的结构的框图。如图 1 所示， 按照本实施方式的图像处理设备 2 与作为获取校准图案图像的成像装置的相机 1 以 及显示所获取的校准图案图像或者执行了各种类型的图像变换处理之后的校准图案图像 的显示装置 3 相连。
图像处理设备 2 配备有由至少 CPU( 中央处理单元 )、 LSI 等构成的主控部分 21、 存储器 22、 存储装置 23、 输入装置 24、 输出装置 25、 通信装置 26、 辅助存储装置 27 和上述硬 件部件所连接的内部总线 28。主控部分 21 经由内部总线 28 与如上所述的图像处理设备 2 的硬件部件相连， 并且按照存储在存储装置 23 中的计算机程序 5 控制这些硬件部件的操作 和执行各种不同的软件功能。存储器 22 是由诸如 SRAM 或 SDRAM 之类的易失性存储器构成 的， 在执行计算机程序 5 的时候会将加载模块提取到存储器 22 中， 并且在执行计算机程序 5 时创建的临时数据等会存储在存储器 22 中。 存储装置 23 由内置固定存储装置 ( 硬盘或闪存 )、 ROM 等构成。存储在存储装置 23 中的计算机程序 5 是从存储着诸如节目和数据之类的信息段的诸如 DVD、 CD-ROM 或者闪 存之类的便携式记录介质 4 中下载到辅助存储装置 27 中的。在执行时， 计算机程序 5 被从 存储装置 23 中提取到存储器 22 中并且被运行。应当意识到， 计算机程序 5 可以是经由通 信装置 26 从外部计算机下载的计算机程序。
存储装置 23 配备有存储所获得校准图案图像的图像数据的校准图案图像数据存 储单元 231 和存储在接收到相应的用户输入时用于生成期望的修正后图像的各种参数的 参数存储单元 232， 这些参数比如是通过执行校准而计算出来的投影变换参数、 透镜畸变参 数和仿射变换参数。校准图案图像数据存储单元 231 存储校准图案图像的图像数据， 从这 些校准图案图像中可以提取出按照一定规律性布置的特征点。 多个校准图案图像的图像数 据是通过仅仅改变用于布置校准图案的位置来拾取并存储的， 而不是改变相机 1 相对于成 像区域的位置、 角度之类来拾取的。参数存储单元 232 存储着在生成修正后图像时引用的、 进行畸变修正所需的参数。这些参数是由在设置时进行的、 用于执行校准和生成期望的修 正后图像的参数调节处理计算、 设置和存储的。当执行检验时， 例如， 引用这些参数并且执 行修正后图像的生成处理 ( 畸变修正 )。
通信装置 26 与内部总线 28 相连， 并且能够通过与诸如因特网、 LAN 或 WAN 之类的 外部网络相连接来与外部计算机发送和接收数据。具体来说， 存储装置 23 的构造并不局限 于图像处理设备 2 中的内置型存储装置， 而是也可以是经由通信装置 26 连接的、 为外部服 务器计算机等配备的诸如硬盘之类的外部记录介质。
输入装置 24 代表一个宽泛的概念， 总体来讲包括各种各样的获取输入信息的装 置， 除了诸如键盘和鼠标之类的数据输入媒介之外， 还包括与液晶平板等集成在一起的触 摸板等。输出装置 25 指的是诸如激光打印机或点式打印机之类的打印装置。
相机 ( 成像装置 )1 是配备有 CCD 成像器件的 CCD 相机等。显示装置 3 是配备有 CRT、 液晶平板等的显示装置。诸如相机 1 和显示装置 3 之类的部件可以与图像处理设备 2
集成为一体， 也可以分开地设置。外部控制仪器 6 是经由通信装置 26 连接的控制装置， 并 且相当于例如 PLC( 可编程逻辑控制器 )。如本文所使用的那样， 外部控制仪器 6 代表一个 宽泛的概念， 总的来说包括各种各样的响应于图像处理设备 2 的图像处理结果执行后处理 的装置。
图 2 是表示按照本发明的实施方式的图像处理设备 2 的结构实例的功能框图。参 照图 2， 按照本实施方式的图像处理设备 2 配备有相机 1、 执行图像处理设备 2 的处理的图 像处理部分 7、 存储装置 23 和输入接收和图像显示部分 8。
相机 1 由例如数码相机构成， 并且拍摄和获取按照有规律间隔布置的特征点的校 准图案 ( 比如棋盘格图案或点阵图案 ) 的图像作为多值图像数据， 并将该数据输出到图像 处理部分 7。
图像处理部分 7 配备有布置数设定装置 71、 坐标系设定装置 72、 基准布置设定装 置 73、 第一提取装置 74、 第二提取装置 75、 投影变换参数计算装置 76、 仿射变换参数计算装 置 77、 透镜畸变参数设定装置 78、 参数优化装置 79、 修正后图像生成装置 80 和后处理装置 81。图像处理部分 7 还包括主控部分 21、 存储器 22 以及与图 1 中所示的外部装置相连的各 种接口， 并且控制布置数设定装置 71、 坐标系设定装置 72、 基准布置设定装置 73、 第一提取 装置 74、 第二提取装置 75、 投影变换参数计算装置 76、 仿射变换参数计算装置 77、 透镜畸变 参数设定装置 78、 参数优化装置 79、 修正后图像生成装置 80 和后处理装置 81 的处理操作。
存储装置 23 起到图像存储器的作用或者用于存储处理所需的各种参数的装置的 作用， 并且存储着由相机 1 获得的校准图案图像的图像数据以及在根据需要接收到相应的 用户输入时用于生成期望的修正后图像的各种参数， 比如通过执行校准计算出来的投影变 换参数、 透镜畸变参数和仿射变换参数。 可以以各个像素亮度值的数据的形式存储图像， 而 不是以图像数据的形式存储图像。
输入接收和图像显示部分 8 由诸如计算机用监视器之类的显示装置 3 和诸如鼠标 和键盘之类的输入装置 24 构成。输入接收部分是以例如显示装置 3 的显示屏幕中的对话 框的形式给出的， 并且包括布置数设定接收装置 82、 坐标系设定接收装置 83、 基准位置设 定接收装置 84、 选择接收装置 85、 获取指令接收装置 86 和后处理设定接收装置 89。 与显示 装置 3 的显示屏幕中的输入接收部分相邻地设置有图像显示部分 87， 并且图像显示部分 87 包括修正前图像显示装置 91 和修正后图像显示装置 92。 用户能够使图像显示部分 87 在显 示装置 3 的显示屏幕中显示所获得的校准图案图像、 修正后图像等。此外， 通过特征点显示 装置 88， 可以彼此重叠地显示所提取的特征点群和提取出该特征点群的区域。
接下来， 将介绍图像处理部分 7 的组成部分。
布置数设定装置 71 设定要布置在相机 1 能够进行成像的区域内的用于执行校准 的校准图案图像的数量。要布置的数量的输入由输入接收和图像显示部分 8 中的布置数设 定接收装置 82 接收。在本实施方式中， 布置数可以是″ 1″， 就是说， 可以只布置一个校准 图案图像， 或者也可以布置特征点间的间隔相同或不相同的多个校准图案图像。
坐标系设定装置 72 设定表示平面图中所示校准图案图像的世界坐标系 ( 第一坐 标系 )。与世界坐标系的设定有关的信息的输入由输入接收和图像显示部分 8 中的坐标系 设定接收装置 83 接收。具体来说， 接收诸如世界坐标系中基准图像的坐标位置和坐标间隔 之类的信息的输入。基准布置设定装置 ( 设定装置 )73 在多个布置的校准图案图像中设定要作为基准 的校准图案图像为基准图像。 要作为基准的校准图案图像的设定由输入接收和图像显示部 分 8 中的基准位置设定接收装置 84 接收。
第一提取装置 74 和第二提取装置 75 各自从在其中以有规律间隔布置特征点的校 准图案图像的图像数据中提取特征点群。图 3A 和 3B 各自是表示特征点之间的间隔都相同 的校准图案图像中特征点的分布的示意图。
图 3A 表示特征点之间的间隔相对较窄的例子， 图 3B 表示特征点之间的间隔相对 较宽的例子。 图 3A 和 3B 都表示棋盘格图案中的校准图案的例子， 该棋盘格图案具有作为黑 色正方形格顶点的特征点 30， 30， ...。 虽然当如图 3A 所示那样特征点之间的间隔相对较窄 时可以以较高精度执行校准， 但是正确提取出特征点的区域 ( 即， 密集示出特征点的区域 ) 局限于分界线 31 下面的部分， 并且仅能够在较窄的区域内执行校准。
与此相反， 虽然当如图 3B 所示的那样特征点 30， 30， ... 之间的间隔相对较宽时不 能以较高精度执行校准， 但是正确提取出特征点 30， 30， ... 的区域被扩大到了分界线 32， 并且能够执行校准的区域 ( 即， 稀疏示出特征点的区域 ) 与图 3A 比较起来变得较宽。 因此， 可以根据图像畸变的程度将二者组合起来以较高精度在较宽的区域内执行校准。 图 4A 到 4C 是表示由按照本发明的实施方式的图像处理设备 2 获得的多个校准图 案图像的示意图。在图 4A 到 4C 所示的例子中， 图 4B 表示特征点 30， 30， ... 之间的间隔 与图 4A 所示的例子中的特征点之间的间隔相同的校准图案图像， 只是改变了布置方式。此 外， 图 4C 表示特征点 30， 30， ... 之间的间隔大于图 4A 所示的例子中的特征点之间的间隔 的校准图案图像， 并且也改变了布置方式。
回过头来看图 2， 投影变换参数计算装置 76 计算用于进行从用平面图示出基准图 像的世界坐标系 ( 第一坐标系 ) 到显示基准图像的显示屏幕上的像素坐标系 ( 第二坐标 系 ) 的投影变换。 图 5 是表示进行从世界坐标系到像素坐标系的投影变换的状态的示意图。
在图 5 中， 用于进行从设置在世界坐标系中的平面图中的基准图像到像素坐标系 中显示的基准图像的投影变换的投影变换矩阵 H 是使用图 4A 中所示的校准图案图像作为 像素坐标系中显示的基准图像而获得的。具体来说， 获得满足方程式 1 的投影变换参数 a 到 h， 其作为要加以变换的世界坐标系中的坐标数据 (xi， yi)( 理想数据 ) 与作为变换目标 的像素坐标系中的坐标数据 (xi’ ， yi’ )( 实测数据 ) 之间的关系。其中，″ i″代表各校 准图案图像中的各个特征点 30， 30， ...。在此例中，″理想数据″指的是根据世界坐标系 中的坐标位置和坐标间隔数值计算的值， 而不是″实测数据″。
[ 数学公式 1]( 方程式 1)为了获得投影变换参数 a 到 h， 采用了最小二乘法， 以便在方程式 1 两侧都乘以方 程式 1 的分母的状态下， 分别使得各个左侧和右侧之间的各个差的平方和最小。方程式 2 表示在方程式 1 的两侧都乘以方程式 1 的分母的状态下， 各个左侧和右侧之间的各个差的 平方和。
[ 数学公式 2]
( 方程式 2) 通过将要加以变换的世界坐标系中的坐标数据 (xi， yi) 和作为变换目标的像素 坐标系中的坐标数据 (xi’ ， y1’ ) 代入到方程式 2 中并且重新整理该方程式， 得到方程式 3。
[ 数学公式 3]
( 方程式 3)可以由方程式 4 得到使方程式 3 最小的投影变换参数 a 到 h， 其中 AT 是矩阵 A 的 转置矩阵。其中， 投影变换参数的估计值是在不考虑透镜畸变的情况下获得的。后面将会 使用投影变换参数的估计值作为用于由参数优化装置 79 获得最优值的初始值， 并且作为 用于获得仿射变换参数的估计值的参考参数， 后面将对此加以介绍。 T T
[ 数学公式 4]A Ax ＝ A B ( 方程式 4)
回过头来看图 2， 仿射变换参数计算装置 77 为各种布置方式计算仿射变换参数， 以便使用所计算出来的投影变换参数的反变换参数将除了基准图像之外的校准图案图像 中的特征点的坐标数据变换到世界坐标系中， 并且在变换到世界坐标系中之后进行从基于 世界坐标系中的基准图像的坐标数据到各种布置方式下的特征点的坐标数据的仿射变换。 具体来说， 首先， 使用投影变换参数 a 到 h 计算投影变换矩阵 H 的逆矩阵， 并且将除了基准 图像之外的校准图案图像 ( 例如图 4A 到 4C 中的图 4B 和图 4C 所示的图像 ) 中的特征点 30， 30， ... 的坐标位置变换到世界坐标系中。
然后， 根据变换后的坐标数据， 由世界坐标系 ( 基于平面图形式的基准图像的坐 标系 ) 中的仿射变换参数 S、 T、 θ、 α 来表达基准图像中的布置方式和除基准图像之外的 图像中布置方式之间的关系。这里， 仿射变换参数 S 和 T 分别代表在基于基准图像的世界 坐标系中沿着 X 轴和 Y 轴的平移距离， θ 代表旋转量， α 代表缩放系数。 图 6A 和 6B 是各自表示校准图案图像内的特征点在像素坐标系中的坐标数据被变 换到世界坐标系中的坐标数据的状态的示意图。图 6A 是表示将图 4B 中所示的校准图案图 像内的特征点变换为世界坐标系中的特征点的状态的示意图， 图 6B 是表示将图 4C 中所示 的校准图案图像内的特征点 30， 30， ... 变换到世界坐标系中的状态的示意图。
图 6A 表示将图 4B 中所示的显示图像 61 内的特征点在像素坐标系中的坐标数据 变换到世界坐标系中的坐标数据 62 的状态。类似地， 图 6B 表示将图 4C 中所示的显示图像 63 内的特征点在像素坐标系中的坐标数据变换到世界坐标系中的坐标数据 64 的状态。以 这种方式， 由于特征点之间的间隔在像素坐标系中是不同的， 因此在图 6B 中， 特征点之间 的间隔在世界坐标系中较宽。
图 7 是表示基准图像中的特征点在世界坐标系中的位置与图 6A 和 6B 中变换的除 了基准图像之外的校准图案图像中的特征点群在世界坐标系中的位置之间的关系的示意 图。在图 7 中， 使用代表坐标比例的正方形群的各个顶点来表示特征点群， 而没有使用点序 列。因此， 特征点位于特征点群中包含的正方形的相应顶点上。
在图 7 中， 在世界坐标系中以相同的比例示出了代表基准图像特征点的位置的特 征点群 171、 通过将与图 4B 相对应的校准图案图像内的特征点群变换到世界坐标系中而获 得的特征点群 172 和通过将与图 4C 相对应的校准图案图像内的特征点群变换到世界坐标 系中而获得的特征点群 173， 其中将平面图形式的基准图像中的左上角的特征点作为原点， 并且其中基准图像的各个特征点之间的间隔是用单位刻度表示的。这样， 可以基于基准图 像的特征点群 171， 通过沿着 X 轴和 Y 轴平移以及旋转放大或缩小来获得其它特征点群 172 和 173。具体来说， 以基准图像的特征点群 171 为基准， 其它特征点群 172 和 173 分别由 X 轴上的平移距离 S、 Y 轴上的平移距离 T、 旋转量 θ 和缩放系数 α 来表示， 这些参数就是仿 射变换参数。
具体来说， 使用 X 轴上的平移距离 S、 Y 轴上的平移距离 T、 旋转量 θ 和缩放系数
α( 它们都是仿射变换参数 )， 由方程式 5 来表达要加以变换的坐标数据 (xi， yi)( 理想数 据 ) 和作为变换目标的坐标数据 (xi’ ， yi’ )( 通过将实测数据变换到世界坐标系中而得到 的数据 ) 之间的关系。
[ 数 学 公 式 5]( 方程式 5)
为了获得仿射变换参数， 可以采用非线性最小二乘法来使方程式 5 的左侧和右侧 之间的差的平方和最小。具体来说， 如果可以获得使方程式 6 最小的 X 轴上的平移距离 S、 Y 轴上的平移距离 T、 旋转量 θ 和缩放系数 α( 它们都是仿射变换参数 )， 那么就足够了。 其中， 仿射变换参数的估计值是在不考虑透镜畸变的情况下获得的。后面将会使用所获得 的仿射变换参数的估计值作为用来由参数优化装置 79 获得最优值的初始值。
[ 数学公式 6]( 方程式 6) 应当注意， 在将缩放系数 α 固定为″ 1″时， 可以使用多个同样大小的校准图案 图像来执行校准。容许缩放系数 α 使用除了″ 1 ″以外的值， 能够实现使用不同大小的 多个校准图案图像来执行校准。当使用除了″ 1 ″以外的值作为缩放系数 α 时， 如果预 先知道特征点之间的间隔， 就可以通过将缩放系数 α 固定为适当的值 ( 比如例如″ 2 ″ 或″ 1/3″ ) 来更加精确地执行校准。
回过头来看图 2， 透镜畸变参数设定装置 78 设定用于修正透镜畸变的透镜畸变参 数和透镜畸变参数之间的关系。虽然没有具体限定透镜畸变参数之间的关系， 但是可以使 用四个参数如例如方程式 7 所表达的那样设定要加以变换的坐标数据 (xi， yi) 与作为变换 目标的坐标数据 (xi’ ， yi’ ) 之间的关系， 这四个参数包括低阶透镜畸变参数 K1、 高阶透镜 畸变参数 K2 以及透镜畸变中心处理的 X 坐标 u 和 Y 坐标 v。应当注意， 可以这样来得到用 于以后由参数优化装置 79 获得最优值的初始值 ( 估计值 ) ： 将透镜畸变的中心定为图像的
中心， 并将其它的高阶和低阶透镜畸变参数定为 0( 零 )。
[ 数学公式 7]( 方程式 7)
参数优化装置 79 基于以基准图像为基础的世界坐标系 ( 基于平面图形式的基准图像的坐标系 ) 中的坐标数据和各种布置方式下提取的像素坐标系中特征点的坐标数据， 优化之前已经计算出估计值的投影变换参数 a 到 h、 仿射变换参数 S、 T、 θ 和 α 以及透镜 畸变参数 K1、 K2、 u 和 v。
具体来说， 要加以变换的世界坐标系中基于基准图像的坐标数据 (xi， yi)( 理想 数据 ) 与包括基准图像在内的所有布置方式下的校准图案图像 n(n 是从 1 到 N 的自然数 ) 中的特征点在像素坐标系内的作为变换目标的坐标数据 (Xni’ ， Yni’ )( 实测数据 ) 之间的关 系分别由变换函数 F 和 G 表达， 并且立刻计算出各个变换参数， 以便使这些数据之间的差的 平方和最小。 具体来说， 首先， 通过仿射变换将世界坐标系中基于基准图像的坐标数据 (xi， yi) 变换为 (xni， yni)。变换方程式由方程式 8 表达。
[ 数学公式 8]( 方程式 8)
接下来， 由方程式 9 将通过仿射变换变换出来的坐标数据 (xni， yni) 变换为没有透 镜畸变的像素坐标系中的坐标数据 (Xni， Yni)。
[ 数学公式 9]( 方程式 9)此外， 使用表达透镜畸变参数之间的关系的方程式 7， 由方程式 10 将该坐标数据 变换为考虑透镜畸变时的像素坐标系内的坐标数据 (Xni’ ， Yni’ )。
[ 数学公式 10]
通过组合方程式 8 到 10， 可以由方程式 11 表达的变换函数 F 和 G 分别表达要加以 变换的世界坐标系中基于基准图像的坐标数据 (xi， yi) 与包括基准图像在内的所有布置 方式下的校准图案图像 n(n 是从 1 到 N 的自然数 ) 中的特征点的作为变换目标的坐标数据 (Xni’ ， Yni’ ) 之间的关系。
[ 数学公式 11]
( 方程式 11)为了优化这些参数， 可以通过非线性最小二乘法 ( 例如， Levenberg-Marquardt 法 ) 来计算投影变换参数 a 到 h、 仿射变换参数 S、 T、 θ 和 α 以及透镜畸变参数 K1、 K2、 u 和 v， 使得方程式 12 最小。
[ 数学公式 12]
( 方程式 12)应当注意， 在不同布置方式之间， 只有仿射变换参数是不同的， 而投影变换参数和 透镜畸变参数可以是公用的。这是因为成像平面与相机 1 之间的位置关系保持不变， 并且 拍摄和获取的是仅仅改变了校准图案布置方式的图像。
修正后图像生成装置 80 生成使用优化了的投影变换参数、 透镜畸变参数和仿射 变换参数进行了畸变修正的图像， 以便接收用户输入来生成修正后图像。输入接收和图像 显示部分 8 的图像显示部分 87 能够使用修正后图像显示装置 92 在显示装置 3 中显示所生 成的修正后图像。
应当注意， 仿射变换参数的输入是由输入接收和图像显示部分 8 接收的。按照本 发明的实施方式， 由于相机 1 的位置和角度是固定的， 因此基于世界坐标系中的基准图像， 可以通过接收选取平移距离 X 和 Y、 旋转量 θ 和缩放系数 α 作为仿射变换参数的用户输入 来进行设定， 以便生成在期望位置上具有期望大小和期望角度的修正后图像。
在下文中， 将会具体介绍修正后图像生成装置 80 的处理方法。首先， 计算通过组 合从用户输入并且接收的仿射变换参数获得的仿射变换矩阵。接着， 计算所计算出来的仿 射变换矩阵的逆矩阵， 并且计算通过组合所计算出来的仿射变换矩阵的逆矩阵和由参数优 化装置 79 获得的投影变换参数 ( 投影变换矩阵 ) 获得的组合投影变换矩阵。 所计算出来的 组合投影变换矩阵是用于将修正后图像中的坐标数据变换为修正前图像 ( 没有透镜畸变 ) 中的坐标数据的矩阵。
通过使用计算出来的组合投影变换矩阵和由参数优化装置 79 获得的透镜畸变参 数， 可以获得与具有期望位置、 期望大小和期望角度的修正后图像中的各个像素的坐标数 据相对应的修正前图像中的坐标数据， 并且可以生成修正后图像。具体来说， 首先， 使用组 合投影变换矩阵通过将修正后图像中各个像素的坐标数据代入方程式 1 来进行坐标变换。
接着， 使用由参数优化装置 79 获得的透镜畸变参数通过将变换后的坐标数据代入到方程 式 7 中进行坐标变换。由此， 获得了对应的修正前图像中的坐标数据。
使用与所获得的修正前图像中的坐标数据相对应的像素值， 可以采用最接近像素 自身的像素值作为修正后像素的像素值， 或者可以通过对相邻区域内的像素的像素值进行 内插来获得适当的像素值， 以便生成具有较高精度的修正后图像。 就内插法而言， 可以采用 例如对四个最接近像素进行线性内插的双线性内插， 不过本发明并不局限于此。 如上所述， 可以通过在修正后的各个像素中依次获得像素值来生成修正后图像。
在设定时， 除了执行修正之外， 还要通过以肉眼观察方式确认实际的修正后图像 来进行针对所要生成的修正后图像的调整， 并且将调整后的仿射变换参数与由参数优化装 置 79 优化了的投影变换参数和透镜畸变参数关联起来并且存储在参数存储单元 232 中。 另 一方面， 在执行检验时， 要通过参考所存储的和经过调整的仿射变换参数以及经过优化的 投影变换参数和透镜畸变参数反复执行修正后图像生成处理 ( 畸变修正 )， 直到最后一个 输入图像， 并且可以通过对校正图像进行期望的后处理来执行具有高度可靠性的检验。
后处理装置 81 按照从用户接收的选定后处理， 由输入接收和图像显示部分 8 的后 处理设定接收装置 89 对进行过校准和畸变修正的图像进行后处理。后处理是检验和用户 希望的图像处理， 比如 OCR 或图案搜索。后处理的结果被输出到外部控制仪器 6 并且由该 外部控制仪器 6 控制外部装置等的操作。 图 8 是表示由按照本发明的实施方式的图像处理设备 2 中的图像处理部分 7 的主 控部分 21 执行的校准处理步骤的流程图。按照本发明的实施方式的图像处理方法的各个 处理步骤是按照内存于图像处理部分 7 中的本发明的计算机程序 5 执行的。
参照图 8， 图像处理部分 7 的主控部分 21 设定要布置在相机 1 的可拍摄区域内的、 执行校准所针对的校准图案图像的数量 ( 步骤 S801)。要布置的图像数量的输入由输入接 收和图像显示部分 8 的布置数设定接收装置 82 接收。在本实施方式中， 布置的数量可以 是″ 1″， 就是说， 可以只布置一个校准图案图像， 或者也可以布置特征点之间的间隔不同 的多个校准图案图像。
主控部分 21 确定是否获得了所设定的布置的数量个校准图案图像 ( 步骤 S802)， 并且如果主控部分 21 确定还没有得到所设定的布置的数量个校准图案图像 ( 步骤 S802 ： 否 )， 则主控部分 21 从相机 1 获取校准图案图像 ( 步骤 S803)。如果主控部分 21 确定获得 了所设定的布置的数量个校准图案图像 ( 步骤 S802 ： 是 )， 则主控部分 21 在预定区域 ( 第 一区域 ) 内提取特征点 ( 第一特征点 )( 步骤 S804)， 并且然后在不同于该预定区域的区域 ( 第二区域 ) 内提取特征点 ( 第二特征点 )( 步骤 S805)。
在各个校准图案图像中， 特征点 30， 30， ... 是按照有规律的间隔布置的。虽然在 特征点 30， 30， ... 之间的间隔相对较窄时可以以较高精度执行校准， 但是正确提取出特征 点 30， 30， ... 的区域变得相对较窄。与此相反， 虽然在特征点 30， 30， ... 之间的间隔相 对较宽时不能以较高精度执行校准， 但是正确提取出特征点 30， 30， ... 的区域被相对地扩 大。因此， 可以通过按照图像畸变的程度从不同的区域中提取特征点 30， 30， ... 来以较高 的精度在较宽的区域内执行校准。
主控部分 21 将要布置的多个校准图案图像中要作为基准的校准图案图像设定为 基准图像 ( 步骤 S806)。要作为基准的校准图案图像的设定是由输入接收和图像显示部分
8 中的基准位置设定接收装置 84 接收的。
主控部分 21 计算用于执行基准图像从以平面图方式显示基准图像的世界坐标系 到基准图像的投影变换的投影变换参数 ( 估计值 )( 步骤 S807)， 使用所计算出来的投影变 换参数的反变换参数将除了基准图像之外的校准图案图像中的特征点的坐标数据变换到 世界坐标系中， 并且基于世界坐标系中的基准图像在世界坐标系 ( 基于平面图形式的基准 图像的坐标系 ) 内计算基准图像与除了基准图像之外的各种布置方式之间的对应关系， 作 为包括缩放系数的仿射变换参数 ( 估计值 )( 步骤 S808)。
主控部分 21 设定用于修正透镜畸变的透镜畸变参数和透镜畸变参数之间的关系 ( 这样取得估计值 ： 透镜畸变的中心就是图像的中心， 并且其它的高阶和低阶透镜畸变参 数都是 0( 零 ))( 步骤 S809)， 并且优化之前通过基于以世界坐标系 ( 基于平面图形式的基 准图像的坐标系 ) 中的基准图像为基础的坐标数据并且基于从各种布置方式中提取出来 的特征点在像素坐标系中的坐标数据计算估计值获得的投影变换参数 a 到 h、 仿射变换参 数 S、 T、 θ 和 α 以及透镜畸变参数 K1、 K2、 u 和 v( 步骤 S810)。各个变换参数是通过非线 性最小二乘法或类似方法优化的。 应当注意， 在仅仅对单独一个图像执行校准时， 可以通过 将仿射变换参数 S、 T 和 θ 的值固定地设定为″ 0( 零 )″并将 α 固定地设定为″ 1″来进 行该处理。
主控部分 21 确定使用经过优化的变换参数时的误差是否等于或小于预定值 ( 步 骤 S811)。如果主控部分 21 确定该误差大于该预定值 ( 步骤 S811 ： 否 )， 则主控部分 21 将 处理返回到步骤 S801 并且重复上述步骤。如果主控部分 21 确定该误差等于或小于该预定 值 ( 步骤 S811 ： 是 )， 则主控部分 21 将变换参数存储在存储装置 23 中 ( 步骤 S812) 并且在 后续步骤中使用这些参数。具体地说， 存储投影变换参数 a 到 h 及透镜畸变参数 K1、 K2、 u和 v， 并且接收用于生成期望修正后图像的期望值的输入作为仿射变换参数 S0、 T 0、 θ0 和 α0。 在接收期望值的输入之后， 还要存储所接收的仿射变换参数。
图 9 是表示设定要执行按照本发明的实施方式的图像处理设备 2 的校准所需要的 信息的校准设定屏的示意图。在图 9 所示的例子中， 在校准图案图像显示区域 191 中可以 彼此重叠地显示以校准图案图像的图像数据的形式存储的图像和所提取的特征点。
在图案类型设定区域 192 中， 可以通过下拉菜单接收例如棋盘型和点型校准图案 之间的选择。在教导图像数设定区域 193 中， 可以接收用于执行校准的校准图案图像的数 量的指定 ( 选择接收装置 85)。 在多尺寸对应关系指定区域 194 中， 可以接收关于是否使用 校准图案图像中特征点之间的间隔不同的图像的指定。
在校准图案图像设定区域 195 中， 进行用于执行校准的校准图案图像数据的确 认、 登记、 更新等 ( 包括获取指令接收装置 86)。具体地说， 接收登记号的输入， 并且在图像 显示区域 191 中显示与该登记号对应且此刻被登记的图像和所提取的特征点群。如果没有 登记的或合适的， 通过以弹出菜单形式显示的图像登记屏， 通过选择图像登记按钮来接收 新获取或重新获取的指令 ( 获取指令接收装置 86)。
图 10 是表示用于获取按照本发明的实施方式的图像处理设备 2 的校准图案图像 的图像登记屏的示意图。在图 10 所示的例子中， 在校准图案图像显示区域 191 中显示相机 1 最后获取的图像。 通过选择″登记″按钮， 将当前显示的图像存储到校准图案图像数据存 储单元 231 中作为用于校准的图像数据。应当注意， 当在如上所述的教导图像数设定区域 193 中接收到改变用于执行校准 的校准图案图像的数量的指定时， 例如， 当接收到将该数量从一变为三的指定时， 可以通过 启动图 10 中所示的图像登记屏， 通过接收未获得的登记号的指定作为校准图案图像设定 区域 195 中登记号的输入并且选择″图像登记″按钮来获得新的校准图案图像。
回过头来看图 9， 校准是通过选择校准执行指示按钮 196 来执行的。 在校准结果显 示区域 197 中， 显示所使用特征点的数量 ( 有效点的数量 )、 平均误差、 最大误差和状态作为 执行校准的结果。
图 11 是表示用于呈现按照本发明的实施方式的图像处理设备 2 的校准执行结果 的校准设定屏的示意图。在图 11 所示的例子中， 状态是″成功″， 这表示校准已经正常完 成。
优选地， 可以在显示屏幕上确认校准图案图像中用于执行校准的特征点的位置。 此外， 如图 2 中所示的特征点显示装置 88 那样， 当要在图像登记屏中登记新的图像时， 优选 地将该新的图像与在已经登记的校准图案图像中提取的特征点群相重叠地显示。图 12 是 表示用于登记按照本发明的实施方式的图像处理设备 2 的校准图案图像数据的图像登记 屏的示意图。
如图 12 中所示， 从已经存储了的校准图案图像中提取的特征点群 30a 和 30b 是以 不同方式显示的， 例如， 以不同的颜色。在图 12 所示的例子中， 确定了当显示屏幕的下半部 分被覆盖时上半部分没被充分覆盖， 并且可以例如通过使得所要获得的校准图案图像的布 置方式几乎与特征点群中的未提取区域 30c 相重叠来执行针对整个显示屏幕的校准。
此外， 可以按照显示方式在特征点对应关系显示区域 121 内显示与哪个校准图案 图像对应。这样， 可以在以肉眼观察方式确认哪个特征点群对应于哪个校准图案图像的同 时设定下一个校准图案图像的布置方式， 这是非常有效的。
而且， 可以显示提取区域， 该提取区域是可以从中提取出特征点群的区域。 将可以 从中提取出特征点群的区域的分界线的坐标位置与各个校准图案图像的图像数据相关联 地存储起来， 作为提取区域显示装置。由此， 通过改变校准图案图像的布置方式， 可以以肉 眼观察方式确认可以从中提取出特征点群的区域是否重叠， 并且可以通过进行在不使提取 区域相重叠的前提下尽可能地覆盖整个显示屏幕的布置， 以较高的精度执行校准。
此外， 当可以预先指定仿射变换参数中的缩放系数 α 的大小时， 优选地可以很容 易地在显示屏幕中设定。图 13 是表示通过其可以在按照本发明的实施方式的图像处理设 备 2 中设定缩放系数 α 的校准设定屏的示意图。
如图 13 所示， 提供了图案大小缩放系数输入区域 131， 并且可以通过输入相对于 基准图像的缩放系数 α 的值来设定任何放大比率的校准图案图像。注意， 本发明并不具体 地局限于缩放系数 α 的值的输入， 并且例如， 可以通过输入图案大小的实际值来内部计算 并使用缩放系数 α。
图 14 是表示由按照本发明的实施方式的图像处理设备 2 中的图像处理部分 7 的 主控部分 21 执行校准之后的图像处理的处理步骤的流程图。按照本发明的实施方式的图 像处理方法的各个处理步骤是按照内存于图像处理部分 7 中的本发明的计算机程序 5 执行 的。
在图 14 中， 图像处理部分 7 的主控部分 21 获得校准图案图像 ( 步骤 S1401)， 并且接收仿射变换参数的设定 ( 步骤 S1402)。 所要获得的校准图案图像可以相同于或不同于执 行校准时的校准图案图像。
主控部分 21 基于已经接收了设定的仿射变换参数以及通过执行前面介绍的校准 而得到了优化和存储的投影变换参数和透镜畸变参数来执行畸变修正 ( 步骤 S1403)， 并且 确定畸变修正是否合适 ( 步骤 S1404)。 如果主控部分 21 确定畸变修正不合适 ( 步骤 S1404 ： 否 )， 则主控部分 21 再次确定是否已经接收了执行校准的指令 ( 步骤 S1405)。
如果主控部分 21 确定还没有接收到执行校准的指令 ( 步骤 S1405 ： 否 )， 则处理返 回到步骤 S1401 并且主控部分 21 重复上述步骤。如果主控部分 21 确定已经接收到了执行 校准的指令 ( 步骤 S1405 ： 是 )， 则主控部分 21 在调整图 9 中所示的设定之后执行图 8 中所 示的校准。
如果主控部分 21 确定畸变修正是合适的 ( 步骤 S1404 ： 是 )， 则主控部分 21 将已 经接收了设定的仿射变换参数与通过执行校准而得到了优化和存储的投影变换参数和透 镜畸变参数相关联地存储在存储装置 23 中 ( 步骤 S1406)。
图 15A 到 15C 是各自表示畸变修正之后的图像的示意图。图 15A 到 15C 分别表示 与图 4A 到 4C 相对应的修正后图像。
在图 15A 所示的例子中， 由于图 4A 用作基准图像并且仿射变换参数是按照基准图 像为竖直的情形设定的， 因此将基准图像沿着 X 轴和 Y 轴布置。由于仿射变换参数是按照 基准图像为竖直的情形设定的， 因此从图 15B 和 15C 中可以看出， 其它的校准图案图像是以 图案的布置方式如同该布置方式是从基准图像变化而来的方式示出的。
虽然在图 15A 到 15C 中作为实例示出了对其中的校准图案图像进行了修正的图 像， 但是在实际应用中， 该修正是对最新输入的图像重复进行的， 而不是对校准图案图像进 行修正， 并且实时显示修正后图像。由此， 例如即使以斜侧方式拍摄到测试对象的图像， 也 能不断地修正图像并且好象从正上方拍摄的图像一样地显示该图像， 并且因此可以增加后 处理中检验等的可靠性。
此外， 按照本实施方式， 将直接修正图像本身的方法描述为进行畸变修正的方法。 不过， 可以在对未修正图像进行了期望的处理之后的测量结果 ( 比如坐标数据 ) 进行修正， 而不用修正图像本身。当采用仅仅在数字上修正测量结果而不修正图像本身的方法时， 可 以节约修正图像所需的时间并且可以高速执行畸变修正。不过， 由于需要对畸变的图像直 接进行测量处理， 因此这种方法在畸变的量相对较小或者测量处理不受畸变影响的情况下 才有效。
如上所述， 按照本实施方式， 从基于特征点之间的间隔不同的校准图案图像的不 同区域中提取特征点群。 因此， 可以减小难以提取特征点的区域， 并且可以在较宽的区域内 执行校准。例如， 在可以稀疏显示特征点的区域内使用特征点之间的间隔较窄的校准图案 图像， 而在可以密集显示特征点的区域内使用特征点之间的间隔较宽的校准图案图像， 从 而可以以较高的精度在较宽的区域内执行校准。
应当意识到， 本发明并不局限于上面介绍的实施方式并且可以以本发明思想和范 围之内的各种不同方式加以改造和改进。