图像处理装置和方法、图像处理系统和程序 相关申请的交叉引用
本申请要求2012年11月2日提交的日本在先专利申请JP
2012-243180的权益，其全部内容通过引用包含于此。
技术领域
本公开涉及一种图像处理装置和方法、图像处理系统和程序。具体地，
本公开涉及一种图像处理装置和方法、图像处理系统和程序，其可以容易
地在小空间中以高准确性实现对拍摄立体图像的多个摄像机的校准。
背景技术
通常，可以通过使用多个摄像机来拍摄三维图像的技术很普及。
作为生成三维图像的方法，已知通过设定两个不同视点的摄像机形成
立体摄像机，基于由该立体摄像机拍摄的立体图像计算视差，并且通过使
用该视差生成三维图像的常见方法。
附带地，虽然以在适当的方向上设定这里使用的两个不同视点的摄像
机为前提，但是已知无论如何设定它们，都产生特定物理间隙。因此，通
常，通过对于两个视点的摄像机的各个成像方向获得由图形图案形成的图
像，并且通过使用成像结果预先进行的校准来计算出校正参数，由这些校
正参数校正实际成像结果，并使用实际成像结果。
作为该立体摄像机的校准方法，通过在改变视点的同时获得在其上打
印了位置关系已知的多个特征点的图形图案的多个图像，来计算射影变换
参数（projective transformation parameter），并且实现校准(例如参见“A
Flexible New Technique for Camera Calibration,
http://research.microsoft.com/～zhang”)。
然而，在这种方法中，由于在不同的视点对图形图案进行多次拍摄，
因此需要移动该图形图案或者移动摄像机，这增加了调整工时。
因此，作为仅通过一次成像来执行校准以不增加“A Flexible New
Technique for Camera Calibration,http://research.microsoft.com/～zha
ng”中的调整工时的方法，提出了重叠具有透过性的两个校准图形图案，
同时拍摄具有不同深度的两个或更多个图形图案，并计算校正参数的方法
(例如参见JP2006-250889A)。
然而，在“A Flexible New Technique for Camera Calibration,
http://research.microsoft.com/～zhang”和JP2006-250889A两者的技术中，
当对摄像机(即成像区域)相对于核线(即基线)的间隙角进行估计和校正
时，需要以子像素精度测量具有不同深度的两个或更多个特征点的几何位
置关系。
因此，提出了如下技术：通过同时获得包括与平面图形图案不同深度
的纹理图像，并且使右侧图像和左侧图像的立体匹配的误差量最小，可以
容易并且准确地对相对于校正目标摄像机的基线方向(=右侧摄像机和左
侧摄像机的核线)的右侧摄像机成像区域和左侧摄像机成像区域的倾斜进
行校正（其没能仅通过一个图像(第一深度)的平面检测执行校正）(例如
JP2011-253376A)。
发明内容
然而，通过JP2006-250889A和JP2011-253376A中的方法，当拍摄
具有不同深度的图像时，需要充分地保证深度方向上的空间，并且由于需
要保证足够宽的空间来对在工厂中生产的立体摄像机进行校准，因此制造
成本增加。
鉴于这些状况作出并特别设计了本发明，以对一个图形图案设置镜
(镜面)，由根据包括图形图案上的图案和在镜上映出的图案的图像计算的
具有不同深度的特征点来估计两个摄像机(即成像区域)相对于核线(即基
线)的间隙角，并且基于估计的间隙角计算校正参数。
根据本公开的实施例，提供一种图像处理装置，包括：在立体摄像机
中包括的多个成像单元，所述多个成像单元被配置为对第一图形图案进行
成像，所述第一图形图案包括为多个特征点的图案和镜面；以及校正参数
计算单元，所述校正参数计算单元被配置为基于在由所述多个成像单元成
像的第一图形图案中包括的图案和在所述镜面中映出的图案，计算对所述
多个摄像单元的间隙进行校正的校正参数。
所述校正参数计算单元可以计算对所述多个成像单元中的两个成像
单元的三个轴方向上的间隙和所述两个成像单元相对于基线的旋转角的
间隙进行校正的校正参数。
所述两个成像单元相对于基线的旋转角的间隙可以包括通过将所述
成像单元的成像方向当作轴而获得的并且与所述基线垂直的旋转角的间
隙，以及通过将与所述成像单元的成像方向垂直的方向当作轴而获得的并
且与所述基线垂直的旋转角的间隙。
所述校正参数计算单元可以使用从所述成像单元到所述第一图形图
案的距离、从所述成像单元到在所述第一图形图案中设置的镜面的距离以
及作为已知视差的、所述第一图形图案和第二图形图案之间的距离，来计
算对所述两个成像单元的三个轴方向上的间隙和所述两个成像单元相对
于基线的旋转角的间隙进行校正的校正参数。
所述多个成像单元可以对在所述第一图形图案中包括的图案和在所
述镜面中映出的第二图形图案中包括的图案进行成像。
所述第二图形图案可以包括镜面。所述多个成像单元可以对在所述第
一图形图案中包括的图案、以及在所述第一图形图案的镜面中映出并在构
成所述第二图形图案的镜面中映出的并且被包括在所述第一图形图案中
的图案进行成像。
根据本公开的实施例，提供一种图像处理方法，包括：由在立体摄像
机中包括的多个成像单元执行对第一图形图案进行成像的成像处理，所述
第一图形图案包括为多个特征点的图案和镜面；以及执行校正参数计算处
理，所述校正参数计算处理基于在多次所述成像处理中成像的图形图案中
包括的图案和在所述镜面中映出的图案，计算对所述多个成像单元的间隙
进行校正的校正参数。
根据本公开的实施例，提供一种程序，用于使计算机执行如下处理：
由在立体摄像机中包括的多个成像单元对第一图形图案进行成像，所述第
一图形图案包括为多个特征点的图案和镜面；以及基于在所述成像步骤中
的多次处理中成像的图形图案中包括的图案和在所述镜面中映出的图案，
计算对所述多个成像单元的间隙进行校正的校正参数。
根据本公开的另一实施例，提供一种图像处理系统，包括：图像处理
装置，所述图像处理装置包括多个成像单元；以及图形图案，所述图形图
案被配置为在所述成像单元的成像方向上进行校准。所述图形图案包括在
面对所述多个成像单元的位置设置的、为多个特征点的图案以及镜面。所
述图像处理装置包括所述多个成像单元以及校正参数计算单元，所述多个
成像单元被包括在立体摄像机中并且对所述图形图案进行成像，所述校正
参数计算单元基于在由所述多个成像单元成像的所述图形图案中包括的
图案和在所述镜面中映出的图案，计算对所述多个成像单元的间隙进行校
正的校正参数。
根据本公开的第一实施例，形成立体摄像机的多个成像单元对第一图
形图案进行成像，所述第一图形图案包括为多个特征点的图案和镜面，并
且基于在由所述多个成像单元成像的第一图形图案中包括的图案和在所
述镜面中映出的图案，计算对所述多个摄像单元的间隙进行校正的校正参
数。
根据本公开的第二实施例，图像处理装置通过形成立体摄像机的多个
成像单元对图形图案进行成像，所述图形图案包括为多个特征点的图案和
镜面，并且基于在由所述多个成像单元成像的第一图形图案中包括的图案
和在所述镜面中映出的图案，计算对所述多个摄像单元的间隙进行校正的
校正参数。
本公开的第一和第二实施例的图像处理装置和图像处理系统可以是
进行图像处理的独立装置和系统或块。
根据本公开的实施例中的一个或更多个，即使在有限的空间中，也可
以容易地以高准确性实现立体摄像机的校准。
附图说明
图1是指示应用本公开的图像处理系统的实施例的外观的配置示例
的图；
图2是示出图1中的图像处理系统中的立体摄像机和图形图案的布局
的一个示例的图；
图3是示出图2中的立体摄像机侧的图形图案的示例的图；
图4是示出图1中的图像处理系统中的立体摄像机的外观配置示例的
图；
图5是用于实现图1中的图像处理系统的功能的功能框图；
图6是用于描述校准处理的流程图；
图7是用于描述立体摄像机拍摄的图像的图；
图8是用于描述图形图案的示例的图；
图9是示出通过拍摄的图形图案的图案得到的特征点的示例的图；
图10是用于定义校准需要的校正参数的图；
图11是用于基于校准需要的基线来定义校正参数的图；
图12是用于描述深度检测处理的流程图；
图13是用于描述校准之前和之后的通过拍摄的图形图案得到的特征
点的图；
图14是示出立体摄像机和图形图案的另一布局的图；以及
图15是用于描述通用个人计算机的配置示例的图。
具体实施方式
下文中，参考附图，详细描述本公开的优选实施例。注意，在本说明
书和附图中，用相同的附图标记表示具有基本相同的功能和结构的构成元
素，并且省略对这些构成元素的重复说明。
<图像处理系统的外观的配置示例>
图1示出了被应用了本发明的图像处理系统的一个实施例的外观的
配置示例。在图1中的图像处理系统中，首先，立体摄像机11的成像单
元21-1和21-2拍摄图形图案12，图形图案12包括图案31-1至31-N，并
且在图形图案12中还设置了镜32。这时，除了图形图案12的图案31-1
至31-N之外，立体摄像机11的成像单元21-1和21-2还拍摄在镜32中
映出的图形图案12之外的其它图案或者由纹理形成的图形图案13，并且
将其提供给校准单元14。
因此，校准单元14基于由成像单元21-1和21-2获得的两个图像，
计算对成像单元21-1和21-2之间的间隙进行校正的校正参数，并且使立
体摄像机11对其进行存储。另外，当使用立体摄像机11实现深度检测处
理时，深度检测单元15使用校正参数对由立体摄像机11的成像单元21-1
和21-2获得的图像进行校正，并且检测视差图像(即深度图像)。
更具体地，图1中的图像处理系统包括立体摄像机11、图形图案12、
图形图案13、校准单元14和深度检测单元15。立体摄像机11包括在水
平方向上以预定间隔布置的并且在同一方向上获得图像的成像单元21-1
和21-2。在校准处理中，立体摄像机11通过成像单元21-1和21-2拍摄
设置了镜32的图形图案12，并且将两个拍摄到的图像提供给校准单元14。
随后，立体摄像机11存储在校准单元14中通过基于这两个图像进行的校
准处理而计算的校正参数。
此外，在深度检测处理中，立体摄像机11通过成像单元21-1和21-2
获得图像，将这些图像提供给深度检测单元15，并且响应于这些图像将
在校准处理中存储的校正参数提供给深度检测单元15。在使用校正参数
对立体摄像机11拍摄的图像进行校正之后，深度检测单元15基于两个校
正后的图像检测视差图像。
如图2所示，在相对于立体摄像机11的面对位置、相对于设置成像
单元21-1和21-2的表面平行地设置图形图案12，并且在立体摄像机11
的基本前面的位置设置镜32。此外，在立体摄像机11后面，在面对图形
图案12的位置平行地设置图形图案13。如图3所示，图形图案13包括
图案41。通过这种配置，立体摄像机11的成像单元21-1和21-2拍摄图
形图案12的图案31-1至31-N，并且拍摄图3所示的包括图案41的图形
图案13，其中，图形图案13设置在立体摄像机11的背面，并且图形图
案13被映在设置在图形图案12中的镜32中。由于以这种方式获得的图
像包括设置在图形图案12上的图案31和在镜32中映出的图案41，因此
其遵从一个图像包括具有与成像单元21-1和21-2不同的距离的图案。其
结果是，不需要拍摄具有不同距离的图案来作为各个图像。
如图4所示，立体摄像机11的成像单元21-1和21-2的成像方向是
与方向DX平行并且与直基线B垂直的方向PLX和PRX，方向DX垂直
于构成立体摄像机11的底架，直基线B连接安装了成像单元21-1和21-2
的位置。此外，下面，假设成像单元21-1和21-2之间的安装间隔是沿着
基线B的距离b。此外，如图2所示，假设立体摄像机11的成像单元21-1
和21-2的成像区域和图形图案12之间的距离是距离Z0，立体摄像机11
的成像单元21-1和21-2的成像区域和镜32之间的距离是距离Z1，并且
镜32的前表面和图形图案13之间的距离是距离Z2。
校准单元14进行校准处理，基于从立体摄像机11提供的图像计算用
于对成像单元21-1和21-2的成像方向进行校正的校正参数，并且将其存
储在立体摄像机11中。
深度检测单元15获取立体摄像机11拍摄的图像，并且获取立体摄像
机11提供的通过校准处理计算后的校正参数。随后，深度检测单元15使
用校正参数对立体摄像机11提供的图像进行校正，基于校正后的图像以
像素单位计算距离，并且检测视差图像(即深度图像)。
<用于实现图像处理系统的每个配置的功能>
接下来，参考图5中的功能框图，描述用于实现图1中的图像处理系
统的每个配置的功能。同样，图5的上部的配置示出了在立体摄像机11
和校准单元14中进行校准处理时的配置，并且图5的下部的配置示出了
在立体摄像机11和深度检测单元15中进行深度检测处理时的配置。
立体摄像机11包括成像单元21-1和21-2以及参数存储单元61。成
像单元21-1和21-2包括诸如CCD(电荷耦合器件)和CMOS(互补金属氧
化物半导体)的成像元件。成像单元21-1和21-2在水平方向上以预定距离
b的间隔布置，相对于由连接成像单元21-1和21-2的安装位置的直线形
成的基线B在同一方向上拍摄包括镜32的图形图案12，并且在对拍摄的
图像进行校准处理时将结果提供给校准单元14。此外，在深度检测处理
中，成像单元21-1和21-2将拍摄的图像提供给深度检测单元15。这里，
在不具体彼此区分成像单元21-1和21-2的情况下，可以将它们简称为“成
像单元21”，并且这同样适用于其它部件。
参数存储单元61存储在校准单元14中通过校准处理计算的校正参
数，并且在深度检测处理中将存储的校正参数与拍摄的图像一起提供给深
度检测单元15。
校准单元14包括特征点坐标检测单元101、参数估计单元102和参
数存储单元103。
特征点坐标检测单元101以子像素级别检测包括立体摄像机11提供
的图像中的图案的交叉点的特征点的坐标，并且将其提供给参数估计单元
102。
参数估计单元102基于特征点信息估计在立体摄像机11的成像单元
21-1和21-2中校准所需要的校正参数，并且将估计的校正参数提供给参
数存储单元103。
参数存储单元103使立体摄像机11的参数存储单元61保存并存储校
准单元14提供的校正参数。
深度检测单元15包括参数获取单元121、校正单元122和立体匹配
单元123。参数获取单元121读取并获取存储在立体摄像机11的参数存
储单元61中的校正参数，并且将其提供给校正单元122。
在深度检测处理中，校正单元122获取由立体摄像机11的成像单元
21-1和21-2拍摄的两个图像，使用参数获取单元121提供的校正参数进
行校正，并且将校正后的图像提供给立体匹配单元123。
立体匹配单元123根据两个校正后的图像通过立体匹配处理以像素
单位计算距离，并且生成并输出视差图像作为深度检测结果。
<校准处理>
接下来，参考图6中的流程图，描述校准处理。
在步骤S11中，立体摄像机11使用成像单元21-1和21-2拍摄包括
左右两个图像的立体图像，并且将其提供给校准单元14。这时，校准单
元14的特征点坐标检测单元101获取立体摄像机11提供的图像。
在步骤S12中，特征点坐标检测单元101检测是获取的右侧图像和左
侧图像中的图案的特征点的坐标，并且将它们提供给参数估计单元102。
也就是说，例如，在右侧图像和左侧图像是图7中的图像PL和PR的情
况下，特征点坐标检测单元101以子像素级别检测相应的“+”图案PTL和
PTR的交叉点的位置，并且检测到它们为(XL,YL)和(XR,YR)。
这里，对于由与右侧摄像机和左侧摄像机相对应的成像单元21-1和
21-2拍摄的特征点的像素单位坐标(xL,yL)和(xR,yR)，当近似假设镜头
焦距为1时，当成像单元21-1和21-2的像素间距是p[mm/像素]，并且焦
距是f[mm]时，可以用下面的公式(1)到(4)表示成像区域上的距离。
XL＝xLxp/f…(1)
YL=yLxp/f…(2)
XR=xRXp/f…(3)
YR=yRxp/f…(4)
因此，在下面的说明中，如果没有另外指出，则通过如上所述的假设
焦点距离近似为1的情况下成像区域上的坐标表示特征点坐标。此外，可
以任选地对由于镜头失真而产生的坐标偏移进行校正，以提供针孔摄像机
模型，并且假设输入了理想坐标。
这里，在图7所示的示例中，为了容易理解，虽然示出了图案的数量
是一个的情况，但是例如，如图8的上部所示，实际假设图形图案12和
13具有包括由网格点等形成的多个图案的配置。随后，在图8中的图形
图案12和13中，如图8的下部所示，检测角落C的位置作为特征点坐
标，角落C是黑块体和白块体的边缘部分的交叉点。
此外，在图8的上部，设置黑块体和白块体在图形图案13中比在图
形图案12中大。在立体摄像机11的成像单元21-1和21-2的成像位置和
图形图案12之间的距离是A的情况下，由于立体摄像机11的成像单元
21-1和21-2在镜32中映出图形图案13的状态下对图形图案13进行拍摄，
因此实际作为设置在由离立体摄像机11基本为2A的距离分开的位置的
图形图案而被拍摄，因此它们被设置为大于图形图案12。这里，作为立
体摄像机11和图形图案12之间的距离，可以设置各种距离。此外，图形
图案12和13的大小不限于在图8的上部示出的大小。
图9示出了由如上所述的特征点坐标检测单元101发现的、通过使用
图8的图形图案12和13由立体摄像机11拍摄的图像得到的特征点坐标
的检测结果。也就是说，对于图9中的图像PL'和PR'，通过使用图8中
的图形图案12和13，将根据由立体摄像机11的成像单元21-1和21-2拍
摄的图像PL和PR得到的特征点坐标表示为包括“+”号的图像PL'和PR'。
水平方向上的数值表示使用图像中心作为原点指示X方向上的像素位置
的坐标值，并且垂直方向上的数值表示使用图像中心作为原点指示Y方
向上的像素位置的坐标值。此外，区域ZL和ZR是图像PL'和PR'中的
通过在镜32中映出的图形图案13的图案得到的特征点坐标。
因此，与区域ZL和ZR外部的特征点坐标相比，区域ZL和ZR内
部的特征点坐标是距离成像单元21-1和21-2的成像区域更远的位置上的
图案的坐标。相反，与区域ZL和ZR内部的特征点坐标相比，区域ZL
和ZR外部的特征点坐标是更靠近成像单元21-1和21-2的成像区域的位
置上的图案的坐标。
在步骤S13中，参数估计单元102基于关于特征点坐标的信息估计校
准使用的校正参数(θ,,α,base,αbase)，并且将估计的校正参数(θ,,α,
base,αbase)提供给参数存储单元103。
这里，在详细描述校正参数(θ,,α,base,αbase)的估计方法时，定
义下面的坐标系。也就是说，如图10所示，假设由成像单元21-1和21-2
拍摄的图像的成像区域F的中心位置为原点，假设水平向右方向为正，并
定义X轴，假设垂直向上方向为正，并定义Y轴，并且假设远离成像区
域F的方向为正，并定义Z轴。
另外，如图11的左侧部分所示，当假设相对于成像单元21-1和21-2
的X轴(包括基线B)（其中，X轴的正方向指向观察者），逆时针方向为
正时，将旋转(倾斜)角分别定义为θR和θL。此外，如图11的中心部分所
示，当假设相对于成像单元21-1和21-2的Y轴(包括基线B)（其中，Y
轴的正方向指向观察者），逆时针方向为正时，将旋转(平移)角分别定义
为R和L。此外，如图11的右侧部分所示，当假设相对于成像单元21-1
和21-2的Z轴(包括基线B)（其中，Z轴的正方向指向观察者），逆时针
方向为正时，将旋转(翻转（rot）)角分别定义为αR和αL。
也就是说，立体摄像机11的校准的目的是通过估计每个轴的旋转角
(θL,θR,L,R,αL,αR)，满足在将基线B作为核线进行处理时的核线约
束，并且计算校正参数，以使得将右侧特征点和左侧特征点设置在同一基
线(即核线)上。
然而，对于作为相对于X轴的旋转角的θL和θR，不存在相对于基
线B的约束，并且仅必需计算左右之间的相对角度(θL-θR)。
当对上面的内容进行组织时，当假设右侧和左侧成像单元21-1和21-2
之间的相对角度(即相对于XYZ轴的右侧和左侧成像单元21-1和21-2之
间的旋转角的差)为θ、和α，并且假设基于基线B的绝对角度(相对于YZ
轴)是_base和α_base时，它们可以用下面的方程(5)到(9)表示。
θ=θL-θR…(5)
φ＝φL-φR…(6)
α=αL-αR…(7)
φ_b8sexO.5×(θL+θR)…(8)
α_base=0.5*(αL+αR)…(9)
这里，θ、和α表示指示成像单元21-1和21-2之间的相对角度的参
数。更具体地，θ表示指示成像单元21-1和21-2的垂直间隙的参数。此
外，表示指示成像单元21-1和21-2的绝对距离间隙的参数。此外，α
表示指示成像单元21-1和21-2的旋转间隙的参数。另外，_base和α_base
表示指示相对于基线B约束的绝对角度的参数。也就是说，_base表示
相对于基线B围绕Y轴的绝对角度，并且α_base表示相对于基线B围绕
Z轴的绝对值，也就是说，按照视差改变的Y间隙量。
参数估计单元102按照下面的方式估计这些校正参数(θ,α,base,
αbase)。
也就是说，当假设某一未处理的特征点p的绝对坐标是(X,Y,Z)，并
且假设基线B上的成像单元21-1和21-2之间的距离是b时，以下面的方
程(10)和(11)表示右侧和左侧成像单元21-1和21-2中的实际坐标(x_L,y_L,
z_L)和(x_R,y_R,z_R)。
x L y L z L = R x ( θ ) R y ( φ base + φ ) R z ( α base + α ) x + 0.5 b y z . . . ( 10 ) ]]>
x R y R z R = R x ( θ ) R y ( φ base - φ ) R z ( α base - α ) x - 0.5 b y z . . . ( 11 ) ]]>
这里，Rx、Ry和Rz表示围绕X、Y和Z轴的旋转矩阵，并且将其
表示为下面的方程(12)到(14)。
R x ( θ ) = 1 0 0 0 cos θ - sin θ 0 sin θ cos θ . . . ( 12 ) ]]>
R y ( φ ) = cos φ 0 sin φ 0 1 0 - sin φ 0 cos φ . . . ( 13 ) ]]>
R z ( α ) = cos α - sin α 0 sin α cos α 0 0 0 1 . . . ( 14 ) ]]>
此外，这时，将(XL,YL)和(XR,YR)表示为下面的方程(15)和(16)。
X L Y L = x L z L y L z L . . . ( 15 ) ]]>
X R Y R = x R z R y R z R . . . ( 16 ) ]]>
参数估计单元102基于上述在成像区域上观察到的YL和YR的间隙
量，估计每个轴的旋转角(θ,α,base,αbase)。
这里，通过“Journal'Information processing,'May1990,Vol.31,No.5,
'Self calibration of stereo camera,'written by Humiaki Tomita and
Hironobu Takahashi”(下文中称为“参考文献”)中的方程(14)和(5)到(9)，当
假定在右侧和左侧镜头之间不存在放大率差时，可以用如下面的方程(17)
的近似方程来表示由右侧和左侧成像单元21-1和21-2拍摄的图像中的特
征点的Y坐标的差(YL-YR)。
- ( Y L - Y R ) ≅ - ( Y L Y R + 1 ) θ + X L Y R ( φ base + φ 2 ) - X R Y L ( φ base - φ 2 ) - X R ( α base - α 2 ) + X L ( α base + α 2 ) . . . ( 17 ) ]]>
这里，当将右侧和左侧特征(XL,YL)和(XR,YR)的中间点表示为
X=0.5×(XL-XR)和Y=0.5×(YL-YR)，并且将特征点(XL,YL)和(XR,YR)
之间的差表示为ΔX=(XL-XR)和ΔY=(YL-YR)时，可以将方程(17)变换为
下面的方程(18)。
- ( Y L - Y R ) ≅ - ( ( Y + ΔY 2 ) ( Y - ΔY 2 ) + 1 ) θ + ( X + ΔX 2 ) ( Y- ΔY 2 ) ( φ base + φ 2 ) + ( X + ΔX 2 ) ( α base + α 2 ) - ( X - ΔX 2 ) ( Y + ΔY 2 ) ( φ base - φ 2 ) - ( X - ΔX 2 ) ( α base - α 2 ) . . . ( 18 ) ]]>
当用每个轴的旋转量表示方程(18)中的描述时，其可以用下面的方程
(19)表示。
- ( Y L - Y R ) ≅ θ { - ( ( Y 2 - ( ΔY 2 ) 2 ) + 1 ) } + φ base { ( X + ΔX 2 ) ( Y - ΔY 2 ) - ( X - ΔX 2 ) ( Y + ΔY 2 ) ) } + 1 2 φ { ( X + ΔX 2 ) ( Y - ΔY 2 ) + ( X - ΔY 2 ) ( Y + ΔY 2 ) } + φ base { ( x + ΔX 2 ) - ( X - ΔX 2 ) } + 1 2 α { ( X + ΔX 2 ) + ( X - ΔX 2 ) = - ( ( Y 2 - ( ΔY 2 ) 2 ) + 1 ) θ + φ ( XY - ΔXΔY ) + φ base ( ΔXY - XΔY ) + α ( X ) + α base ( ΔX ) . . . ( 19 ) ]]>
由于当满足核线约束并且校准匹配时，表达式(19)中的ΔY变为ΔY≈0，
因此如果已知进行校准时的ΔX，也就是说，理想视差d_calibrated，则方
程(19)可以被近似为下面的方程(20)。
- ( Y L - Y R ) ≅ - ( Y 2 + 1 ) θ + ( XY ) φ + ( d calibrated Y ) φ base + ( X ) α + ( d calibrated ) α base . . . ( 20 ) ]]>
这里，如图2所示，由于图形图案12和13的深度是已知的(即Z0
和Z0+Z1)，因此如果假定焦点距离为1，则每个理想视差(d_calibrated)
可以被计算作为用下面的方程(21)和(22)表示的已知参数。
d pattern 1 = b Z 0 . . . ( 21 ) ]]>
d pattern 2 = b Z 1 + Z 2 . . . ( 22 ) ]]>
因此，通过根据图案深度将Y坐标差(YL-YR)代入方程(20)，其可以
使用右侧和左侧摄像机特征点坐标的中间点(X,Y)以及作为立体摄像机
11的旋转参数的θ、、α、_base和α_base来表示。也就是说，如下面
的方程(23)所示，可以定义每个特征点的误差函数e。
e = ( Y L - Y R ) - ( Y 2 + 1 ) θ + ( XY ) φ + ( d calibrated Y ) φ base + ( X ) α + ( d calibratde ) α base . . . ( 23 ) ]]>
参数估计单元102针对每个特征点估计θ、α、_base和α_base，
以使得由方程(23)定义的误差函数e最小。这里，对于该误差函数的最小
化，已知使用许多特征点来进行，以确保对噪声的鲁棒性。作为这些多个
变量的估计方法，例如，已知应用Levenberg-Marquardt方法。
这里，返回到对流程图的说明。
在步骤S14中，参数存储单元103使立体摄像机11的参数存储单元
61保存并存储参数估计单元102提供的校正参数(θ,α,base,αbase)。
通过上述处理，通过如图1所示设置镜，关于进行校准时的成像单元
21-1和21-2的成像方向，可以抑制实际需要的深度量，并且使用具有不
同深度的图形图案12和13实现校准。其结果是，由于可以在较小的空间
中进行校准，因此可以实现制造成本的降低。
此外，通过使用分离成_base和α_base（_base和α_base是由基线
约束的绝对旋转元素）以及相对旋转元素θ、和α（相对旋转元素θ、和
α是相对旋转角的间隙元素）的参数对其进行表示，可以使用如方程(17)
所示的近似方程，基于右侧和左侧之间的Y间隙(即相对于基线B的垂直
方向上的误差)来估计校正参数(即角度)。
此外，通过分开表示具有不同特性的旋转角元素，由于相互干扰减小，
因此可以更鲁棒地估计校正参数。
另外，在估计绝对旋转元素时，通过在假设从成像单元21-1和21-2
到图形图案12和13的深度已知的情况下给出视差的同时估计校正参数，
可以减小特征点检测误差的影响，并且更鲁棒地估计旋转角。
此外，虽然上面描述了假设已知图形图案12和13的深度并且给出视
差d_calibrated，以进行旋转角估计的示例，但是使用在上述参考文献中
描述的方法，可以仅通过特征点的坐标信息进行估计。
此外，如在JP2011-253376A中所描述的，通过拍摄具有不同深度的
纹理表面，并且针对校正参数的评价函数使用立体匹配误差量，可以估计
使评价函数最小的旋转角。
<深度检测处理>
接下来，参考图12中的流程图，描述深度检测处理。
在步骤S31中，立体摄像机11使用成像单元21-1和21-2拍摄右侧
图像和左侧图像，并且将它们提供给深度检测单元15。深度检测单元15
的校正单元122获取立体摄像机11提供的右侧图像和左侧图像。
在步骤S32中，参数获取单元121访问立体摄像机11的参数存储单
元61，读取并获取存储的校正参数(θ,α,base,αbase)，并且将它们提
供给校正单元122。
在步骤S33中，校正单元122使用校正参数(θ,α,base,αbase)对
获取的右侧图像和左侧图像进行校正，并且将校正后的图像提供给立体匹
配单元123。也就是说，使用校正参数(θ,α,base,αbase)对图像进行
校正，以使得抵消间隙。其结果是，例如，通过使用校正参数对在图13
的上部分示出的、包括从在成像单元21-1和21-2中拍摄的图像中提取的
特征点的坐标的图像PL111和PR111进行校正，它们被校正为在图13的
下部分示出的图像PL111'和PR111'。
在步骤S34中，立体匹配单元123基于校正后的右侧图像和左侧图像
进行立体匹配处理，以像素单位计算距离，并且基于像素单位距离生成并
输出包括像素值的视差图像作为深度处理结果。此外，关于立体匹配的细
节，例如参见Yuichi Ohta、Takeo Kanade Stereo的Intra-and
Inter-Scanline Search Using Dynamic Programming IEEE Transactions
on Pattern Analysis and Machine Intelligence and1985。
通过上述处理，可以使用通过使用包括镜的图形图案的校准处理计算
的校正参数来实现深度检测处理。
此外，即使在有限的窄空间中，由于可以对立体摄像机11的成像单
元21-1和21-2的成像方向进行充分的校正，因此也可以降低立体摄像机
11的制造成本，并且获取具有高准确性的视差图像。
这里，虽然上面描述了为了由深度检测单元15进行深度检测处理而
计算校正参数的示例，但是可以针对用于拍摄其它图像的立体摄像机计算
校正参数。此外，虽然上面描述了计算用于对包括右侧和左侧成像单元
21-1和21-2的两个成像单元21进行校正的校正参数的示例，但是可以使
用多于两个的更多个成像单元。
此外，如图2所示，虽然上面描述了将立体摄像机11布置在图形图
案12和13之间的示例，但是如果可以对具有不同深度的图形图案或者纹
理进行拍摄，则可以使用其它配置。例如，如图14的左侧部分所示，代
替图形图案13，在立体摄像机11和图形图案12之间设置图形图案13'（在
图形图案13'中在与成像单元21-1和21-2相对应的位置设置孔部分13'a-1
和13'a-2），同时其被连通到立体摄像机11的成像单元21-1和21-2。此
外，如图14的右侧部分所示，可以将镜132设置到图形图案13的整个表
面，以拍摄由光路L1指示的图像以及其中具有不同深度的光路是光路
L2-1至L2-3的总和的图像。
根据上述内容，即使在有限的空间中，也可以对包括多个成像单元的
立体摄像机中的成像单元的成像方向进行充分的校正，并且实现通过使用
该立体摄像机以高准确性进行成像。
上述一系列处理可以通过硬件来执行，或者可以通过软件来执行。当
通过软件执行该一系列处理时，将形成软件的程序安装到被包含在专用硬
件中的计算机中，或者从存储介质安装到例如通过安装各种类型的程序可
以执行各种类型的功能的通用个人计算机中。
图15示出了通用个人计算机的配置示例。该个人计算机包含CPU(中
央处理器)1001。CPU1001通过总线1004连接到输入/输出接口1005。总
线1004连接到ROM(只读存储器)1002和RAM(随机存取存储器)1003。
输入/输出接口1005连接到：输入单元1006，输入单元1006包括用
户用来输入操作命令的键盘和诸如鼠标的输入设备；输出单元1007，输
出单元1007向显示设备输出处理操作画面或者处理结果的图像；存储单
元1008，存储单元1008包括存储程序和各种数据的硬盘驱动；以及通信
单元1009，通信单元1009使用LAN(局域网)，通过以因特网为代表的网
络进行通信处理。此外，用于读取和写入数据的驱动1010连接到诸如磁
盘(包括软盘)、光盘(包括CD-ROM(光盘只读存储器)和DVD(数字通用
盘))、磁光盘(包括MD(迷你盘))和半导体存储器的可移动介质1011。
CPU1001根据存储在ROM1002中的程序或者从诸如磁盘、光盘、
磁光盘和半导体存储器的可移动介质1011读取、安装在存储单元1008中
并且从存储单元1008加载到RAM1003上的程序，进行各种处理。RAM
1003充分地存储在CPU1001中进行各种处理所需的数据。
在如上所述构成的计算机中，CPU1001经由输入/输出接口1005和
总线1004将例如存储在存储单元1008中的程序加载到RAM1003上，并
且执行该程序。由此，执行上述一系列处理。
通过记录在作为打包媒质等的可移动介质1011中，来提供要由计算
机(CPU1001)执行的程序。此外，可以经由诸如局域网、因特网或者数字
卫星广播的有线或无线传输介质来提供程序。
在计算机中，通过将可移动介质1011插入驱动1010中，可以经由输
入/输出接口1005将程序安装到存储单元1008中。此外，通信单元1009
可以经由有线或无线传输媒质接收程序，并且将其安装到存储单元1008
中。此外，可以预先将程序安装在ROM1002或者存储单元1008中。
注意，计算机执行的程序可以是根据在本说明书中描述的序列按照时
间顺序进行处理的程序，或者并行或诸如在调用时在需要的定时进行处理
的程序。
此外，在本公开中，系统具有多个构成元素(例如装置或模块(部分))
的集合的含义，而不考虑所有构成元素是否都在同一机壳中。因此，系统
可以是存储在分离的机壳中并且通过网络连接的多个装置或者单个机壳
内的多个模块。
本技术的实施例不限于上述实施例。本领域技术人员应当理解，依据
设计需要和其它因素，可以想到各种变形、组合、子组合和改变，只要它
们在所附权利要求或其等同物的范围内。
例如，本公开可以采用通过由多个装置通过网络分配并连接一个功能
来进行处理的云计算的配置。
此外，可以由一个装置或者通过分配多个装置来执行通过上述流程图
描述的每个步骤。
另外，在一个步骤中包括多个处理的情况下，可以由一个装置或者通
过分配多个装置执行包括在该一个步骤中的多个处理。
本领域技术人员应当理解，依据设计需要和其它因素，可以想到各种
变形、组合、子组合和改变，只要它们在所附权利要求或其等同物的范围
内。
另外，还可以如下配置本技术。
(1)一种图像处理装置，包括：
在立体摄像机中包括的多个成像单元，所述多个成像单元被配置为对
第一图形图案进行成像，所述第一图形图案包括为多个特征点的图案和镜
面；以及
校正参数计算单元，所述校正参数计算单元被配置为基于在由所述多
个成像单元成像的第一图形图案中包括的图案和在所述镜面中映出的图
案，计算对所述多个摄像单元的间隙进行校正的校正参数。
(2)根据(1)所述的图像处理装置，其中，所述校正参数计算单元计算
对所述多个成像单元中的两个成像单元的三个轴方向上的间隙和所述两
个成像单元相对于基线的旋转角的间隙进行校正的校正参数。
(3)根据(2)所述的图像处理装置，其中，所述两个成像单元相对于基
线的旋转角的间隙包括通过将所述成像单元的成像方向当作轴而获得的
并且与所述基线垂直的旋转角的间隙，以及通过将与所述成像单元的成像
方向垂直的方向当作轴而获得的并且与所述基线垂直的旋转角的间隙。
(4)根据(2)所述的图像处理装置，其中，所述校正参数计算单元使用
从所述成像单元到所述第一图形图案的距离、从所述成像单元到在所述第
一图形图案中设置的镜面的距离以及作为已知视差的、所述第一图形图案
和第二图形图案之间的距离，来计算对所述两个成像单元的三个轴方向上
的间隙和所述两个成像单元相对于基线的旋转角的间隙进行校正的校正
参数。
(5)根据(1)所述的图像处理装置，其中，所述多个成像单元对在所述
第一图形图案中包括的图案和在所述镜面中映出的第二图形图案中包括
的图案进行成像。
(6)根据(5)所述的图像处理装置，
其中，所述第二图形图案包括镜面，以及
其中，所述多个成像单元对在所述第一图形图案中包括的图案、以及
在所述第一图形图案的镜面中映出并在构成所述第二图形图案的镜面中
映出的并且被包括在所述第一图形图案中的图案进行成像。
(7)一种图像处理方法，包括：
由在立体摄像机中包括的多个成像单元执行对第一图形图案进行成
像的成像处理，所述第一图形图案包括为多个特征点的图案和镜面；以及
执行校正参数计算处理，所述校正参数计算处理基于在多次所述成像
处理中成像的图形图案中包括的图案和在所述镜面中映出的图案，计算对
所述多个成像单元的间隙进行校正的校正参数。
(8)一种程序，用于使计算机执行如下处理：
由在立体摄像机中包括的多个成像单元对第一图形图案进行成像，所
述第一图形图案包括为多个特征点的图案和镜面；以及
基于在所述成像步骤中的多次处理中成像的图形图案中包括的图案
和在所述镜面中映出的图案，计算对所述多个成像单元的间隙进行校正的
校正参数。
(9)一种图像处理系统，包括：
图像处理装置，所述图像处理装置包括多个成像单元；以及
图形图案，所述图形图案被配置为在所述成像单元的成像方向上进行
校准，
其中，所述图形图案包括在面对所述多个成像单元的位置设置的、为
多个特征点的图案以及镜面，以及
其中，所述图像处理装置包括所述多个成像单元以及校正参数计算单
元，所述多个成像单元被包括在立体摄像机中并且对所述图形图案进行成
像，所述校正参数计算单元基于在由所述多个成像单元成像的所述图形图
案中包括的图案和在所述镜面中映出的图案，计算对所述多个成像单元的
间隙进行校正的校正参数。