俯瞰图像生成装置.pdf

本发明提供俯瞰图像生成装置，其能避免计算处理的复杂化、负荷的增大，并能插补远景区域的显示变形而生成将能显示的范围放大了的转换图像。该俯瞰图像生成装置具有：摄像单元(2)，其对包含地表面在内从近景到远景进行拍摄；图像处理装置(4)，其从由上述摄像单元拍摄到的输入图像合成俯瞰图像；显示单元(6)，其显示上述俯瞰图像，其中，上述图像处理装置具有收纳有像素参照用查找表的存储单元，该像素参照用查找表用于将上述输入图像通过平面投影转换变换为俯瞰图像，并在该俯瞰图像的远景侧放大合成上述输入图像的远景区域，上述查找表对上述输入图像进行加权，使得从上述俯瞰图像的近景侧越朝向周边以及远景侧上述输入图像的比率越高。

权利要求书
1.  一种俯瞰图像生成装置，其具有：
摄像单元，其对包含地表面在内从近景到远景进行拍摄；
图像处理装置，其从由上述摄像单元拍摄到的输入图像合成俯瞰图像；以及
显示单元，其用于显示上述俯瞰图像，该俯瞰图像生成装置的特征在于，
上述图像处理装置具有存储单元，该存储单元收纳有像素参照用查找表，该像素参照用查找表用于将上述输入图像通过平面投影转换变换为俯瞰图像，并且在该俯瞰图像的远景侧放大并合成上述输入图像的远景区域，上述查找表对上述输入图像进行加权，使得从上述俯瞰图像的近景侧越朝向周边以及远景侧上述输入图像的比率越高。

2.  根据权利要求1所述的俯瞰图像生成装置，其特征在于，
上述加权满足以上述俯瞰图像的近景侧为中心的同心超椭圆状的分布。

3.  根据权利要求2所述的俯瞰图像生成装置，其特征在于，
在将上述输入图像通过平面投影转换变换为俯瞰图像时，上述加权是根据求出俯瞰图像的插值像素时上述输入图像的各像素被参照的次数与半径相关的同心超椭圆，通过近似和平滑处理得到的加权图，从而满足上述同心超椭圆状的分布。

4.  根据权利要求3所述的俯瞰图像生成装置，其特征在于，
与用于将上述输入图像通过平面投影转换变换为上述俯瞰图像的俯视用查找表的各像素对应的登记值设为g(u，v)，与用于放大并合成上述输入图像的远景区域的背景用查找表的各像素对应的登记值设为h(u，v)，将根据上述加权图得到的加权系数设为α，其中0≤α≤1，将用于对上述像素参照用查找表的加权进行动态调整的控制用加权变量设为β，其中0≤β≤1，此时，上述像素参照用查找表的与由上述俯视用查找表和上述背景用查找表合成的合成查找表的各像素对应的登记值f(u，v)可由下式求出，
式：
f(u,v)=g(u,v)+β·(α-1)·h(u,v)1+β·(α-1)]]>

5.  根据权利要求3或4所述的俯瞰图像生成装置，其特征在于，
上述摄像单元是车载摄像装置，上述图像处理装置能够获得车辆的转向角度，上述像素参照用查找表构成为满足左右各侧的超椭圆的指数不同的非对称加权图，使得作为左右的曲率不同的非对称的像素参照用查找表存储于上述存储单元，在车辆转向时，能够生成在转向方向的内侧和外侧的近景远景的比率不同的俯瞰图像。

说明书俯瞰图像生成装置
技术领域
本发明涉及提高了远景部分的显示品质的俯瞰图像的生成装置，主要是涉及以驾驶辅助为目的将车载摄像装置的图像转换成俯瞰图像并显示的俯瞰图像生成装置的改进。
背景技术
以车辆后退时的驾驶辅助等为目的所使用的车载摄像装置具有如下功能：为了进行泊车辅助，对从车辆后部拍摄到的图像进行转换，并显示成假设从本车上空俯视作为目标的泊车框、本车后端所得到的俯瞰图像。在这样的俯瞰图像中存在如下问题：如果想要更广阔地显示车辆后方(背景)，则显示图像就会发生较大变形而变得不自然。
在专利文献1中，除了设定在地面上的假想投影面之外，通过另外设定相对于地面倾斜的假想投影面，从而在近景用的俯瞰图像的上侧显示地平线以上的远景图像。但是，该方法是在2个假想投影面进行三维坐标转换来生成俯瞰图像，因此存在以下这样的问题，即导致矩阵、逆矩阵运算等的计算处理的复杂化和处理量的增大，使负荷增大。
专利文献1：日本特许第4257356号公报
发明内容
发明要解决的问题
本发明是鉴于上述那样的实际情况而做成的，其目的在于提供一种俯瞰图像生成装置，其能够避免计算处理的复杂化、负荷的增大，并且能够插补远景区域的显示变形而生成将能够显示的范围放大了的转换图像。
用于解决问题的方案
为了解决上述课题，本发明是一种俯瞰图像生成装置，其具有：摄像单元2)，其对包含地表面在内从近景到远景进行拍摄；图像处理装置(4)，其从由上述摄像单元拍摄到的输入图像合成俯瞰图像；以及显示单元(6)，其用于显示上述俯瞰图像，该俯瞰图像生成装置的特征在于，上述图像处理装置具有存储单元，该存储单元收纳有像素参照用查找表(42)，该像素参照用查找表用于将上述输入图像(10)通过平面投影转换变换为俯瞰图像(20a)，并且在该俯瞰图像的远景侧放大并合成上述输入图像的远景区域(10b)，上述查找表对上述输入图像进行加权，使得从上述俯瞰图像的近景侧越朝向周边以及远景侧上述输入图像(10)的比率越高。
发明的效果
本发明的俯瞰图像生成装置利用上述结构而具有以下那样的效果。
利用二维的平面投影转换从输入图像合成俯瞰图像，因此，能够避免三维坐标转换时那样的计算的复杂化、处理量的增大。
在俯瞰图像的远景侧放大并合成输入图像，因此，能够抑制通常的俯瞰图像常见的变形、失真，从而得到能够自然地显示从近景到远景的俯瞰图像。
上述俯瞰图像的平面投影转换和远景区域的放大加权合成的处理参照预先准备的查找表来实施，因此能够进一步简化计算处理。
在本发明的优选的技术方案中，上述加权满足以上述俯瞰图像的近景侧为中心的同心超椭圆状的分布。从输入图像平面投影转换成的俯瞰图像从近景侧越朝向周边以及远景侧变形变得越大，因此，通过利用同心超椭圆状的分布，从近景俯瞰图像向远景输入图像转换而能够得到自然的图像。而且，超椭圆能以比较简单的数学式表现出来，并且通过增减其指数而使曲率变化，因此，还具有能够根据输出用途调整图像的特征的优点。
此外，在将上述输入图像通过平面投影转换变换为俯瞰图像时，上述加权是根据求出俯瞰图像的插值像素时上述输入图像的各像素被参照的次数与半径相关的同心超椭圆，通过近似和来平滑处理得到的加权图，从而满足上述同心超椭圆状的分布，这种技术方案中，根据俯瞰图像的变形、失真的 程度对远景输入图像进行加权后被应用，因此，能够生成具有近景俯瞰图像和远景输入图像各自的特征的良好的合成图像。
在本发明的优选技术方案中，与用于将上述输入图像通过平面投影转换变换为上述俯瞰图像的俯视用查找表的各像素对应的登记值设为g(u，v)，与用于放大并合成上述输入图像的远景区域的背景用查找表的各像素对应的登记值设为h(u，v)，将根据上述加权图得到的加权系数设为α，其中0≤α≤1，将用于对上述像素参照用查找表的加权进行动态调整的控制用加权变量设为β，其中0≤β≤1，此时，上述像素参照用查找表的与由上述俯视用查找表和上述背景用查找表合成的合成查找表的各像素对应的登记值f(u，v)可由下式求出。
式：
f(u,v)=g(u,v)+β·(α-1)·(u,v)1+β·(α-1)]]>
在该技术方案中，通过增减控制用加权变量β，使近景俯瞰图像和远景俯瞰图像的比率根据驾驶状况等进行变化，从而能够得到适当的图像。
在本发明的优选技术方案中，上述摄像单元是车载摄像装置，上述图像处理装置能够获得车辆的转向角度，上述像素参照用查找表构成为满足左右各侧的超椭圆的指数不同的非对称加权图，使得作为左右的曲率不同的非对称的像素参照用查找表存储于上述存储单元，在车辆转向时，能够生成在转向方向的内侧和外侧的近景远景的比率不同的俯瞰图像。在该技术方案中，通过根据车辆的转向角度在转弯方向内侧和转弯方向外侧进行不同的加权，能够提供接近实际观察状态的自然的图像。
附图说明
图1是表示本发明的第1实施方式的俯瞰图像生成装置的框图。
图2是表示本发明的第2实施方式的俯瞰图像生成装置的框图。
图3是表示本发明的俯瞰图像生成概念的图。
图4是从输入图像向俯瞰图像的平面投影转换中的像素参照次数分布图和将其平滑处理过的加权图。
图5是表示查找表的加权合成的图。
图6是与控制用加权变量β对应的查找表和输出图像。
图7是表示与非对称加权图对应的非对称合成查找表和转弯方向的关系的图。
图8是表示俯瞰图像的动态加权与显示区域的关系的侧视图。
附图标记说明
1俯瞰图像生成装置；2摄像头(倒车摄像头、摄像单元)；3车载传感器；4图像处理装置；5图像输出用VRAM；6显示器；10输入图像；11地表面；20a俯瞰图像；20b背景图像；30，31，33图(比色图表)；41图像输入用VRAM；42规定速度用合成查找表；42a俯瞰图像用查找表；42b背景图像用查找表；43规定转向角度合成查找表；43c加权用参照次数表；44预测计算用查找表；45 CPU；50，51，52合成俯瞰图像。
具体实施方式
以下，参照附图详细说明本发明的实施方式。
在图1中，本发明的第1实施方式的俯瞰图像生成装置1主要由摄像头2(倒车摄像头)、车载传感器3、图像处理装置4、图像输出用存储器(VRAM)5以及显示器6(车载监控器)构成。
摄像头2优选是使用CMOS、CCD等的固体摄像元件和广角镜头的数码摄像头，在以下的说明中，对安装于车辆后部，并能将从车身后部开始包含地表面在内从近景到远景收入视角内的倒车摄像头进行说明。摄像头2(倒车摄像头)与车辆的服务连接器(service connector)的倒车信号输出相连， 并与倒档连动地启动。而且，与倒车摄像头的启动连动地将显示器6的图像切换为倒车摄像头的影像。显示器6是设置于计量仪器板的图像显示监控器，能够利用车载TV、车辆导航系统的监控器等。
车载传感器3根据所希望的系统选择移动速度/加速度传感器、转向角度/转向速度传感器等。而且，也能够追加偏航率传感器、陀螺仪传感器等测量车辆动作的传感器。也可以是如后述那样，也能够利用车载传感器3根据驾驶状态切换显示图像，利用驾驶员操作SW由驾驶员手动调整参数，从而能够显示所希望的图像。
图像处理装置4包括以下等部件：图像输入用存储器(VRAM)41，其以帧为单位存储从倒车摄像头2传送来的图像数据；规定速度合成查找表(ROM)42，其用于对输入图像进行平面投影转换而生成俯瞰图像并且在该俯瞰图像的远景侧放大并合成上述输入图像的远景区域；规定转向角度查找表(ROM)43，其用于使转向角度传感器的检测值反映在输出合成图像上；预测计算用查找表(RAM)44，其用于进行基于车辆动作预测的修正；以及图像处理处理器(CPU)45，其参照各查找表42～44来执行计算处理。
规定速度合成查找表42是为了将显示范围的下侧作为近景俯瞰图像并将显示范围的上侧作为背景图像、使从俯瞰图像的近景侧越朝向周边和远景侧背景图像的比率变得越高，并且，在后退时的规定速度下进行自然的显示，而对用于对输入图像进行平面投影转换而生成俯瞰图像的查找表(俯瞰图像用查找表42a)和用于在俯瞰图像的远景侧放大并合成输入图像的远景区域的查找表(背景图像用查找表42b)进行加权合成而成的查找表，该规定速度合成查找表42存储在只读存储器(ROM)。
此外，也可以如图2所示的第2实施方式的俯瞰图像生成装置1’那样，分别独立地具有俯瞰图像用查找表(ROM)42a和背景图像用查找表(ROM)42b来代替规定速度合成查找表42，利用规定转向角度用参照次数表43c对俯瞰图像用查找表42a和背景图像用查找表42b进行加权而直接计算，从而生成输出合成图像。
接着，说明基于上述第1实施方式的俯瞰图像的生成顺序。
图3表示本发明的俯瞰图像生成概念，在图中的左侧示出了利用摄像头2拍摄的输入图像10。该输入图像10是将从包含车辆后部及其附近的地表面在内的近景到远景收入视角内而成的广角图像，具有不可避免的畸变像差，但是，如图8所示，输入图像10中的地表面11的平面坐标是根据摄像头2的设置高度和设置角度来决定的，因此，通过从该平面坐标去除广角镜头的畸变像差并进行平面投影转换能得到俯瞰图像20a。
在该平面投影转换中，俯瞰图像20a与输入图像10的大致梯形形状的区域10a对应，是在平面投影转换中将各像素的坐标在二维平面内移动而成的，因此，能够利用规定各像素的移动g(u，v)的查找表42a。俯瞰图像20a的图像随着向区域内的周边和远景去而被拉伸，与此相应地原图像10a的同一像素被多次参照而被插值，从而远景侧的变形变大。
另一方面，未经平面投影转换的输入图像10不产生上述那样的变形，因此，若在俯瞰图像20a的远景区域上合成对输入图像10的远景区域10b进行剪切并放大而成的背景图像20b，则能够得到有双方优点的合成俯瞰图像52。此时，准备合成查找表42，合成查找表42是主要将规定了在对该输入图像10的远景区域10b进行剪切并放大的处理中的各像素的移动h(u，v)的查找表42b作为上侧，主要将俯瞰图像20a用的查找表42a作为下侧，且在中景至远景区域顺畅地连续地进行加权合成而成的，将合成查找表42应用在输入图像10的各像素，从而能够立即输出合成俯瞰图像52。此外，在各图中的查找表为了方便而简化地被显示出来。
接着，说明俯瞰图像20a和背景图像20b的加权合成。
图4表示输入图像10和对其进行平面投影转换而成的俯瞰图像20a的对应关系。如上述那样，俯瞰图像20a的图像随着向周边和远景去而被拉伸，与此相应地原图像10a的同一像素被参照的次数增多，图像的变形变大并且分辨率降低，显示变粗。
例如，在输入图像10中，在远处被显示得较小的路锥10c在输入图像10 上的1像素在俯瞰图像20a上被放大而成为4像素，在此情况下，同一像素被重复4次参照，而显示出被拉大4倍的形状。因此，如果将该重复参照次数的计数值记录成用于执行合成查找表42的加权的表(参照次数表)，则根据俯瞰图像20a的显示的粗度合成背景图像20b，而能够进行所需的最小限度并且符合目的的加权。
另外，平面投影转换的像素的移动方向是大致放射状，与此相对，图像处理是相对于正方格子状的像素排列来进行的，因此，如图4中左下的图(比色图表)30所显示的那样，上述参照次数表所登记的计数值成为不连续的离散状态。当以该离散状态实施加权时，合成图像也产生不连续的像素，而成为不自然的图像。因此，利用近似处理等使图30平滑化(最适当化)，以使参照次数表具有连续的计数值。
图4中右下的图(比色图表)31表示利用与半径相关联的同心超椭圆对参照次数进行近似而进行平滑处理后的状态。超椭圆用下面的式子表示，通过使指数n变化能够使曲率变化，通过使各变量u、v的分母进行各种变化而成为同心超椭圆组。
式子
|(u/a)|n+|(v/b)|n＝1
在这里，n＝2的情况是没有平坦部的通常的椭圆，n越大平坦部越扩宽，方形的超椭圆的特征变得越显著。因此，通过调整上述参数，能够到达高精度的近似和最适当化是无需赘述的，通过更积极地调节参数，能够进行各种应用。此外，对于平滑处理，也能够应用除超椭圆以外的近似处理、几何学处理、或者过滤处理等。
在基于上述参照次数表(图31)生成合成查找表42时，也能够直接应用参照次数表的加权系数(计数值)，但在维持这样的自然的加权不变的状态下，能够根据驾驶状况动态调整近景俯瞰图像20a和背景图像20b的比率的做 法是有利的。以下，参照图5、图6对使用了动态的加权系数β的合成查找表42的生成进行说明。
在图5中，将在俯瞰图像用查找表42a的各单元(a)所登记的转换用坐标信息设为g(u，v)，将在背景图像用查找表42b的各单元(b)所登记的转换用坐标信息设为h(u，v)，将在合成查找表42的各单元(a，b，m)所登记的转换用坐标信息设为f(u、v)，将以俯瞰图像20a重复参照输入图像10的次数为基础的加权系数设为α，其中0≤α≤1，将用于动态调整合成查找表42的加权系数设为β，其中0≤β≤1，此时，用于生成合成查找表42的转换式用下面的式子表示。
式子
f(u,v)=g(u,v)+β·(α-1)·(u,v)1+β·(α-1)]]>
合成查找表42分别在近景区域(a)显示为俯瞰图像20a，在远景区域(b)显示为背景图像20b，近景区域(a)和远景区域(b)之间的中间区域(m)是变形(morphing)区域，如图8所示，从俯瞰图像20a无缝转移到背景图像20b。由此，能够构成这样的泊车辅助系统，即能够确保失真较少的后方视野，并且能够容易抓住本车将至的距离感泊车辅助。
而且，在实际的泊车中，驾驶员要关注的点根据情况而发生变化，因此，通过根据速度等驾驶状态调整动态加权系数β，使合成查找表42动态变化，例如，能够根据泊车辅助系统中的泊车时的本车位置而向驾驶员提供适当的图像。
图6表示其一个例子的图，对于输入图像10而言，
1)如果应用动态加权系数：β＝0，则生成只由俯瞰图像用查找表42a构成的合成查找表420，显示只由俯瞰图像20a构成的合成俯瞰图像50；
2)如果应用动态加权系数：β＝0.015，则生成俯瞰图像用查找表42a的权 重较大的合成查找表421，显示背景图像20b稍微进入俯瞰图像20a的后方而成的合成俯瞰图像51；
3)如果应用动态加权系数：β＝0.03，则生成由俯瞰图像用查找表42a和背景图像用查找表42b以比较相近的比率合成的合成查找表422，显示俯瞰图像20a和背景图像20b无缝地连续，且较宽广地包含后方视野的合成俯瞰图像52。
接着，参照图7说明与转向角度相对应的动态图像切换显示，其作为与根据车辆动作相对应的动态的图像切换显示功能的一个例子。
如上所述，利用同心超椭圆对加权用参照次数表(图30)进行近似来进行平滑处理而成的图31通过使指数n变化而能够使曲率变化。在图7的(b)中，示出了从n＝2(椭圆)到n＝5的各种情况。
因此，如图7的(a)所示，应用由在加权用参照次数表上左右各侧的超椭圆的指数n不同的加权图33L、33R合成的非对称加权图33，并生成非对称的合成查找表43。在车辆的转弯时，只要根据转弯方向应用合成查找表43的左右任一侧，输出在转弯方向的内侧和外侧近景远景的比率不同的图像，对于转弯时的背景的移动(轨迹＝移动量)就能够显示出与内轮差相应的移动。而且，通过应用对应转向角度而曲率不同的合成查找表43，能够提供接近实际观察状态的自然的图像。
在如上所述的第1实施方式的俯瞰图像生成装置1中，向俯瞰图像用查找表42a的坐标转换信息g(u，v)、背景图像用查找表42b的坐标转换信息h(u，v)的登记以及加权用参照次数表的生成(图30)和平滑处理(图31)在准备阶段就事先完成，在图像处理装置4中事先登记显示图像的动态切换所需要的规定速度合成查找表42和规定转向角度查找表43。在即时处理，即车辆驾驶时，使用与来自车载传感器3的信息对应的规定速度合成查找表42和规定转向角度查找表43取得图像转换所需的坐标信息，显示泊车辅助图像。
另外，在第2实施方式的俯瞰图像生成装置1’中，在准备阶段事先完成向俯瞰图像用查找表42a、背景图像用查找表42b的坐标转换信息的登记以及加 权用参照次数表的生成(图30)和平滑处理(图31)，在这一点是相同的，但是，在即时处理中，基于来自俯瞰图像用查找表42a、背景图像用查找表42b、加权用参照次数表43c以及车载传感器3的信息，直接计算出图像转换所需的坐标信息。
以上，说明了本发明的几个实施方式，但本发明并不限于上述实施方式，能够基于本发明的技术思想进一步进行各种变形和变更。
例如，在上述各实施方式中，用作为利用安装于车辆后部的倒车摄像头的泊车辅助图像生成装置来实施的情况对本发明进行了说明，但也能够作为执行使倒车摄像头与前方摄像头、侧方摄像头等组合而成的环视显示的俯瞰图像生成装置来实施。此外，也能够在车辆之外的俯瞰图像显示系统中实施。