眼睛位置检测方法以及眼睛位置检测装置 【技术领域】
本发明涉及为了用于出入室管理等用途的虹膜(虹膜)认证等，从人的面部图像检测出眼睛位置的图像处理技术。背景技术
近年，采用虹膜识别的个人认证的技术在出入室管理或ATM等用途上开始实用化。实用的系统例如可以设想从拍摄的人的面部图像检测出眼睛的位置，从在检测出的眼睛的位置扩大的图像进行虹膜识别这样的系统。
作为从图像检测眼睛位置的技术，有在(1)“基于形状提取和图谱对照的组合的面部特征点提取”(电子信息通信学会论文集，D-II，Vol.J80-D-II，No.8，pp.2170-2177)、(2)专利第2973676号、(3)特开平10-63850号公报、(4)特开平12-123148号公报、(5)特开平8-185503号公报、(6)特开平10-154220号公报等上刊载的技术。
其中，(1)、(2)为从在可见光下拍摄的图像检测出眼睛的技术。(1)采用被称为分离度过滤器的、寻找中央部分的辉度值小而周围部分地辉度值大的部分的过滤器，从面部的浓淡图像提取出眼睛和其它的特征点。(2)在面部的浓淡图像上挂上边缘提取过滤器，通过边缘图像和用边缘构成的面部零件的样板的选配，提取眼睛和其它的特征点。
而且，(3)～(6)为从近红外光拍摄的图像检测眼睛的技术。(3)、(4)中，着眼于眼睛的上下方向(上眼皮→虹膜→下眼皮)的辉度变化找出眼睛。(5)、(6)为利用照明光的反射检测眼睛位置的技术，(5)为在同轴反射照明(照明和摄影机的光轴一致)的情况下，利用视网膜的反射和角膜表面、眼镜的边缘或镜片等反射的辉度的不同，通过适当设定2种二值化界限值，根据视网膜反射的位置确定眼睛位置。(6)着眼于包含眼睛的角膜反射的多个反射，捕捉随时间而辉度变化大的部分作为由于眨眼产生的角膜反射的消失，确定眼睛的位置。
上述的虹膜识别系统的情况下，利用的照明，与可见光相比，近红外光为好。即在近红外光照明的情况下，有即使照射，从被拍摄对象的人也看不到，不晃眼，所以能够减少被拍摄的心理上的抗拒感这样的优点。
但是，在近红外光下拍摄的眼睛图像，与在可见光下拍摄的眼睛图像不同，在黑眼珠上虹膜反射率变高，仅瞳孔变暗。因此，辉度按瞳孔、虹膜、巩膜(白眼珠)、皮肤的顺序变大。也就是说，虹膜和巩膜的辉度差比可见光拍摄的图像小。因此，即使将(1)那样的使用浓淡值的方法或(2)那样的采用从浓淡值得到的边缘信息的方法，对在近红外光下拍摄的眼睛图像原封不动地使用，眼睛的检测也不能很好地完成。关于这一点，本申请的发明者通过实验已经确认。
另一方面，(3)、(4)为了使红外光拍摄的图像眼睛的横向的辉度变化少，而在上下方向上着眼，但是作为在上下方向上产生明→暗→明的辉度变化的位置，在眼睛之外还有眉毛、鼻孔、黑痣等，错误地检测出眼睛之外的位置的可能性大。
而且，(5)需要同轴反射照明这样的特殊的照明装置，并且在镜片等反射的位置和视网膜反射的位置重合的情况下无法很好地动作。而且，由于在(6)中需要一直等到眨眼，判断时间变化，所以有为检测眼睛位置而花费时间的问题，并且也有在此期间如果人移动则无法找到眼睛这样的问题。
鉴于上述的问题，本发明作为从面部图像检测眼睛位置的方法，以不采用同轴反射照明这样的特殊的装置，能够在短时间内，从在近红外光下拍摄的虹膜部分和巩膜部分的反差低的图像，高精度地检测出眼睛的位置为课题。发明内容
为了解决上述的课题，本发明的第1项的眼睛位置检测方法，作为从至少包含眼睛的区域的面部图像检测出眼睛的位置的方法，具有对所述面部图像的一部分或者全部进行辉度修正以使眼睛的巩膜部分和虹膜部分的反差变大的步骤，和就辉度修正后的面部图像计算出辉度梯度向量，进行利用计算出的辉度梯度向量生成的辉度梯度图像和眼睛样板的选配的步骤，并根据所述选配的结果，检测出眼睛的位置。
根据上述第1项的发明，对于至少包含眼睛的区域的面部图像的一部分或者全部进行辉度修正以使眼睛的巩膜部分和虹膜部分的反差变大。然后，就该辉度修正后的面部图像，计算出辉度梯度向量，进行利用计算出的辉度梯度向量生成的辉度梯度图像和眼睛样板的选配。也就是说，在进行用于检测眼睛的位置的选配前，强调眼睛的巩膜部分和虹膜部分的反差，巩膜部分和虹膜部分之间的边缘强度变高。因此，能够通过辉度梯度图像和眼睛样板的选配，高精度地检测眼睛的位置。
本发明的第2项发明中，上述第1项发明的眼睛位置检测方法中的辉度修正步骤为，就所述面部图像计算出辉度梯度，根据计算出的辉度梯度，从所述面部图像选择包含边缘的部分，利用选择的所述面部图像的部分，进行辉度修正。
本发明的第3项发明中，上述第2项发明的眼睛位置检测方法为，预先求出眼睛的巩膜部分和虹膜部分的边缘强烈突出的图像尺寸和过滤器尺寸的相对关系，利用根据所述相对关系适合所述面部图像的尺寸的尺寸的过滤器，进行所述辉度修正步骤中的辉度梯度的计算。
本发明的第4项发明中，上述第2项发明的眼睛位置检测方法为，预先求出眼睛的巩膜部分和虹膜部分的边缘强烈突出的图像尺寸和过滤器尺寸的相对关系，利用所述尺寸的过滤器、且变更所述面部图像的尺寸使根据所述相对关系与过滤器尺寸吻合地进行所述辉度修正步骤中的辉度梯度的计算。
本发明的第5项发明中，上述第1项发明的眼睛位置检测方法中的辉度修正步骤为，计算所述面部图像的一部分或者全部的平均辉度，计算出的平均辉度小于规定值时进行辉度修正，大于所述规定值时不进行辉度修正。
本发明的第6项发明中，上述第1项发明的眼睛位置检测方法中的辉度修正步骤为，将进行所述面部图像的辉度修正的区域分割成多个部分的区域，在所述各部分的区域进行辉度修正。
本发明的第7项发明中，上述第6项发明的眼睛位置检测方法中的区域分割，将辉度修正区域左右分割。
本发明的第8项发明中，上述第7项发明的眼睛位置检测方法中的区域分割为，从辉度修正区域检测出鼻子的位置，以检测出的鼻子的位置为基准，将辉度修正区域左右分割。
另外，本发明的第9项的眼睛位置检测方法，作为从至少包含眼睛的区域的面部图像检测出眼睛的位置的方法，就所述面部图像计算出辉度梯度向量，进行利用计算出的辉度梯度向量生成的辉度梯度图像和眼睛样板的选配，根据该选配的结果，检测出眼睛的位置，所述眼睛样板由分别具有辉度梯度向量的多个点在与眼皮和眼球的边界相当的曲线上、和虹膜部分的周围配置而构成，并且虹膜部分周围的点配置在n(n为2以上的整数)重同心圆上。
本发明的第9项的发明，提出了也能够吸收面部图像中的眼睛的尺寸的若干变化的眼睛样板的形状。在使用以前的样板的眼睛的检测方法中，由于面部区域的检测误差和眼睛的大小·形状的个体差别等，需要使用大小等不同的多个样板。因此，产生了选配所需的时间增加这样的问题。
因此，根据上述第9项的发明，由于在眼睛样板中，虹膜部分周围的点配置的n重同心圆上，所以即使眼睛的尺寸有若干变化，也能够与之对应，能够进行精度高的选配。
本发明的第10项的发明中，上述第9项发明的眼睛检测方法中的面部图像为在红外光照明下拍摄的。
另外，本发明的第11项的眼睛检测方法，作为从至少包含眼睛的区域的而部图像检测出眼睛的位置的方法，就所述面部图像计算出辉度梯度向量，进行利用计算出的辉度梯度向量生成的辉度梯度图像和由分别具有辉度梯度向量的多个点所构成的眼睛样板的选配，根据该选配的结果，检测出眼睛的位置，所述选配为，将与具有比规定值大的辉度值的所述面部图像的像素相对应的辉度梯度图像上的点从用于选配的相关值计算对象中去掉。
本发明的第11项的发明，提出了即使眼镜等的反射多少影响到眼睛，也能够高效率地进行样板选配的方法。在使用以前的样板的眼睛的检测方法中，在眼镜等的反射影响到眼睛的情况下，有选配不能很好地进行这样的问题。
因此，上述第11项的发明，由于与具有比规定值大的辉度值的所述图像的像素对应的辉度梯度图像上的点，从用于选配的相关值计算的对象中省去，所以即使眼镜的反射影响到眼睛，由于该部分不包含在相关值计算中，所以能够精度更高地检测眼睛的位置。
另外，本发明的第12项的眼睛检测方法，作为从至少包含眼睛的区域的面部图像检测出眼睛的位置的方法，具有进行所述面部图像或者将该面部图像变换得到的图像和眼睛样板的选配、求出第1选配值的第1步骤，和进行所述面部图像或者将该面部图像变换得到的图像和瞳孔样板的选配、求出第2选配值的第2步骤，根据所述第1以及第2选配值检测出眼睛的位置。
本发明的第12项的发明，提出了能够高精度地检测虹膜中心的方法。在以前的使用整个眼睛的样板的的检测方法中，将整体的相关值最高的位置作为眼睛的检测位置。因此，有样板的虹膜中心和实际的虹膜中心未必一致这样的问题。
因此，上述第12项的发明，利用眼睛样板进行选配的同时，并利用瞳孔样板进行选配，根据两个选配值检测出眼睛的位置。因此，眼睛的中心位置的定位精度也比以前提高。
在本发明的第13项的发明中，上述第12项发明的眼睛位置检测方法，具有加进所述第2选配值、修正所述第1选配值的第3步骤，并利用修正后的第1选配值进行眼睛的位置检测。
在本发明的第14项的发明中，上述第12项发明的眼睛位置检测方法中的第1步骤对将所述面部图像缩小的图像进行，所述第2步骤对原来的面部图像进行。
在本发明的第15项的发明中，上述第14项发明的眼睛位置检测方法中的第1步骤具有根据所述第1选配值选择成为眼睛位置的侯选部分的部分的步骤，所述第2步骤仅在被选择的眼睛位置侯选部分的与眼睛样板的虹膜部分相当的区域及其附近利用瞳孔样板进行选配。
另外，本发明的第16项的眼睛位置检测装置，作为从至少包含眼睛的区域的面部图像检测出眼睛的位置的装置，对所述面部图像的一部分或者全部进行辉度修正以使眼睛的巩膜部分和虹膜部分的反差变大，就辉度修正后的面部图像计算出辉度梯度向量，进行利用计算出的辉度梯度向量生成的辉度梯度图像和眼睛样板的选配，根据所述选配的结果，检测出眼睛的位置。
另外，本发明第17项的眼睛位置检测装置，作为从至少包含眼睛的区域的面部图像检测出眼睛的位置的装置，就所述面部图像计算出辉度梯度向量，进行利用计算出的辉度梯度向量生成的辉度梯度图像和眼睛样板的选配，根据该选配的结果，检测出眼睛的位置，所述眼睛样板由分别具有辉度梯度向量的多个点在与眼皮和眼球的边界相当的曲线上、和虹膜部分的周围配置而构成，并且虹膜部分周围的点配置在n(n为2以上的整数)重同心圆上。
另外，本发明第18项的眼睛位置检测装置，作为从至少包含眼睛的区域的面部图像检测出眼睛的位置的装置，就所述面部图像计算出辉度梯度向量，进行利用计算出的辉度梯度向量生成的辉度梯度图像和由分别具有辉度梯度向量的多个点所构成的眼睛样板的选配，根据该选配的结果，检测出眼睛的位置，所述选配为，将与具有比规定值大的辉度值的所述面部图像的像素相对应的辉度梯度图像上的点从用于选配的相关值计算对象中省略。
另外，本发明第19项的眼睛位置检测装置，作为从至少包含眼睛的区域的面部图像检测出眼睛的位置的装置，进行所述面部图像或者将该面部图像变换得到的图像和眼睛样板的选配、求出第1选配值，进行所述面部图像或者将该面部图像变换得到的图像和瞳孔样板的选配、求出第2选配值，根据所述第1以及第2选配值检测出眼睛的位置。附图说明
图1为表示利用本发明涉及的眼睛位置检测的虹膜识别系统的概略构成的图。
图2为表示具有图1所示的虹膜识别系统的出入室管理系统的构成的框图。
图3为表示图2的出入室管理系统的动作的流程图。
图4为表示拍摄图像和面部图像以及眼睛搜索区域的关系的图。
图5为表示本发明的一实施例涉及的眼睛位置检测的概略流程的图。
图6为表示图5的反差修正的处理的详细过程的流程图。
图7为表示图5的眼睛位置候补位置确定的处理的详细过程的流程图。
图8为表示图5的眼睛位置确定的处理的详细过程的流程图。
图9为将拍摄眼睛时的图像的例模式表示的图，(a)为在可见光下拍摄的情况，(b)为在近红外光下拍摄的情况。
图10为表示3×3尺寸的Sobel过滤器的图。
图11为用于说明部分区域的辉度和反差修正的效果的关系的图。
图12为表示利用本发明涉及的眼睛位置检测的虹膜识别系统的其它构成的图。
图13为表示本实施例涉及的眼睛样板的一例的图。
图14为表示可见光拍摄的眼睛图像和本实施例涉及的眼睛样板的关系的图。
图15为表示近红外光拍摄的眼睛图像和本实施例涉及的眼睛样板的关系的图。
图16为表示本实施例涉及的瞳孔样板的图。
图17为表示(k×k)尺寸的辉度梯度算出过滤器的图。
图18为表示5×5尺寸的过滤器系数的图。
图19(a)为设定的边缘强度测量点，(b)为表示图像尺寸和过滤器尺寸的比和边缘强度的关系的图解。
图20为表示作为本发明的其它应用例的带摄影机的门对讲电话的图。
图21为表示作为本发明的其它应用例的带摄影机的移动电话的图。
图中，1-W摄影机，2a、2b-W摄影机用照明。具体实施方式
下面，就本发明的实施例，参照附图进行说明。
图1为表示利用本发明涉及的眼睛位置检测的虹膜识别系统的概略构成的图。图1为从系统的上方看的图。图1中所示的虹膜识别系统，为配置有W(Wide)摄影机1和N(Narrow)摄影机3的2摄影机构造。W摄影机1为拍摄至少包含眼睛的图像的装置，距离传感器5为测量到眼睛的距离的装置，N摄影机3为接受由W摄影机1的拍摄图像确定的眼睛的位置和用距离传感器5测量的到眼睛的距离信息、拍摄虹膜的扩大图像的装置。
图2为表示作为具有图1所示的虹膜识别系统的系统的例的出入室管理系统的构成的框图的图。如图2所示的那样，W摄影机1以及W摄影机用照明部分2通过W摄影机用照明·W摄影机控制部分6控制，N摄影机3以及N摄影机用照明部分4通过N摄影机用照明·N摄影机控制部分11控制。而且W摄影机用照明·W摄影机控制部分6以及N摄影机用照明·N摄影机控制部分11由CPU7控制。CPU7实行在程序存储器10中存储的各处理程序。
图3为表示图2的出入室管理系统的动作的流程图。下面按照图3说明图2的出入室管理系统的动作。
人站在出入室管理系统的前面，则传感器5a就检测到该人，将检测信号传送到W摄影机用照明·W摄影机控制部分6(A1)。W摄影机用照明·W摄影机控制部分6向W摄影机1以及W摄影机用照明部分2分别发送相互同步的照明开始信号以及拍摄信号。这样，W摄影机1就拍摄至少包含眼睛的人的图像。在本实施例中，为拍摄人的上半身图像(A2)。用W摄影机1拍摄的图像储存到存储板8中。
然后，储存在程序存储器10中的眼睛搜索区域确定程序启动，通过CPU7确定眼睛搜索区域(A3)。
首先如图4所示的那样，从利用W摄影机1拍摄的上半身图像WCA提取人的面部区域FDA。这里的提取，如果能够稳定地提取面部区域FDA，可以采用任何方法。例如，通过预先准备的面部样板和上半身图像的选配，提取面部区域FDA。面部样板例如能够通过将用近红外光拍摄的多数人的面部使之大小正规化后平均化而作成。在该情况下，最好准备大小不同的多个面部样板。提取出面部区域FDA后，将面部区域FDA上预先确定的范围作为眼睛搜索区域ESA特别指定。
然后，储存在程序存储器10中的眼睛位置检测程序启动，利用CPU7从眼睛搜索区域ESA检测出眼睛的位置(A4)。本实施例以该眼睛位置检测为特征，关于处理的详细内容在后面说明。在这里，从W摄影机1的拍摄图像检测出两眼的位置，利用距离传感器5检测出到眼睛的距离。由这些确定两眼的3维位置，发送到N摄影机用照明·N摄影机控制部分11。
N摄影机用照明·N摄影机控制部分11与为进行虹膜识别而预先设定的一边的眼睛的位置对准，控制N摄影机用照明部分4的摇镜头以及倾斜和N摄影机3的摇镜头、倾斜以及变焦距，拍摄眼睛图像的上部(A5)。用N摄影机3拍摄的眼睛图像被送到虹膜识别部分12，虹膜识别部分12进行送来的眼睛图像的虹膜和预先登记的虹膜数据的认证(A6)。通过虹膜识别部分12确认为本人时，开锁部分13电动解除门锁(A7)。
下面，说明本实施例涉及的眼睛位置检测动作A4的详细内容。图5为表示眼睛位置检测的概略流程的图，图6～图8为表示图5的各处理的详细情况的流程图。
<前处理S00>
在前处理S00中，将作为面部图像的眼睛搜索区域ESA的图像，根据预先求得的使眼睛的巩膜部分和虹膜部分的边缘强烈突出的图像尺寸和过滤器尺寸的相对关系，使与规定尺寸的过滤器相符合地缩小。
现在，眼睛搜索区域ESA的图像的尺寸为宽度M、高度N，为了进行辉度梯度计算(边缘提取)，采用图10所示的(3×3)的Sobel过滤器。而且，如果眼睛的边缘强度变大的图像尺寸和过滤器尺寸的比为R，则首先计算适于(3×3)的Sobel过滤器的图像的宽度W＝R×3。然后，将眼睛搜索区域ESA的原图像缩小为1/n(n为自然数)以使其宽度与计算出的图像宽度W最接近。而且，在计算出的图像宽度W比原来的宽度W大的情况下，不扩大原图像，而原封不动地使用。
这里为了减少计算量，将1/n的图像缩小镶嵌化，也就是说通过将原图像中的(n×n)的像素的平均值作为缩小图像的像素值来进行。并且，也可以通过其它方法，例如透过高西安过滤器等低通过滤器后抽样，来生成缩小图像。
<反差修正S10>
然后，对于缩小的眼睛搜索区域的图像，进行辉度修正以使眼睛的巩膜部分和虹膜部分的反差变高。
图9为将拍摄眼睛时的图像的例模式表示的图，(a)为在可见光下拍摄的情况，(b)为在近红外光下拍摄的情况。如图9所示的那样，在黄色人种的情况下，在可见光下拍摄时虹膜以及瞳孔都成为浓的颜色，白眼珠/黑眼珠的反差大。但是，在近红外光下拍摄时，按照瞳孔、虹膜、巩膜的顺序逐渐变亮，没有象可见光下那样的白眼珠/黑眼珠的反差。而且，即使虹膜的颜色为蓝色、茶色、绿色、灰色等其它颜色，也能够确认同样的倾向。
也就是说，在本实施例中进行反差修正的理由为，由于在红外光下拍摄的图像巩膜(白眼珠)部分和虹膜(黑眼珠)部分的反差低，所以使与和样板选配的虹膜周围的边缘相当的辉度梯度的强度变得更高。在本实施例中，进行使与眼睛(上眼皮+虹膜周围)的边缘相当的辉度梯度的强度变高的反差修正。
这里，为了进行反差修正而采用直方图平滑化。所谓“直方图平滑化”为，在像素的浓度值集中在特定的值区域内的情况下，提高该部分的反差，降低频度低的值区域的反差的处理(详细内容参照“图像解析手册”(东京大学出版会、高木干雄主编)P.480)。
下面按照图6的流程图说明反差修正S10的详细内容。
首先，对在前处理S00生成的缩小图像，计算辉度梯度向量(S11)。在这里应用图10所示的2个(3×3)尺寸的Sobel过滤器，计算出x方向、y方向的辉度梯度向量Dsx(i，j)、Dsy(i，j)。然后如下面的公式所示的那样，通过计算算出的辉度梯度向量Dsx(i，j)、Dsy(i，j)的平方和的平方根算出辉度梯度强度V(i，j)，生成辉度梯度图像(S12)。
V(i，j)＝sprt(Dsx(i，j)2+Dsy(i，j)2)
然后，将缩小图像左右分割成2部分(S13)。然后，关于分割的各部分区域，分别进行下面的处理(S14～S17)。
首先，计算该部分区域内的平均辉度(S14)。然后，进行平均辉度和预先求得的界限值的比较(S15)。平均辉度比界限值大时不进行反差修正。另一方面，当平均辉度在界限值以下时，仅使用与辉度梯度图像中的辉度梯度强度高的部分相当的缩小图像的像素进行直方图平滑化(S16)。在这里，将辉度梯度图像中辉度梯度强度处于上面的A％的像素的部分识别为辉度梯度强度高的部分。这时，虽然进行直方图平滑化时的像素值的变换式仅使用辉度梯度强度处于上面的A％的像素算出，但是像素值的变换对于全部的像素进行。
这里，在部分区域的平均辉度比界限值大时不进行反差修正，是基于下面的理由。即作为部分区域内的平均辉度比界限值大的情况，可以想象如图11(a)所示的那样，几乎所有的皮肤的部分和巩膜的部分都极其白、辉度值有点饱和的场合。作为辉度值象这样处于有点饱和的原因，有照明过于明亮、摄影机的光圈开得过于大等。而且，在辉度值有点饱和的图像的情况下，与通常的情况相比，由于虹膜部分和巩膜部分的反差大，所以即使不进行反差修正也可以。
与之相反，在图11(a)的情况下进行了反差修正时，由于对于包含较多辉度值高的像素的区域进行反差修正，所以如图11(b)所示的那样，皮肤那样的辉度高的部分的反差进一步提高的同时，由较暗的像素构成的眼睛附近的图像的反差相反被压缩。这样的现象，即使在例如仅使用辉度梯度强度高的部分的像素进行反差修正的情况下，也会发生。所以，可以说不如最好不进行反差修正。
另外，通过仅使用与辉度梯度强度高的部分相当的像素进行直方图平滑化，能够进行使用了包含较多与眼睛的边缘部分相当的辉度值的像素的像素的直方图平滑化，所以通过这样，能够高效率地提高眼睛的边缘部分的反差。而且，也可以取代辉度梯度强度处于上面的A％的像素，例如将辉度梯度强度在界限值以上的像素的部分识别为辉度梯度强度高的部分。
另外，在这里将缩小图像左右分割成2部分进行处理，是基于下面的理由。图1所示的虹膜识别系统中，由于在W摄影机1侧面配置着W摄影机用照明2，所以人站在W摄影机1的附近时，就会从侧方照到这个人身上。在这种情况下，很容易造成面部的左右明暗不同，图像的辉度不均匀，即使对整个图像进行直方图平滑化，也得不到充分的效果。因此，通过将图像分割成多个部分区域，在每个部分区域进行直方图平滑化，能够实现与该部分区域的辉度相应的反差修正。
而且，缩小图像的分割，例如可以左右2等分，也可以通过图像识别检测出鼻子，以该鼻子的位置为基准左右分割。另外，这里虽然将图像左右分割，但是例如将照明设置在摄影机的上面而在图像的上下产生辉度的不均匀的情况下，当然也可以将图像上下分割。
而且，就在图1的虹膜识别系统中将照明配置在摄影机的侧面的理由，进行补充说明。
在照明和摄影机的光轴构成的角度小的情况下，如果拍摄戴着眼镜的人，则眼镜的反射遮挡眼睛的虹膜的可能性变高。在眼镜的反射遮挡虹膜的情况下，眼睛的位置检测就变得困难，并且虹膜识别本身也变得困难。因此，在图1的系统中，将照明和摄影机在横方向上分开配置，一定程度上确保照明和摄影机的光轴构成的角度。
另外，如图12所示的那样，在摄影机1、3的两侧设置照明2a、2b、4a、4b的系统构造也很有效。在这样的系统中，能够例如最初拍摄时使任意一边的照明进行照射，在眼睛的位置检测不能很好地进行的情况下，使另一边的照明进行照射进行再次拍摄地动作。
<眼睛中心位置候补位置的确定S20>
然后，从进行过反差修正的图像确定出若干眼睛位置的候补位置。该处理S20分为眼睛样板选配S21、瞳孔样板选配S22以及眼睛中心位置的修正S23等3个步骤实行。
(眼睛样板选配)
首先，对于反差修正后的缩小图像计算辉度梯度向量(S21a)。这里与反差修正的情况相同，采用如图10所示的2个(3×3)尺寸的Sobel过滤器，计算出x方向、y方向的辉度梯度向量Dsx2(i，j)、Dsy2(i，j)。然后如下面的公式所示的那样，通过计算算出的辉度梯度向量Dsx2(i，j)、Dsy2(i，j)的平方和的平方根算出辉度梯度强度V2(i，j)(S21b)。
V2(i，j)＝sprt(Dsx2(i，j)2+Dsy2(i，j)2)
并且，将辉度梯度向量(Dsx2(i，j)、Dsy2(i，j))的大小保持其方向，进行二值化(S21c)。例如，关于辉度梯度强度V2(i，j)被包含在上面的B％内的辉度梯度向量，大小为“1”，关于除此之外的辉度梯度向量，大小为“0”。
然后，生成用于选配的眼睛样板(S21d)。这里根据反差修正后的缩小图像的尺寸确定眼睛样板的尺寸。例如，从预先收集的眼睛搜索区域的图像，事先求得图像尺寸和虹膜的直径的相关关系。然后根据该相关关系，求得与缩小图像的大小符合的虹膜的直径D，生成与该直径D相应的尺寸的眼睛样板。
图13为表示本实施例中使用的眼睛样板的一例的图。本实施例涉及的眼睛样板，如图13(a)所示的那样，由多个点构成，包含上眼皮的轮廓点、即配置在与眼皮和眼球的边界相当的曲线上的点，和虹膜的轮廓点、即配置在黑眼珠周围的点。而且，虹膜的轮廓点配置在半径不同的n重圆(n为2以上的整数)上。在这里，n＝2，外侧的圆C0的直径规定为1.1×D，内侧的圆CI的直径规定为0.9×D。
在图13(a)的例中，上眼皮的轮廓点数量为左右各3个、共6个，虹膜部分的轮廓点数量为外侧的圆8个、内侧的圆8个、共16个。而且，外侧的圆C0上的点和内侧的圆CI的点相互相位错开配置。在图13(a)的例中，在外侧的圆C0上各点从时针12点的位置开始每隔45度配置，在内侧的圆CI上各点从自时针的12点的位置移动22.5度的位置开始每隔45度配置。
另外，如图13(b)所示的那样，眼睛样板的各点由具有方向的2维向量构成。各向量的大小为1，方向关于虹膜部分指向圆的中心，关于上眼皮部分，为与连接上眼皮部分的各点的线垂直相交的方向且指向下方。在选配时，计算各点的2维向量和缩小图像的辉度梯度向量的选配值。
然后，进行眼睛样板和辉度梯度图像的选配(S21e)，以选配值s_eye高的顺序，选择眼睛位置候补位置(S21f)。
【数1】s_eye=1NΣi=1N(Ix·Tx+Iy·Ty)]]>
选配值s_eye的计算公式在上面表示。上式求得辉度梯度图像的梯度向量(Ix，Iy)(Ix＝Dsx2(i，j)，Iy＝Dsy2(i，j))和眼睛样板的各点的向量(Tx，Ty)的内积的平均值。但是，在这里，仅对与眼睛样板的各点对应的图像上的点的辉度值在规定的界限值以下的部分求内积。也就是说，关于辉度值比界限值大的点，不包含在选配的分值计算中。N为包含在选配值计算中的眼睛样板的有效点数。
辉度值比规定的界限值大的点，可以考虑为由于眼镜的反射等引起的辉度值饱和的部分。这样的部分没有辉度梯度，或者极小。因此，如果将这样的部分包含在选配的分值计算中，那么在眼镜的反射影响到眼睛的边缘部分的情况下，该部分的选配值会因此而降低。因此，无法很好地检测出眼睛位置。所以，如本实施例那样，通过将辉度值比规定的界限值大的点从选配的分值计算中除外，即使眼镜的反射多少影响到眼睛，也能够稳定地检测眼睛位置。
另外，通过将图13所示的那样的具有n重圆构造的眼睛样板用于选配，能够得到下面的效果。即在从图像尺寸推定虹膜直径的情况下，由面部区域的推定误差和个人之间的虹膜尺寸的差异等引起的、推定的虹膜直径和实际的虹膜直径之间有时会有偏差。在这样的情况下，如果仅用一重圆的样板，则有在图像选配时不能够很好地找到眼睛位置的可能性。因此，以前使用多个尺寸的一重圆的样板进行样板选配，吸收虹膜直径的偏差。在这种情况下，有样板选配所需的时间增加这样的问题。但是如本实施例这样，使虹膜部分的样板为n重圆构造，则即使从图像推定的虹膜直径有若干误差，也能够用单一的样板很好地进行选配，能够高速且确实可靠地检测眼睛位置。
另外，由于在红外光拍摄的图像中，巩膜(白眼珠)部分和虹膜(黑眼珠)部分辉度平稳地变化，所以辉度梯度在图像的一定的范围内持续。所以，与在可见光下拍摄的图像相比，使样板为n重圆构造产生的副作用很少。
图14为表示可见光拍摄的图像和本实施例涉及的眼睛样板的关系的图，图15为表示近红外光拍摄的图像和本实施例涉及的眼睛样板的关系的图。在图14以及图15中，(a)为将眼睛图像模式表示的图，(b)为(a)的眼睛图像的点线上的横方向的辉度分布，(c)为从(b)的辉度分布求得的辉度梯度强度的分布。
如图14所示的那样，在可见光下拍摄的眼睛图像中，虹膜和巩膜之间的辉度差大，辉度急剧变化。因此，在本实施例涉及的眼睛样板的n重圆构造的各点中，有相关性高的部分和相关性低的部分两者都存在的可能性。也就是说，通过使眼睛样板为n重圆构造，选配有可能反而无法很好地进行。与之相应，如图15所示的那样，在红外光下拍摄的眼睛图像中，虹膜和巩膜之间的辉度差小，辉度平稳地变化。因此，辉度梯度强度在某些范围内变高。因此，本实施例涉及的眼睛样板的n重圆构造的任何一点都能够得到较高的相关性，通过这样，即使从图像推定的虹膜直径有若干误差，也能够确实可靠地检测眼睛位置。
而且，即使为在红外光以外的照明下拍摄的情况，在能够得到辉度平稳变化的眼睛图像的情况下，本实施例涉及的眼睛样板也有效。例如即使为在可见光下的拍摄，在有意使焦距模糊的情况下，由于可以想象辉度平稳地变化，所以本实施例涉及的眼睛样板也有效。另外，在拍摄虹膜的颜色浅、虹膜和巩膜的辉度差低的人的情况下，也有效。
而且，虽然在图13的例中，n＝2(二重圆)，上眼皮部分的点数为6，虹膜部分的点数为16，但是这些也可以为其它值。
而且，在本实施例中，虽然使样板的形状仅虹膜的轮廓点为n重圆(n＝2)，但是也可以与此同时使上眼皮的轮廓点为m重的曲线上的点。在这种情况下，m重的曲线可以不一定等间隔，例如也可以为越到眼睛的端部越宽的那样的m个曲线。通过这样使与眼睛和眼球的边界相当的曲线也为m重，能够适应个人之间的眼皮的形状的变化或双眼皮等。
另外，在进行选配时，通过使辉度梯度向量的大小为二值化，可以得到下面的效果。即由于进行选配的像素减少，所以计算时间缩短。另外，由于能够不被辉度梯度的大小左右，而仅通过辉度梯度的方向进行选配，所以能够防止在辉度梯度大的部分误选配。
辉度梯度的大小为“0”时，选配的相关性一直为0，辉度梯度的大小为“1”时，与其大小无关仅辉度梯度的方向用于选配。这样，通过实施反差修正增强眼睛的边缘强度，眼睛的边缘部分被确实可靠地包含在用于选配的像素中。因此，选配精度不会降低，能够减少处理量。
(瞳孔样板选配)
然后，关于利用眼睛样板选配S21选择的眼睛位置候补位置，进行和瞳孔样板的选配。
首先，生成与原来的眼睛搜索区域的图像尺寸相应的辉度梯度计算过滤器(S22a)。虽然在前处理S00中从输入图像生成缩小图像时，使用预先算出的、强烈反应眼睛的边缘的图像尺寸和边缘检测过滤器尺寸的相对关系，但是在这里也使用该关系，求出最适合的辉度梯度计算过滤器的尺寸。而且尺寸为奇数，最小为3。当尺寸为3时，辉度梯度计算过滤器为通常的Sobel过滤器。尺寸确定后，将预先作成的该尺寸的过滤器作为此处的辉度梯度计算过滤器。
然后，应用生成的辉度梯度计算过滤器，就眼睛搜索区域的输入图像Io(m，n)算出辉度梯度向量Dx(m，n)、Dy(m，n)(S22b)。然后，如下面的公式所示的那样，通过计算算出的辉度梯度向量Dx(m，n)、Dy(m，n)的平方和的平方根，算出辉度梯度强度V3(m，n)(S22c)。
V3(m，n)＝sprt(Dx(m，n)2+Dy(m，n)2)
并且，将辉度梯度向量(Dx(m，n)、Dy(m，n))的大小，保持其方向的同时进行二值化(S22d)。例如，关于辉度梯度强度V3(m，n)包含在上面的C％的部分的辉度梯度向量，大小为“1”，关于其它的辉度梯度向量大小为“0”。
然后，生成用于选配的瞳孔样板(S22e)。在这里，根据算出该眼睛位置候补位置的眼睛样板的虹膜部分的直径和图像的缩小率确定瞳孔样板的尺寸。
图16为表示在本实施例中使用的瞳孔样板的一例的图。这里，按照选配所使用的眼睛样板的虹膜部分的直径和眼睛样板的选配时的图像的缩小率，准备数种可得到的瞳孔直径的值。这样准备多个瞳孔直径的样板的理由，不仅为瞳孔直径的个人之间的变化，由于瞳孔直径随周围的明暗而变化，故与之适应。然后对于各瞳孔直径，分别作成如图16所示的那样的个数Tp(在图16中Tp＝8)的点等间隔地配置在圆上的样板。另外，如图16(b)所示的那样，瞳孔样板的各点由具有方向的2维向量构成。各向量的大小为1，方向指向圆的中心。选配时计算各点的2维向量和输入图像的辉度梯度向量的选配值。
然后，对于选择的眼睛位置候补位置，进行瞳孔样板和辉度梯度图像的选配(S22f)。在这里，进行选配的范围在与各眼睛位置候补位置的虹膜部分相当的部分的外接矩形内。然后，按照下面的公式，计算选配值s_pupil。这里，虽然使用多个尺寸的瞳孔样板，但是以分值s_pupil最大的瞳孔样板的尺寸、位置处的分值s_pupil为最终的分值来选择。
【数2】s_pupil=1MΣi=1M(Ix·Tx+Iy·Ty)]]>
也就是说，辉度梯度图像的梯度向量(Ix，Iy)(Ix＝Dx(m，n)，Iy＝Dy(m，n))和瞳孔样板的各点的向量(Tx，Ty)的内积的平均值，作为选配值s_pupil被求出。但是在这里，仅就与瞳孔样板的各点对应的图像上的点的辉度值在规定值以下的部分求内积。即关于辉度值比界限值大的点，不包含在选配的分值计算中。M为包含在选配值计算中的瞳孔样板的有效点数。
(眼睛中心位置的修正)
然后，比较由瞳孔样板算出的选配值s pupil和由眼睛样板算出的选配值s_eye的大小(S23a)。然后，在由瞳孔样板算出的选配值s_pupil比由眼睛样板算出的选配值s_eye大时，按照下面的公式更新选配值s_eye(S23b)，将眼睛的中心位置设定在瞳孔样板匹配的位置的中心(S23c)。
【数3】s_eye=1N+M(N·s_eye+M·s_pupil)]]>
这里，N为眼睛样板的有效点数，M为瞳孔样板的有效点数。另一方面，由瞳孔样板算出的选配分值s_pupil比由眼睛样板算出的选配值s_eye小时，将眼睛的中心位置设定在眼睛样板匹配的位置的虹膜部分的中心(S23d)。
而且，在步骤S23a中是否要更新选配值，可以根据由瞳孔样板算出的选配值s_pupil是否比预先设定的界限值大来判断。
如本实施例那样通过利用眼睛样板选配寻找眼睛的位置后，通过利用瞳孔样板选配再次寻找，可以得到下面的效果。
如图9(b)所示的那样，在红外光拍摄的眼睛图像中，虹膜部分和巩膜部分之间产生辉度差之外，在虹膜部分和瞳孔部分之间也产生辉度差。特别是，在用高析像拍摄眼睛的情况下，算出辉度梯度，就能够清楚地得到虹膜部分和瞳孔部分的边缘。在本实施例中，利用了该瞳孔部分的边缘。
但是，瞳孔直径随着周围的亮度而变化。而且，在用低析像拍摄的图像的情况下，由于虹膜的中心部分暗、越靠近外围就逐渐变亮，所以仅靠瞳孔的边缘找到眼睛比较困难。而且，瞳孔的边缘为圆形，由于中央部分暗故辉度梯度从外侧指向内侧，所以如果从开始就利用瞳孔样板进行搜索，就有可能将鼻孔或黑痣等错误地检测出来。
因而，在本实施例中，开始时利用眼睛样板寻找眼睛位置的候补位置，然后，利用瞳孔样板从眼睛位置候补位置的虹膜部分搜索瞳孔，确定眼睛的中心位置。这在眼睛中心位置的检测精度方面极其有效。例如，在本实施例的系统这样的2摄影机构造的情况下，考虑到N摄影机的机械扫描的误差的影响，则最好尽可能精密地算出眼睛的中心位置。通过使用瞳孔样板更新眼睛的中心位置，即使N摄影机上产生若干机械误差，也可减少将眼睛变焦时对虹膜拍摄失败的可能性。
另外，通过利用基于瞳孔样板的选配值更新基于眼睛样板的选配值，能够防止眼睛以外的部分作为眼睛位置被检测。例如，在使用眼睛样板的选配中，实际的眼睛的位置和眼睛以外的位置具有同等程度的选配值。在这样的状况下，在眼睛的瞳孔用高析像拍摄、清楚地照出的情况下，实际的眼睛位置处的基于瞳孔样板的选配值应该高。因此，通过将基于瞳孔样板的选配值在原来的基于眼睛样板的选配值上反映，能够区别实际的眼睛和眼睛以外的部分。
<眼睛位置的确定S30>
因为通过到此为止的处理确定了眼睛的中心位置候补位置，所以最终确定眼睛位置。
首先，关于确定的眼睛中心位置候补位置，将任意2个的组合作为两眼位置候补位置(S31)。这时，作为两眼位置候补位置的分值，赋予构成该部分的2个眼睛中心位置候补位置的分值s_eye的平均值。
然后，从各两眼位置候补位置，将2个眼睛中心位置候补位置相互的高低差在规定值以上的部分除外(S32)。这里的规定值从眼睛搜索区域大小算出。并且，从剩余的各两眼位置候补位置，将2个眼睛中心位置候补位置之间的距离未包含在规定范围内的部分除外(S33)。这里的规定范围通过从眼睛搜索区域的大小算出的最小距离以及最大距离确定。步骤S32、S33为根据两眼的位置关系将两眼位置候补位置中不适当的部分除外的处理。
然后，将剩余的两眼位置候补位置中分值最大的位置作为两眼位置最终确定(S34)。
<图像尺寸和过滤器尺寸的相对关系>
如已经说明的那样，在本实施例中，利用预先算出的、强烈反映眼睛的边缘的图像尺寸和过滤器尺寸的相对关系。然后，按照预先准备的过滤器的尺寸缩小输入图像，通过对该输入图像叠加过滤器，能够生成眼睛的边缘强度比较强的辉度梯度图像。
在近红外光下拍摄图像中，虹膜部分的辉度高，和巩膜(白眼珠)并不怎么产生辉度差。于是，从虹膜部分向巩膜部分的辉度变化很平稳。因此，可以认为在提取虹膜/巩膜之间的边缘的情况下，由与图像尺寸相符合的边缘检测过滤器的尺寸。
图像尺寸和过滤器尺寸的相对关系的算出方法如下。
首先，作成图17所示的那样的比(3×3)还大的各种各样的尺寸(k×k)(K为奇数)的辉度梯度计算过滤器。这可以通过将图10所示的Sobel过滤器的的系数值平滑地插补来作成。各系数值的算出，例如可以如下进行。
在检测x方向的边缘的过滤器的情况下，准备以点(i，j)＝(1，(k+1)/2)为中心，在仅离开距离(k-1)/2处值为峰值时的一半的2元高斯函数f1(i，j)
(但是，f1(1，(k+1)/2)＝-2
f1(1，1)＝f(1，k)＝-1)和以点(i，j)＝(k，(k+1)/2)为中心，在仅离开距离(k-1)/2处值为峰值时的一半的2元高斯函数f2(i，j)
(但是，f2(k，(k+1)/2)＝2
f2(k，1)＝f(k，k)＝-1)
然后，通过下面的公式计算，求出各系数g(i，j)。
【数4】
这样得到的(5×5)尺寸的过滤器系数为图18所示的那样。
另一方面，收集在近红外光下拍摄的各种各样的尺寸的眼睛图像。然后，在收集的眼睛的图像上，通过人手设定如图19(a)所示的那样的边缘强度测量点，求得附加过滤器时的边缘强度(x方向辉度梯度和y方向辉度梯度的平方和)。这时，将图像尺寸保持原来的状态、改变过滤器尺寸时的边缘强度的变化，和过滤器尺寸保持3×3、改变图像的缩尺时的边缘强度的变化，在收集的各眼睛图像的各测量点测定。
图19(b)为表示测定的边缘强度的变化的图解。在摄影机的焦距一直对准的条件下，如图19(b)所示的那样，边缘强度不随着个人之间的差异、或虹膜周围的测量点的位置、或改变过滤器尺寸、或缩小图像的不同而变化，图像尺寸和过滤器尺寸的比在为规定值处变大。本发明者通过实验确认了这个现象。因而，在本实施例中，将边缘强度变大的图像尺寸和过滤器尺寸的比预先保存起来，在辉度梯度计算中利用。
(变换例)
而且，在本实施例中，进行反差修正或与眼睛样板的选配时，根据预先求出的图像尺寸和过滤器尺寸的相关关系，按照过滤器尺寸缩小输入图像，但是也可以不改变图像尺寸，而变更(扩大)过滤器尺寸。
在缩小图像尺寸的情况下，虽然眼睛位置的检测精度多少有些降低，但是处理速度成为高速。另一方面，在扩大过滤器尺寸的情况下，由于对于较大的面部图像采用较大的过滤器，所以虽然导致计算时间的增加，但是精度不降低。
在本实施例中，使用缩小图像通过眼睛样板进行选配，粗略地选择眼睛位置候补位置后，通过瞳孔样板对原图像进行选配，算出眼睛的中心。并且，通过瞳孔样板对原图像进行的选配，眼睛样板仅对与匹配的位置的瞳孔部分相当的部分进行。通过这样，不会降低检测精度，能够减少处理时间。
而且，本实施例涉及的反差修正，对基于本实施例所示的方法之外的方法的眼睛位置的确定也有效。例如，即使在仅通过眼睛样板的选配确定眼睛位置候补位置，并确定最终的眼睛位置的情况下，通过进行本实施例涉及的反差修正，能够得到显著的效果。
另外，在本实施例中，也可以省略反差修正。
另外，本实施例涉及的眼睛样板和选配方法，即使在不与瞳孔样板的选配一起进行的情况下也有效。
(其它应用例)
而且，本发明也能够在本实施例说明的出入室管理系统之外的用途上利用。例如，在具有摄影机和CPU的仪器上，通过将本发明涉及的眼睛位置检测算法和虹膜识别算法作为软件模块装入，能够作为个人认证仪器利用。
例如，在图20所示的带有摄影机的门对讲电话(内部互通电话)配置有CPU和程序存储器的情况下，通过利用有线·无线的程序下载或利用存储卡安装程序，能够实现具有个人认证功能的内部互通电话。通过这样，能够利用虹膜识别进行门的开锁、听为该人准备的应答信息。
另外，作为其它例，有图21所示的那样的在带摄影机的移动电话上的应用。由于最近的移动电话，为了连接互联网等配置有CPU或存储器，所以通过利用数据通信下载程序，或将存储程序的存储卡装进存储卡槽，能够实现具有个人认证功能的移动电话。通过这样，利用虹膜识别，排除移动电话被别人非法使用，或进行可靠性高的电子商务交易。
根据上面所述的本发明，在进行用于检测眼睛的位置的选配前，强调眼睛的巩膜部分和虹膜部分的反差，巩膜部分和虹膜部分之间的边缘强度变高。因此，能够通过辉度梯度图像和眼睛样板的选配，高精度地检测眼睛的位置。
另外，由于在眼睛样板上黑眼珠周围的点配置在n重同心圆上，所以即使眼睛的尺寸有若干变化也能够与之对应，能够进行精度高的选配。
并且，由于与具有比规定值大的辉度值的像素对应的辉度梯度图像上的点，从用于选配的相关值计算的对象中省去，所以眼镜的反射部分不包含在相关值计算中，通过这样能够更加高精度地检测眼睛的位置。
另外，由于在利用眼睛样板进行选配的同时，利用瞳孔样板进行选配，根据两个选配值检测眼睛的位置，所以眼睛的中心位置的定位精度比以前也提高。