主面部选择装置及其控制方法和摄像设备.pdf

本发明涉及主面部选择装置及其控制方法和摄像设备。该摄像设备基于针对检测到的各面部所计算出的优先度，从在逐次拍摄到的图像中检测到的面部中选择主面部。此外，摄像设备将指派给与最近选择出的主面部相对应的面部的优先度与指派给与除最近选择出的主面部以外的面部相对应的面部的优先度进行比较，然后对指派给与除最近选择出的主面部以外的面部相对应的面部的优先度超过指派给与最近选择出的主面部相对应的面部的优先度的次数进行计数。当针对与除最近选择出的主面部以外的面部相对应的面部所计数的次数之一超过预置的阈值时，该摄像设备进行切换到这些面部之一的主面部切换。

1.  一种主面部选择装置，包括：
面部检测部件，用于按时间序列检测由摄像部件逐次拍摄的所拍摄图像中的人物的面部，并判断检测到的面部中的哪些面部是最近检测到的面部；
计算部件，用于针对由所述面部检测部件按时间序列检测到的各面部计算优先度，使得能够基于检测到的各面部的大小和在所拍摄图像中的位置至少之一，将检测到的面部之一选择为主面部；
主面部选择部件，用于基于针对检测到的各面部所计算出的优先度，从检测到的面部中选择主面部；以及
计数部件，用于将指派给检测到的与最近选择出的主面部相对应的面部的优先度与指派给检测到的与除最近选择出的主面部以外的面部相对应的面部的优先度进行比较，然后针对检测到的与除最近选择出的主面部以外的面部相对应的面部中的各面部，对指派给检测到的与除最近选择出的主面部以外的面部相对应的面部的优先度超过指派给检测到的与最近选择出的主面部相对应的面部的优先度的次数进行计数，
其中，当在由所述计数部件针对检测到的与除最近选择出的主面部以外的面部相对应的面部中的各面部所计数的次数中，针对检测到的与除最近选择出的主面部以外的面部相对应的面部之一所计数的次数超过预置的阈值时，所述主面部选择部件进行从最近选择出的主面部到超过所述阈值的面部的主面部切换。

2.  根据权利要求1所述的主面部选择装置，其特征在于，
当所述面部检测部件不能够检测到与最近选择出的主面部相对应的面部时，所述主面部选择部件进行切换到检测到的面部中被给予最高优先度的面部的主面部切换。

3.  根据权利要求1所述的主面部选择装置，其特征在于，
当由所述计数部件针对检测到的与除最近选择出的主面部以外的面部相对应的面部中多于一个的面部所计数的次数超过所述阈值时，所述主面部选择部件进行切换到检测到的与除最近选择出的主面部以外的面部相对应的面部中所述多于一个的面部中被给予最高优先度的面部的主面部切换。

4.  根据权利要求1所述的主面部选择装置，其特征在于，
当所述主面部选择部件已经进行了切换到检测到的与除最近选择出的主面部以外的面部相对应的面部之一的主面部切换时，所述计数部件复位由所述计数部件针对检测到的与除最近选择出的主面部以外的面部相对应的面部中的各面部所计数的次数。

5.  根据权利要求1至4中任一项所述的主面部选择装置，其特征在于，
当在进行比较时指派给检测到的与除最近选择出的主面部以外的面部相对应的面部的优先度低于指派给检测到的与最近选择出的主面部相对应的面部的优先度时，所述计数部件使针对检测到的与除最近选择出的主面部以外的面部相对应的面部所计数的次数减小。

6.  一种摄像设备，包括：
摄像部件；
根据权利要求1所述的主面部选择装置；以及
控制部件，用于控制所述摄像设备，以聚焦于由所述主面部选择部件选择的主面部，或者针对由所述主面部选择部件选择的主面部进行曝光校正。

7.  一种主面部选择装置的控制方法，所述控制方法包括以下步骤：
面部检测步骤，用于按时间序列检测由摄像部件逐次拍摄的所拍摄图像中的人物的面部，然后判断检测到的面部中的哪些面部是最近检测到的面部；
计算步骤，用于针对在所述面部检测步骤中按时间序列检测到的面部中的各面部计算优先度，使得能够基于检测到的面部的大小和在所拍摄图像中的位置至少之一，将检测到的面部之一选择为主面部；
主面部选择步骤，用于基于针对检测到的各面部所计算出的优先度，从检测到的面部中选择主面部；以及
比较步骤，用于将指派给检测到的与最近选择出的主面部相对应的面部的优先度与指派给检测到的与除最近选择出的主面部以外的面部相对应的面部的优先度进行比较，然后针对检测到的与除最近选择出的主面部以外的面部相对应的面部中的各面部，对指派给检测到的与除最近选择出的主面部以外的面部相对应的面部的优先度超过指派给检测到的与最近选择出的主面部相对应的面部的优先度的次数进行计数，
其中，当在所述比较步骤中针对检测到的与除最近选择出的主面部以外的面部相对应的面部之一所计数的次数超过预置的阈值时，进行从最近选择出的主面部到超过所述阈值的面部的主面部切换。

主面部选择装置及其控制方法和摄像设备
技术领域
本发明涉及主面部选择装置、用于控制该主面部选择装置的方法和摄像设备。
背景技术
迄今为止，已经产生了具有自动调焦(AF)功能和自动曝光(AE)功能的摄像设备(例如，数字静止照相机和数字摄像机)，其中，利用自动调焦功能使被摄体自动聚焦，并且利用自动曝光功能自动进行曝光。为了更精确地进行适合于人物的面部的AF、AE等(在下文统称为“AF等”)，一些设备具有检测所拍摄图像中人物的面部的功能。此外，在所拍摄图像中检测到多个人物的面部的情况下，这些设备中的一些设备具有从人物的面部中选择被判断为主被摄体的人物的面部(在下文称为“主面部”)的功能。
在以上摄像设备中，基于所拍摄图像中的人物的面部的状态进行主面部的选择。这里所使用的表述“人物的面部的状态”指表示例如面部在所拍摄图像中的位置以及面部的大小的参数。
然而，在仅考虑特定时间时人物的面部的状态的情况下，由于面部的状态的略微改变，因此主面部切换频繁出现。由于该情况，已经提出了以下技术：当在所拍摄图像中选择主面部时，在重视所拍摄图像中的人物的面部的状态的同时抑制过度频繁的主面部切换(参见日本特开2008-005438和日本特开2008-205650)。
下面将说明以上技术的具体逻辑。图4示出与所拍摄图像中人物的面部有关的信息的示例。当检测到多个面部时，针对各面部查找面部信息。
这种面部信息包括从所拍摄图像的中心坐标(center_x，center_y)到检测到的面部(Face 1)的中心坐标(x1，y1)的距离。该信息还包括表示假定为正方形的面部的各边的长度的面部大小(size 1)和表示检测到的面部是人物面部的可能性的可靠度值。通过使用已知的面部检测技术从所拍摄图像获得这些项的面部信息。
例如，根据面部的大部分是肌肤色的状态，可以设置面部大小，使得预定大小的正方形中肌肤色区域的比保持为预定值。此外，根据眼睛的瞳孔是黑色的状态，基于是否存在两只眼睛、这两只眼睛之间的距离以及在这两只眼睛之间是否存在鼻子等来判断可靠度。在这种情况下，假定从1到10分等级表示可靠度，并且1表示面部是人物面部的最高可能性。
首先，通过利用检测到的面部的可靠度和如图5所示的可靠度-权重特性图，计算第一权重。在图5中，x轴表示输入即检测到的面部的可靠度，并且y轴表示输出即第一权重。当可靠度在1到3之间(含1和3)时，将第一权重设置为1.0；利用直线将表示可靠度为3且第一权重为1.0的点与表示可靠度为5且第一权重为0的点彼此连接；并且当可靠度是5以上时，将第一权重设置为0。
接着，通过利用检测到的面部的大小和图6A中的面部大小-权重特性图，计算第二权重。在图6A中，x轴表示输入即检测到的面部的大小，并且y轴表示输出即第二权重。例如，利用直线将表示面部大小为0个像素且第二权重为0的点与表示面部大小为20个像素且第二权重为0.2的点彼此连接。此外，利用直线将表示面部大小为20像素且第二权重为0.2的点与表示面部大小为30个像素且第二权重为1.0的点彼此连接，并且当面部大小是30个像素以上时，将第二权重设置为1.0。
在图6A中，当面部F1的大小W1不大于20个像素时，第二权重最大是0.2。然而，当面部F2的大小W2在20～30个像素的范围内时，第二权重从0.2到1.0变化。即，当面部大小超过表示应当被判断为主面部的面部大小的20个像素时，第二权重的值急剧变化；因此，给予应当作为主面部的面部F2较大的权重值。
此外，如图6B所示，提取出与所拍摄图像的中心O和检测到的面部F1和F2的中心之间的距离有关的、采用坐标值形式的距离信息dist。然后，通过使用所提取出的信息dist和图6B中的距离-权重特性图，计算第三权重。例如，假定要进行面部检测的所拍摄图像的大小是320×240个像素，并且当离中心O的距离是10个像素以下时将权重设置为1.0。此外，利用直线将表示距离为10个像素且第三权重为1.0的点与表示距离为80个像素且第三权重为0的点彼此连接，并且当距离是80个像素以上时，将权重设置为0。
在这种情况下，当离面部F1的中心的距离是约10个像素时，权重是1.0。然而，当离面部F2的中心的距离不小于10个像素时，权重在1.0以下；当离面部F2的中心的距离是80个像素以上时，权重是0。即，给予离图像的中心近且应当被判断为主面部的面部F1较大的权重值。
作为将第一至第三权重相乘的结果，可以将具有最大权重值的面部判断为帧中最有可能的主面部。
然而，在帧之间在人物构图中不存在大的差异的情况下，期望当人物的位置和人物的面部的可靠度略微改变时，对于各帧进行切换到被判断为最有可能的主面部的面部的切换。在这种情况下，由于频繁发生这种主面部切换，因此图像不利地变为不好看。由于该情况，考虑一旦已经选择了主面部，则需要使得不会容易地实行主面部切换。
具体地，读出上次面部检测时被选择为主面部的面部的坐标，然后通过使用例如毕达哥拉斯(Pythagorean)定理来确定所读出的坐标与各个新检测到的面部的坐标之间的距离。之后，为距离上次选择出的主面部最近的面部指派1.4的第四权重，并且为其它面部指派1.0的第四权重。
然后，通过将第四权重乘以第一至第三权重的乘积来计算各面部的最终权重，之后，将具有最大最终权重的面部确定为(选择为)此时的主面部。因此，即使在除主面部以外的面部在基于面部的可靠度、大小和位置的加权乘积方面高于主面部的情况下，当这些除主面部以外的面部远离上次面部检测时被选择为主面部的面部时，这些面部被选择为新确定的主面部的可能性也低。因而，对主面部切换设置限制，并因此可以抑制频繁的主面部切换。
然而，即使当使用以上方法时，也可能出现以下问题。图7A和7B示出在检测到主面部B之后检测到面部A时所进行的主面部判断操作。在这些操作中，通过将根据各面部的位置和大小以及前一主面部和各面部之间的距离所得出的3个权重值进行相乘(或相加)，确定最终权重值，然后基于该乘积(或和)来确定下一主面部。
如图7A所示，例如当位于摄像设备和作为主被摄体的主面部B之间的位置处的行人的面部A包括在所拍摄图像中时，面部A图像变得比面部B图像大得多。因此，即使考虑了上述第四权重，与面部B相比，也将为面部A指派较大的最终权重值，然后将在该时间立即实行从面部B到面部A的主面部切换。在这种情况下，指派给面部A的权重值如下。
60％×100％×1.0(第四权重)/100％＝60％
同样，指派给面部B的权重值如下。
100％×40％×1.4(第四权重)/100％＝56％
此外，如图7B所示，在检测到作为用户期望的主被摄体的面部A之前识别出主面部B的情况下，由于帧中面部A和面部B的大小和位置的微小差异，因此有时指派给面部A的最终权重值没有超过指派给面部B的最终权重值。在这种情况下，有时主面部B保持被选择为主被摄体；因此，有时用户期望的面部A未被选择为主面部。顺便提及，指派给面部A的权重值如下。
100％×40％×1.0(第四权重)/100％＝40％
同样，指派给面部B的权重值如下。
90％×40％×1.4(第四权重)/100％＝50.4≈50％
这样，用户可以彻底明白连续拍摄到的图像的中央处所存在的人物的面部分别被选择为主面部。然而，在瞬间通过视野的面部等的具有急剧升高的权重值的面部的情况下，用户可能不期望进行频繁的主面部切换。此外，用户可能不期望由于不是位于所拍摄图像的中央的主面部的位置在不同帧之间没有改变，因此没有出现主面部切换。鉴于这种情况，认为可以进一步改进现有技术。
发明内容
考虑到现有技术的这种问题而作出了本发明。本发明提供以下技术：当在连续拍摄到的图像中进行面部检测时，在抑制频繁的主面部切换的同时进行切换到适合于主面部的面部的各主面部切换。
本发明的第一方面提供一种主面部选择装置，包括：面部检测部件，用于按时间序列检测由摄像部件逐次拍摄的所拍摄图像中的人物的面部，并判断检测到的面部中的哪些面部是最近检测到的面部；计算部件，用于针对由所述面部检测部件按时间序列检测到的各面部计算优先度，使得能够基于检测到的各面部的大小和在所拍摄图像中的位置至少之一，将检测到的面部之一选择为主面部；主面部选择部件，用于基于针对检测到的各面部所计算出的优先度，从检测到的面部中选择主面部；以及计数部件，用于将指派给检测到的与最近选择出的主面部相对应的面部的优先度与指派给检测到的与除最近选择出的主面部以外的面部相对应的面部的优先度进行比较，然后针对检测到的与除最近选择出的主面部以外的面部相对应的面部中的各面部，对指派给检测到的与除最近选择出的主面部以外的面部相对应的面部的优先度超过指派给检测到的与最近选择出的主面部相对应的面部的优先度的次数进行计数，其中，当在由所述计数部件针对检测到的与除最近选择出的主面部以外的面部相对应的面部中的各面部所计数的次数中，针对检测到的与除最近选择出的主面部以外的面部相对应的面部之一所计数的次数超过预置的阈值时，所述主面部选择部件进行从最近选择出的主面部到超过所述阈值的面部的主面部切换。
本发明的第二方面提供一种摄像设备，包括：摄像部件；如上所述的主面部选择装置；以及控制部件，用于控制所述摄像设备，以聚焦于由所述主面部选择部件选择的主面部，或者针对由所述主面部选择部件选择的主面部进行曝光校正。
本发明的第三方面提供一种主面部选择装置的控制方法，所述控制方法包括以下步骤：面部检测步骤，用于按时间序列检测由摄像部件逐次拍摄的所拍摄图像中的人物的面部，然后判断检测到的面部中的哪些面部是最近检测到的面部；计算步骤，用于针对在所述面部检测步骤中按时间序列检测到的面部中的各面部计算优先度，使得能够基于检测到的面部的大小和在所拍摄图像中的位置至少之一，将检测到的面部之一选择为主面部；主面部选择步骤，用于基于针对检测到的各面部所计算出的优先度，从检测到的面部中选择主面部；以及比较步骤，用于将指派给检测到的与最近选择出的主面部相对应的面部的优先度与指派给检测到的与除最近选择出的主面部以外的面部相对应的面部的优先度进行比较，然后针对检测到的与除最近选择出的主面部以外的面部相对应的面部中的各面部，对指派给检测到的与除最近选择出的主面部以外的面部相对应的面部的优先度超过指派给检测到的与最近选择出的主面部相对应的面部的优先度的次数进行计数，其中，当在所述比较步骤中针对检测到的与除最近选择出的主面部以外的面部相对应的面部之一所计数的次数超过预置的阈值时，进行从最近选择出的主面部到超过所述阈值的面部的主面部切换。
根据以下(参考附图)对实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明实施例的摄像设备的结构的框图。
图2是示出根据图1的实施例的用于选择主被摄体的过程的流程图。
图3示出本发明的示例应用。
图4示出现有技术中使用的与所拍摄图像中的人物有关的面部信息的示例。
图5是示出现有技术中使用的面部信息中的可靠度-权重特性的图。
图6A包括示出面部大小的示意图和示出现有技术中使用的面部信息中的面部大小-权重特性的图。
图6B包括示出距离信息的示意图和示出现有技术中使用的面部信息中的距离信息-权重特性的图。
图7A和7B示出现有技术的在检测到主面部之后检测到面部时所进行的主面部判断操作。
具体实施方式
以下将参考附图来说明本发明的实施例。
图1示出根据本发明实施例的摄像设备(摄像机)1的结构。顺便提及，尽管使用摄像机作为具有主面部选择装置的摄像设备1的例子来解释本实施例，但本发明还可应用于数字静止照相机等的其它摄像设备。
如图1所示，第一固定透镜101和第二固定透镜104是固定而不会沿它们的光轴方向移动的透镜。变焦透镜102是通过由变焦驱动单元110使其沿其光轴方向移动来对被摄体图像进行变倍的透镜。调焦透镜105是通过由调焦驱动单元111使其沿其光轴方向移动来实现对伴随缩放的焦平面的移动进行校正的功能以及调焦功能的透镜。摄像设备1包括通过第一固定透镜101、变焦透镜102、光圈103、第二固定透镜104和调焦透镜105在摄像装置106处形成被摄体图像的摄像光学系统。
摄像装置106包括将由摄像光学系统所形成的被摄体图像光电转换成图像信号、然后输出该信号的CCD传感器或CMOS图像传感器。CDS/AGC单元107对摄像装置106的输出进行采样，并且控制其增益。CDS是“相关双采样(correlated doublesampling)”的缩写，并且AGC是“自动增益控制(automatic gaincontrol)”的缩写。
照相机信号处理单元108通过进行各种图像处理，将来自CDS/AGC单元107的输出信号转换成视频信号。监视器109是显示从照相机信号处理单元108输出的视频信号的液晶显示器(LCD)等。在控制单元114的控制下，记录单元115将来自照相机信号处理单元108的视频信号记录至磁带、光盘或半导体存储器等的记录介质(未示出)上。
变焦驱动单元110在控制单元114的控制下移动变焦透镜102，并且调焦驱动单元111在控制单元114的控制下移动调焦透镜105。变焦驱动单元110和调焦驱动单元111各自包括步进马达、DC马达、振动马达或音圈马达等的致动器。
在控制单元114的控制下，AF门112仅使从CDS/AGC单元107输出的表示在摄像装置106处生成的每个像素的输出信号中位于焦点检测时使用的区域内的信号通过。AF信号处理单元113从已通过AF门112的信号中提取高频分量、亮度分量(即，表示已通过AF门112的信号的亮度水平最大值和最小值之间的差的信号分量)等，由此生成AF评价值信号。
将由AF信号处理单元113所生成的AF评价值信号输出至控制单元114。AF评价值信号是表示基于来自摄像装置106的输出信号所生成的视频的清晰度(对比度状态)的信号；然而，由于清晰度根据摄像光学系统的聚焦状态而变化，因此该AF评价值信号变为表示摄像光学系统的聚焦状态的信号。
控制单元114是控制整个摄像设备1的操作的所谓的微控制器(或微计算机)。例如，控制单元114进行调焦控制，即通过控制调焦驱动单元111来移动调焦透镜105。作为调焦控制，控制单元114进行基于TV-AF的调焦控制(在下文简称为TV-AF)。此外，控制单元114可以通过控制记录单元115，将来自照相机信号处理单元108的视频信号以任意格式记录至记录介质上。
面部检测单元116通过对来自照相机信号处理单元108的视频信号进行已知的面部检测处理，检测由摄像装置106所拍摄到的图像中人物的面部区域。顺便提及，这种已知的面部检测处理的例子包括以下方法：在该方法中，基于从表现为图像数据的各个像素的灰度颜色提取出的肌肤色区域与所准备的面部轮廓模板之间的匹配度来进行面部检测。此外，公开了通过利用已知的模式识别技术提取眼睛、鼻子和嘴等面部的特征点来进行面部检测的方法以及其它面部检测方法。在本发明中，面部检测处理用的技术不限于以上技术；可以使用任何其它适合的技术。
面部检测单元116将面部检测处理的结果传送至控制单元114。基于由面部检测单元116所传送的检测结果，控制单元114控制AF门112，以将焦点检测时使用的区域添加至所拍摄图像中包括面部区域的位置。更具体地，控制单元114向AF门112通知表示焦点检测时使用的区域的坐标。AF门112仅将表示从控制单元114传送来的坐标信息的信号发送至AF信号处理单元113。
接着，以下将参考图2来说明由控制单元114进行的主面部判断控制。根据控制单元114的存储器(未示出)中所存储的计算机程序来进行主面部判断控制。此外，按时间序列对由摄像装置106以预定的帧频逐次拍摄到的图像顺次进行主面部判断控制的操作。顺便提及，根据面部检测单元116的性能，可以以约几个帧的间隔进行主面部判断控制的操作。
在控制单元114处，基于通过主面部判断控制所确定的主面部的位置，定义焦点检测时使用的区域，然后对该区域进行TV-AF处理。由于对预定区域进行的TV-AF处理是已知技术，因此将省略对这种处理的解释。
如图2所示，当在S201中处理开始时，在S202中控制单元114从面部检测单元116提取在当前所拍摄图像中进行的面部检测的结果。控制单元114配置有临时存储与从面部检测单元116提取出的面部检测结果有关的数据的缓冲器。在缓冲器中确保至少存储从面部检测单元116提取出的面部检测结果的当前结果和前一结果的存储区域。
接着，在S203中，控制单元114基于在当前所拍摄图像中检测到的面部与在缓冲器中所存储的前一所拍摄图像中检测到的面部的位置和大小，将这些面部进行匹配。基于匹配结果，控制单元114将前一所拍摄图像和当前所拍摄图像中被认为是同一人物的面部的这些面部彼此相关联，由此检测到与先前检测到的面部相对应的面部。结果，从当前检测到的面部中，可以检测到与前一所拍摄图像中的主面部相同的面部。
为在面部检测单元116中检测到的面部图像指派以下所述的计数器信息(在下文简称为“计数器”)。更具体地，在计数器与在S203中检测到的面部相对应的情况下，将这些计数器存储在前述缓冲器中所确保的预定存储区域中。然后，在步骤S203中将当前图像中的人物与前一图像中的人物判断为同一人物的情况下，照原样使用与从前一图像检测到的面部相对应地存储的计数器。
准备好(在缓冲器中确保)数量与一个帧中能够显示的检测到的面部的位置的数量相同的计数器以进行赋值。例如，当使用能够一次表示检测到的30个面部的结果的用户接口(UI)时，准备好30个计数器以进行赋值。顺便提及，当在步骤S203中不能够检测到连续被检测为同一人物的面部的面部时，与该人物相对应的计数器被解除。作为对比，当在S203中检测到迄今为止尚未检测到的其它人物的面部时，使另一计数器(表示值0)与该人物的面部相对应，由此从0开始其计数。
然后，在S204中，控制单元114计算要指派给在当前所拍摄图像中检测到的面部的主面部判断用的优先度。在计算指派给面部的优先度时，如参考图6B所述，设置优先度，使得检测到的面部距离帧的中央越近，则对优先度进行的加权越大，并且检测到的面部距离帧的周围越近，则对优先度进行的加权越小。此外，在计算指派给面部的优先度时，如参考图6A所述，设置优先度，使得面部大小越大，则进行的加权越大，并且面部大小越小，则进行的加权越小。在S204中，控制单元114将根据各面部在帧中的位置所加权的值与根据各面部大小所加权的值相乘(或相加)，并且判断为乘积(或者和)越大，则指派给面部的优先度越高。
可以由控制单元114基于各个检测到的面部的大小和各面部在所拍摄图像中的位置至少之一来计算以上优先度。例如，当仅基于检测到的面部的大小计算优先度时，控制单元114可以将根据各面部在帧中的位置所加权的值设置为1，并且将根据各面部大小所加权的值与值1相乘(或相加)。
在S205中，基于在S203中进行匹配的结果，控制单元114判断在当前所拍摄图像中检测到的面部中是否存在被看作为在前一面部检测时(上次)被判断为具有主面部的人物的面部的面部。当在此次判断时从在当前所拍摄图像中检测到的面部中发现相同的面部时，控制单元114进入S206。另一方面，当在前一面部检测时被判断为主面部的人物的面部在当前所拍摄图像中已经消失时，控制单元114进入S210。
在S206中，控制单元114将指派给在前一面部检测时被判断为主面部的面部的优先度与指派给其它各面部的优先度进行比较。基于该比较，在其它面部中的一些面部具有比主面部高的优先度的情况下，控制单元114使与这些面部相关联的计数器值(表示对指派给这些面部其中之一的优先度超过指派给主面部的优先度的次数进行计数)增大；在其它面部中的一些面部具有比主面部低的优先度的情况下，使与这些面部相关联的计数器值减小。即，针对除主面部以外的面部中的各面部，控制单元114对指派给除主面部以外的面部中的各面部的优先度超过指派给主面部的优先度的次数进行计数。
在S207中，控制单元114判断是否已经发现具有大于或等于预定值(或超过阈值)的计数器值的面部。当已经发现具有大于或等于预定值的计数器值的面部时，控制单元114进入S208。在S208中，控制单元114判断为具有大于或等于预定值的计数器值的面部是新的主面部，然后清除与所有面部相关联的计数器值，由此在S209中结束主面部判断处理。相反，当没有发现具有大于或等于预定值的计数器值的面部时，控制单元114在S209中结束主面部判断处理。假定参考主面部判断控制处理之间的间隔等，在存储器等中预置上述预定值(或阈值)。
这里，计数器值是表示指派给面部的优先度高于指派给在该时间点被判断为主面部的面部的优先度的频率的值，而不是表示指派给面部的优先度高多少或低多少的值。这里，如下示出图7A所呈现的情况，即检测到与先前的主面部B相比具有充分高的优先度的面部A。
面部A：60％(位置)+100％(大小)＝160％
面部B：100％(位置)+40％(大小)＝140％
在这种情况下，每次检测到各面部时，仅增加计数1。在面部A是经过的人物的面部、并且面部A图像突然变得小于面部B图像或者在新拍摄到的图像中没有检测到面部A图像的情况下，与面部A相关联的计数器值未达到预定值，并因此面部A未被判断为主面部。
另一方面，如下示出图7B中所示的情况，即检测到与先前的主面部B相比具有略高的优先度的面部A。
面部A：100％(位置)+40％(大小)＝140％
面部B：90％(位置)+40％(大小)＝130％
同样在这种情况下，每次检测到各面部时，仅增加计数1。然而，由于在帧的中央附近高频率地检测到面部A，因此与面部A相关联的计数器值达到预定值，并因此面部A被判断为主面部。
换言之，与各面部相关联的计数器值表示与已经检测到的主面部相比较各面部看上去是主面部的频率。这意味着当与这些面部其中之一相关联的计数器值大时，该面部更应当被看作为主面部。
在S208中由控制单元114在主面部切换时清除与所有面部相关联的计数器值的目的是防止出现以下情况：通过在紧挨切换至主面部之后与除主面部以外的面部相关联的计数器值的增大，立即进行到其它主面部的切换。因此，必然以定期间隔(进行包括S201～S209的主面部判断处理的次数至少超过预定次数)进行主面部的切换。尽管非常稀少，但在与多个面部相关联的计数器值同时超过预定值的情况下，控制单元114将当前所拍摄图像中给予了最高优先度的面部判断为新选择出的主面部。
在S210中，控制单元114将在当前所拍摄图像中检测到的面部中给予了最高优先度的面部判断为新的主面部，然后清除(复位)与所有面部相关联的计数器值，由此在S209中结束主面部判断处理。
本段参考图3来说明本发明的示例应用。与图7A和7B相同，图3的例子表示在面部B图像之后出现面部A图像的情况；这两个面部的位置和大小与图7A和7B的图像中面部的位置和大小相同。如图3所示，由于将本发明应用至这些所拍摄图像引起指派给面部A的优先度高于指派给面部B的优先度的这种状态，因此通过重复主面部判断处理使与面部A相关联的计数器值增大。之后，当与面部A相关联的计数器值已经超过预定值时，面部A被判断为新选择出的主面部。因此，与具有图7A和7B所示的立即进行主面部切换以及优先度之间的微小差异不会导致进行从主面部B的切换的问题的现有技术的摄像设备不同，如图3所示，根据本发明的摄像设备可以将面部A稳定地判断为主面部。
如上所述，在根据本发明的摄像设备中，通过在同一面部具有比当前主面部高的优先度预定次数时将该同一面部判断为主面部，可以在重视所拍摄图像中被摄体的状态的同时抑制频繁的主面部切换。此外，由于基于在逐次拍摄到的图像中检测到的面部的大小和位置来计算优先度，因此这些计算未受先前面部的大小和位置影响。因此，当在多个逐次拍摄到的图像中给定面部具有比当前主面部高的优先度、并且用户认为应当进行主面部切换时，根据本发明的摄像设备可以精确地进行主面部切换。
在摄像设备1中，在前述主面部判断处理之后，通过在控制单元114的控制下控制调焦透镜105以利用TV-AF使被判断为主面部的面部聚焦，可以使该主面部聚焦。类似地，在摄像设备1中，在主面部判断处理之后，通过利用在控制单元114的控制下工作的光圈驱动单元(未示出)来调整光圈103的开口率，可以对被判断为主面部的面部进行曝光控制。
以上实施例中所呈现的说明仅是示例，并且并未意图限制本发明的范围。根据以上实施例的摄像设备的结构和操作可以适当改变。
其它实施例
还可以通过读出并执行存储装置上所记录的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等的装置)以及通过以下方法来实现本发明的方面，其中，由系统或设备的计算机通过例如读出并执行存储装置上所记录的程序以进行上述实施例的功能，来进行该方法的步骤。为了该目的，例如，经由网络或者从用作存储装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。