《用于无人值守图像俘获的方法及设备.pdf》由会员分享,可在线阅读,更多相关《用于无人值守图像俘获的方法及设备.pdf(26页完整版)》请在专利查询网上搜索。
1、10申请公布号CN104094590A43申请公布日20141008CN104094590A21申请号201380007992422申请日2013012961/595,42320120206US13/612,21520120912USH04N5/23220060171申请人高通股份有限公司地址美国加利福尼亚州72发明人吴黄新卡蒂科扬尚姆加瓦迪韦卢刘石忠菀顺文森特马阿达许阿沛戈利克利74专利代理机构北京律盟知识产权代理有限责任公司11287代理人宋献涛54发明名称用于无人值守图像俘获的方法及设备57摘要本发明描述一种用于无人值守图像俘获的方法及设备,其可识别用图像传感器俘获的图像内的主体或面部。。
2、所述方法及设备可接着至少部分地基于所述图像中的所检测主体或面部的分数、面部表情分数、聚焦分数、曝光分数、稳定性分数或音频分数而对所述图像进行计分。如果所述图像的所述分数高于阈值,则可将快照图像存储到所述成像装置上的数据存储装置。如果所述图像的所述分数低于阈值,则可产生指示所述主体在图像俘获过程期间应改变位置、微笑或保持更静止的一或多个可听提示。30优先权数据85PCT国际申请进入国家阶段日2014080486PCT国际申请的申请数据PCT/US2013/0236542013012987PCT国际申请的公布数据WO2013/119420EN2013081551INTCL权利要求书3页说明书15页。
3、附图7页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书15页附图7页10申请公布号CN104094590ACN104094590A1/3页21一种俘获图像的方法,其包括用图像传感器俘获场景的图像;确定所述图像中的多个主体;确定所述图像中的两个或两个以上主体中的每一者的主体分数;至少部分地基于所述主体分数确定图像分数;在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的快照图像并将所述快照图像存储到数据存储装置;以及在所述图像分数低于阈值的情况下基于主体的所述分数输出提示。2根据权利要求1所述的方法,其进一步包括检测所述所俘获图像中的面部。3根据权利要求2所述的方法。
4、,其进一步包括对所述所检测面部执行面部辨识以使名称与所述所检测面部相关联。4根据权利要求3所述的方法,其中提示的所述输出是基于所述名称。5根据权利要求2所述的方法,其中对所述图像进行计分是至少部分地基于面部位置分数、面部遮挡分数、面部眨眼分数、面部微笑分数,或面部注视分数。6根据权利要求1所述的方法,其中对所述图像进行计分是至少部分地基于图像稳定性分数、图像聚焦分数、图像曝光分数,或图像音频分数。7根据权利要求1所述的方法,其进一步包括基于所述图像分数俘获快照图像;以及将所述快照图像存储到存储装置。8根据权利要求1所述的方法,其进一步包括从麦克风接收音频信号,检测所述音频信号中的关键字或关键声。
5、音,及基于所述所检测的关键字或关键声音对所述所俘获图像进行计分。9一种用于俘获图像的设备,其包括图像传感器;处理器,其操作性地耦合到所述图像传感器;图像传感器控制模块,其经配置以用所述图像传感器俘获场景的图像;主体检测模块,其经配置以检测所述所俘获图像中的多个主体;主体计分模块,其经配置以确定所述所俘获图像中检测到的所述多个主体中的两者或两者以上中的每一者的分数;图像计分模块,其经配置以至少部分地基于所述主体分数确定图像分数;快照俘获模块,其经配置以在所述图像分数高于预定图像分数阈值的情况下用所述图像传感器俘获快照图像;提示确定模块,其经配置以至少部分地基于所述图像分数确定提示;以及用户交互模。
6、块,其经配置以输出所述提示。10根据权利要求9所述的设备,其进一步包括面部辨识模块,所述面部辨识模块经配置以使名称与所述所检测主体中的一者相关联,其中所述提示的所述输出还基于所述名称。11根据权利要求9所述的设备,其中对所述图像进行计分是至少部分地基于面部位置分数、面部遮挡分数、面部眨眼分数、面部微笑分数,或面部注视分数。权利要求书CN104094590A2/3页312根据权利要求9所述的设备,其中对所述图像进行计分是至少部分地基于图像稳定性分数、图像聚焦分数、图像曝光分数,或图像音频分数。13根据权利要求9所述的设备,其进一步包括麦克风;以及音频俘获模块,其经配置以使用所述麦克风俘获与所述图。
7、像相关联的音频信号,其中所述图像分数还基于所述所俘获的音频信号。14一种图像俘获装置,其包括用于用图像传感器俘获场景的图像的装置;用于确定所述图像中的多个主体的装置;用于对所述多个主体中的两者或两者以上中的每一者进行计分的装置;用于至少部分地基于所述主体的所述分数对所述图像进行计分的装置;用于在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的图像并将所述图像存储到数据存储装置的装置;以及用于在所述图像分数低于阈值的情况下基于主体的所述分数输出提示的装置。15根据权利要求14所述的图像俘获装置,其进一步包括用于俘获与所述图像相关联的音频的装置,其中所述图像分数进一步基于所述所俘获音频。。
8、16根据权利要求14所述的图像俘获装置,其中所述用于对所述多个主体中的每一者进行计分的装置包含用于确定面部位置分数的装置、用于确定面部遮挡分数的装置、用于确定面部眨眼分数的装置、用于确定面部微笑分数的装置,或用于确定面部注视分数的装置。17根据权利要求14所述的图像俘获装置,其中所述用于对所述图像进行计分的装置包含用于确定图像稳定性分数的装置、用于确定图像聚焦分数的装置、用于确定图像曝光分数的装置,或用于确定图像音频分数的装置。18一种存储指令的非暂时性计算机可读媒体,所述指令在由处理器执行时致使所述处理器执行以下方法用图像传感器俘获场景的图像;确定所述图像中的多个主体;对所述多个主体中的两者。
9、或两者以上进行计分;至少部分地基于所述主体的所述分数对所述图像进行计分;在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的图像并将所述图像存储到数据存储装置;以及在所述图像分数低于阈值的情况下基于主体的所述分数输出提示。19根据权利要求18所述的计算机可读媒体,其中对所述图像进行计分是至少部分地基于面部位置分数、面部遮挡分数、面部眨眼分数、面部微笑分数、面部注视分数、图像稳定性分数、图像聚焦分数、图像曝光分数,或图像音频分数。20根据权利要求18所述的计算机可读媒体,其中所述计算机可读媒体存储在由处理器执行时进一步致使所述处理器执行以下方法的指令检测所述所俘获图像中的面部;以及对所述。
10、所检测面部执行面部辨识以使名称与所述所检测面部相关联,其中提示的所述权利要求书CN104094590A3/3页4输出基于所述名称。权利要求书CN104094590A1/15页5用于无人值守图像俘获的方法及设备技术领域0001本发明的实施例涉及成像装置,且明确地说,涉及用于用成像装置进行无人值守图像俘获的方法及设备。背景技术0002数字成像装置的一个常见用途是无人值守图像俘获。当群组的所有成员都希望包含在图像中时,可使用无人值守图像俘获模式。在此情况下,在俘获图像时,没有人可以值守成像装置。在使用位于成像装置上的传统“快门释放”按钮俘获图像时,情况尤其如此。为解决此使用情况,“自拍计时器SELF。
11、TIMER”作为数字成像装置的特征已变得普遍。自拍计时器在按压快门释放的时间与俘获图像之间提供延迟。此延迟为拍摄者提供按压快门释放按钮且接着快速前去正拍摄的场景中的机会。当计时器到期时,俘获图像,而不管拍摄者是否能够成功地使其自身处于图像中,且不管在计时器到期时图像的任何其他主体是否准备好。0003除自拍计时器之外,一些成像装置还提供远程控制能力以辅助无人值守图像俘获。通过远程控制能力,可能不太需要使用自拍计时器。确切地说,具有远程控件的“拍摄者”可使其自身处于正由成像装置俘获的场景内。在远程控件上启动“快门释放”按钮将远程地命令成像装置俘获图像。如果拍摄者可定位远程控件而使得其在照片中不可见。
12、,则远程控件可提供无人值守图像俘获的良好解决方案。0004遗憾的是,存在当试图在没有拍摄者存在于相机后方的情况下俘获图像时可能发生的许多问题。这可能至少部分归因于拍摄者在俘获图像之前不能够预览场景。场景常常是动态的,且可能随着场景的主体准备被拍摄而改变。举例来说,当拍摄者首先经由取景器观看或最初经由电子显示器预览场景时,一些主体可能并不恰当地定位在图像帧中。此外,一些主体可能并不正在观看相机,或可能不具有恰当表情来获得合意的照片。然而,通过等待合适的片刻,主体的位置可改进,且主体可向相机微笑以使得拍摄者可获得合意的图像。拍摄者可接着俘获快照图像。0005一些拍摄者可能不但要等待正确片刻,而且还。
13、要向正拍摄的主体提供指导。举例来说,拍摄者可让一个主体移近另一主体,或移动地更靠近图像中心。拍摄者还可例如通过让主体微笑并看向相机而在表情上指导主体。接着,当拍摄者已指导主体进入所成像的场景将产生合意快照的位置时,拍摄者可俘获快照图像。0006然而,自拍计时器不会等待主体恰当地使其自身处于场景中,而是在特定时间量已过去之后俘获图像。俘获快照,而不管所有主体是否都恰当地定位。使用远程控件俘获快照图像可允许具有远程控件的“拍摄者”在指导主体中起到一定作用,然而,拍摄者在场景内的位置可能不会向其给予图像在被俘获时将看似如何的视角。这可限制其提供的任何方向的有用性。举例来说,其可能不能够看出是否所有主。
14、体都已恰当地定位或是否照片的所有主体都具有合意表情。说明书CN104094590A2/15页6发明内容0007本发明的实施例中的一些可包含一种用数字成像装置俘获图像的方法。所述方法包含用图像传感器俘获场景的图像;确定所述图像中的多个主体;确定所述图像中的两个或两个以上主体中的每一者的主体分数;至少部分地基于所述主体分数确定图像分数;在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的快照图像并将所述快照图像存储到数据存储装置;以及在所述图像分数低于阈值的情况下基于主体的所述分数输出提示。在一些实施例中,所述方法还包含检测所述所俘获图像中的面部。在一些实施例中,所述方法还包含对所述所检测。
15、面部执行面部辨识以使名称与所述所检测面部相关联。在一些实施例中,提示的所述输出是基于所述名称。0008在一些其它实施例中,对图像进行计分是至少部分地基于面部位置分数、面部遮挡分数、面部眨眼分数、面部微笑分数,或面部注视分数。在一些实施例中,对图像进行计分是至少部分地基于图像稳定性分数、图像聚焦分数、图像曝光分数,或图像音频分数。0009在一些实施例中,所述方法包含基于所述图像分数俘获快照图像,及将所述快照图像存储到存储装置。在一些实施例中,所述方法还包含从麦克风接收音频信号,检测所述音频信号中的关键字或关键声音,及基于所述所检测的关键字或关键声音对所述所俘获图像进行计分。0010另一方面为一种。
16、用于俘获图像的设备。所述设备包含图像传感器;以及处理器,其操作性地耦合到所述图像传感器。所述设备还包含图像传感器控制模块,且经配置以用所述图像传感器俘获场景的图像;主体检测模块,其经配置以检测所述所俘获图像中的多个主体;主体计分模块,其经配置以确定所述所俘获图像中检测到的所述多个主体中的两者或两者以上中的每一者的分数;图像计分模块,其经配置以至少部分地基于所述主体分数确定图像分数;快照俘获模块,其经配置以在所述图像分数高于预定图像分数阈值的情况下用所述图像传感器俘获快照图像;提示确定模块,其经配置以至少部分地基于所述图像分数确定提示;以及用户交互模块,其经配置以输出所述提示。0011在一些实施。
17、例中,所述设备还包含面部辨识模块,所述面部辨识模块经配置以使名称与所述所检测主体中的一者相关联,其中所述提示的所述输出还基于所述名称。在一些实施例中,对图像进行计分是至少部分地基于面部位置分数、面部遮挡分数、面部眨眼分数、面部微笑分数,或面部注视分数。在一些实施例中,对图像进行计分是至少部分地基于图像稳定性分数、图像聚焦分数、图像曝光分数,或图像音频分数。0012在一些实施例中,所述设备还包含麦克风;以及音频俘获模块,其经配置以使用所述麦克风俘获与所述图像相关联的音频信号,其中所述图像分数还基于所述所俘获的音频信号。0013所揭示的另一方面为一种图像俘获装置。所述图像俘获装置包含用于用图像传感。
18、器俘获场景的图像的装置;用于确定所述图像中的多个主体的装置;用于对所述多个主体中的两者或两者以上中的每一者进行计分的装置;用于至少部分地基于所述主体的所述分数对所述图像进行计分的装置;用于在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的图像并将所述图像存储到数据存储装置的装置;以及用于在所述图像分数低于阈值的情况下基于主体的所述分数输出提示的装置。0014在一些实施例中,所述图像俘获装置进一步包含用于俘获与所述图像相关联的音说明书CN104094590A3/15页7频的装置。所述图像分数进一步基于所述所俘获音频。在一些实施例中,所述用于对所述多个主体中的每一者进行计分的装置包含用于。
19、确定面部位置分数的装置、用于确定面部遮挡分数的装置、用于确定面部眨眼分数的装置、用于确定面部微笑分数的装置,或用于确定面部注视分数的装置。在一些实施例中,所述用于对所述图像进行计分的装置包含用于确定图像稳定性分数的装置、用于确定图像聚焦分数的装置、用于确定图像曝光分数的装置,或用于确定图像音频分数的装置。0015所揭示的另一方面为一种存储指令的非暂时性计算机可读媒体,所述指令在由处理器执行时致使所述处理器执行以下方法用图像传感器俘获场景的图像;确定所述图像中的多个主体;对所述多个主体中的两者或两者以上进行计分;至少部分地基于所述主体的所述分数对所述图像进行计分;在所述图像分数高于阈值的情况下用。
20、所述图像传感器俘获所述场景的图像并将所述图像存储到数据存储装置;以及在所述图像分数低于阈值的情况下基于主体的所述分数输出提示。0016在一些实施例中,对图像进行计分是至少部分地基于面部位置分数、面部遮挡分数、面部眨眼分数、面部微笑分数、面部注视分数、图像稳定性分数、图像聚焦分数、图像曝光分数,或图像音频分数。在一些实施例中,所述计算机可读媒体进一步包含在执行时扩展所述方法以包含以下操作的指令检测所述所俘获图像中的面部;以及对所述所检测面部执行面部辨识以使名称与所述所检测面部相关联,其中提示的所述输出是基于所述名称。附图说明0017下文将结合附图描述所揭示的方面,提供附图以说明而非限制所揭示的方。
21、面,其中相同名称表示相同元件。0018图1展示包含包括多个主体的场景的图像的成像环境。0019图2是实施所揭示的方法及设备的至少一个实例的成像装置的功能框图。0020图3是俘获图像的方法的一个实施方案的流程图。0021图4是说明用于对一或多个所识别面部进行计分的方法的一个实施方案的流程图。0022图5是用于对图像进行计分的方法的一个实施方案的流程图。0023图6是用于为可提示图像分数分量进行优先级排序的方法的一个实施方案的流程图。0024图7展示包含包括多个主体的场景的图像的成像环境。具体实施方式0025本发明的实施例涉及用于在成像装置无人值守时用所述成像装置俘获图像的方法及设备。在一个实施例。
22、中,所述成像装置包含经由提示而向被拍摄的主体给出指导的软件及硬件。提示可为视觉或听觉提示,或在一些情况下,为视觉及听觉提示两者。所述系统可测量所述场景中的主体的位置或表情,且接着让场景中所辨识的主体改变其位置或面部表情。举例来说,在一个实施例中,下方描述的方法及设备可指导主体改变位置以使其更好地在图像帧中居中。在一些实施例中,所述方法及设备可测量主体的位置且确保其整个形体或面部为所俘获图像的部分。所述方法及设备还可指导主体改变其表情,例如,鼓励他们说明书CN104094590A4/15页8微笑或看向相机以提供更合意的照片。0026在一个实施例中,使用面部计分及图像计分过程完成成像装置对个别主体。
23、的提示。在一些实施方案中,俘获包含多个主体的场景的预览图像。所述成像系统接着例如经由面部检测过程检测所述预览图像所俘获的场景中的一或多个主体。在一个实施方案中,所述方法及设备接着试图辨识所述场景中所检测的每一面部。可维持已知面部的数据库以促进面部辨识。一旦已辨识出面部,则可依据多种性质包含面部是否正眨眼、微笑或注视对每一检测或辨识出的面部进行计分。每一主体的个别分量面部分数可与和总体预览图像有关的其它分数组合以产生总体图像分数。0027总体图像的分数可基于从每一主体搜集的多个分量分数,包含上文论述的面部分数以及与总体图像的性质有关的分数。这些可包含与图像的曝光、图像的稳定性、总体图像的聚焦或与。
24、图像相关联的音频有关的分数。0028在一些实施方案中,可建立图像质量准则以确定何时可俘获快照图像。快照图像可不同于预览图像。尽管在一些实施方案中可连续地俘获预览图像,但预览图像通常至多存储到存储器达短的短暂周期。可对预览图像执行图像处理方法以促进调谐成像参数,例如曝光、光圈或传感器灵敏度。其还可在显示器上显示给用户以促进快照图像的俘获。在一些实施方案中,快照图像的分辨率可高于预览图像。快照图像还可存储到稳定存储装置,例如内部存储器、闪存驱动器、压缩闪存卡、安全数字多媒体卡、XD图片卡、存储棒、微型驱动器、智能媒体卡或其它稳定存储装置,而预览图像通常不存储到稳定存储装置。0029在一些实施方案中。
25、,快照俘获质量准则可包含总体图像分数的阈值。在利用较高分数指示图像的改进特性的实施方案中,如果总体图像分数高于阈值,则确定预览图像的质量足以产生合意的快照图像。在这些实施方案中,当总体图像分数高于阈值时,可由成像装置自动地俘获快照图像。在利用较低分数指示图像的改进特性的一些其它实施方案中,如果总体图像分数低于阈值,则可确定先前图像的质量足以产生合意的快照图像。在这些实施方案中,当总体图像分数低于阈值时,可由成像装置自动地俘获快照图像。0030其它实施方案可具有更广泛的快照俘获质量准则。举例来说,一些实施方案可包含用于图像分数的个别分量的预定准则及/或阈值,包含使用一或多个预定准则或阈值用于面部。
26、分数的个别分量。准则可包含确定一或多个分数是否大于、小于、大于或等于,或小于或等于一或多个阈值。在一些实施例中,每一个别分数可具有对应阈值。在其他实施例中,多个分数可利用相同阈值以确定是否满足质量准则。在一些实施方案中,如果分量分数中的任一者低于其阈值,则可能不俘获快照图像。其它实施方案可在确定是否自动地俘获快照图像时测量满足其质量准则的图像分数分量的百分比。举例来说,如果满足其质量准则的图像分数分量的百分比大于70、75、80、85、90、95或99,则可俘获图像。0031如果预览图像的分数不满足快照图像质量准则,则不可由成像装置俘获快照图像。替代地,可对照一或多个提示准则评估图像的分量分数。
27、。举例来说,可基于预览图像中的每一所检测面部对总体图像分数的消极影响而对其进行优先级排序。可接着选择面部具有最高优先级分数的主体用于提示。0032可基于先前确定的辨识信息针对所选主体定制提示。举例来说,通过辨识预览图像中的主体的面部,成像系统可使名称与选择用于提示的主体相关联。因此,系统可执行面说明书CN104094590A5/15页9部辨识以基于关于鲍勃的面部所存储的先前数据将主体中的一者辨识为“鲍勃”。如果发现鲍勃为主体中的一者,且确定其面部分量分数的至少一部分为最高优先级分数,则音频提示可例如通过经由与成像装置集成或附接到成像装置的扬声器可听到地陈述“鲍勃,微笑”来直接指向他们。0033。
28、图1展示包含包括多个主体的场景100的图像的成像环境。如所说明,一些人可能认为此场景的照片不合意。举例来说,例如主体102及104等许多主体不在看相机。此外,主体106未恰当地定位在场景中,程度之甚以至于其头部在场景100外部。此外,若干主体的表情使得可能不能产生合意的照片。举例来说,主体108看起来正注视远方。主体110可能正眨眼或眯眼。主体112及114不在看相机。此外,主体112部分地遮挡主体116的面部。0034相机150说明为对场景进行成像。还展示相机150使用听觉提示155及156提示场景内的主体。举例来说,提示156指向当前不在看相机的主体104卡乐比KALEB。提示155指向面。
29、部部分地被主体112林奈尔LYNELLE挡住的主体116弗雷德FRED。如下文将更详细地论述,相机150的实施例包含对场景的主体执行面部辨识的模块,且接着比较所辨识面部与存储在相机150内的面部的表或数据库。从所述表或数据库,相机可确定每一所辨识主体的名称,且接着使用所述信息来与每一主体可听到地通信。0035图2是实施在成像装置150内使用的方法的至少一个实例的所述成像装置的功能框图。成像装置150包含处理器220。处理器220可操作地连接到成像传感器215、加速度计280、工作存储器205、麦克风208、存储装置210、输出装置290,及存储器230。0036存储器230存储包含配置处理器2。
30、20以执行成像装置150的功能的指令的模块。传感器控制模块235包含配置处理器220以控制成像传感器215的指令。举例来说,传感器控制模块235中的指令可配置处理器220以调整成像传感器215的一或多个参数,例如成像传感器的光圈、快门速度或灵敏度。传感器控制模块235还可包含致使处理器220命令成像传感器215俘获一或多个图像的指令。因此,传感器控制模块235中的指令可表示一个用于用图像传感器俘获场景的图像的装置。0037主体检测模块250包含配置处理器220以检测由成像传感器215俘获的图像中的一或多个主体的指令。在一些实施方案中,主体检测模块可检测图像中的对象。主体检测模块250中的指令可。
31、因此表示一个用于确定图像中的多个主体的装置。主体可包含多种对象。举例来说,主体可为建筑物、汽车、人或例如马、狗、猫或牛等动物。0038面部检测模块251包含配置处理器220以检测由成像传感器215俘获的图像中的一或多个面部的指令。在一些实施方案中,面部检测模块250可检测由主体检测模块250检测到的主体或对象中的面部。在其它实施方案中,面部检测模块251可独立于主体检测模块250操作,且直接检测由成像传感器215俘获的图像中的面部。0039面部辨识模块252包含配置处理器220以辨识及识别由主体检测模块250检测到的或存在于由成像传感器215俘获的图像中的至少一些主体中的面部的指令。面部辨识模。
32、块252可搜索已知面部的数据库以执行辨识功能。已知面部的数据库可存储于例如存储装置210中。面部辨识模块252还可使用此项技术中已知的面部辨识方法中的任一者来执行面部辨识。0040面部计分模块255包含配置处理器220以对由面部检测模块250检测到或由面部说明书CN104094590A6/15页10辨识模块252辨识出的每一面部进行计分的指令。面部计分模块255可基于例如面部是否正眨眼、微笑或瞪眼而对一或多个面部进行计分。在一实施方案中,面部检测模块251可提供眼角的位置、眼睛的位置、鼻孔的位置,及唇角的位置。这些位置可处理为“关键点”。基于这些关键点之间的空间关系,面部计分模块255可确定微。
33、笑程度、眨眼程度,或注视方向。举例来说,可通过测量在眼睛顶部与底部处的关键点之间的垂直距离来确定眼睛眨眼。0041面部计分模块255还可基于面部是否正看相机或面部是否被图像内的其它对象部分或完全遮挡而对一或多个面部进行计分。在一实施例中,面部计分模块255可通过计数在面部上检测到多少关键点而确定面部是否被部分遮挡。举例来说,如果仅在面部上检测到左眼的关键点,则面部的右眼可能被遮挡。在另一实施方案中,面部计分模块可利用多个图像帧来对面部进行计分。在这些实施方案中,如果第二面部在第一帧中的第一面部的位置的阈值接近度内,则在第一帧中检测到但未在第二后续帧中检测到的第一面部可能被遮挡。在一个实施方案中。
34、,可基于面部在图像内或相对于其它主体或面部的位置而对所述面部进行计分。0042在一个实施方案中,可向用户给出关于其更希望面部位于图像帧内何处的选择。在这些实施方案中,可基于所检测面部距所选位置的距离确定位置分数。由于在一些实施方案中,可在由主体检测模块250检测到的主体中检测面部,因此面部计分模块255中的指令可表示一个用于对多个主体进行计分的的装置。面部计分模块255中的指令还可表示用于一个确定面部位置分数的装置、一个用于确定面部遮挡分数的装置、一个用于确定面部眨眼分数的装置、一个用于确定面部微笑分数的装置,或一个用于确定面部注视分数的装置。0043图像计分模块256包含配置处理器220以对。
35、由成像传感器215俘获的图像进行计分的指令。可由图像计分模块240中的指令基于图像聚焦、稳定性、曝光或图像中所检测到的一或多个面部的分数确定图像分数。图像分数还可基于由装置150俘获且与图像相关联的音频。举例来说,图像计分模块中的指令可分析与图像相关联的音频数据以确定关键字或关键声音。举例来说,关键声音可包含某些可听到的词语或短语,例如“等一等”或“拍照片了”。关键声音还可包含例如哄笑者的声音或拖着脚走或移动的声音等声音。关键声音还可为相对静止的周期。这些关键字或关键声音的存在或不存在可接着用以确定图像音频分数。举例来说,一些实施方案可定义一或多个关键声音,所述关键声音在被检测到时致使与所述所。
36、检测声音同时俘获的图像被计分而使得图像的快照由快照俘获模块260下文论述俘获。举例来说,哄笑者的声音或命令例如“拍照片了”的检测可触发快照图像被俘获。类似地,一些实施方案可定义一或多个致使同时俘获的图像被计分而使得快照被禁止的关键声音。举例来说,例如“等一等”等声音可禁止俘获快照图像。0044在一些实施方案中,图像中所检测到的面部还可为主体。因此,在一些实施方案中,图像计分模块256中的指令可为一个用于至少部分地基于至少两个所确定主体的分数对图像进行计分的装置。图像计分模块256中的指令还可表示一个用于确定图像稳定性分数的装置、一个用于确定图像聚焦分数的装置、一个用于确定图像曝光分数的装置,或。
37、用于确定音频分数的装置。0045快照俘获模块260可包含配置处理器220以基于快照俘获质量准则俘获场景的快照的指令。举例来说,在一些实施方案中,快照俘获质量准则可包含一或多个分数阈值。在说明书CN104094590A107/15页11一些实施方案中,图像俘获模块可比较预览图像的总体图像分数与分数阈值以确定是否应俘获快照图像。如果预览图像的总体图像分数超过阈值,则图像俘获模块可俘获快照图像。因此,传快照俘获模块260中的指令可为一个用于用图像传感器俘获场景的快照图像的装置。0046在一些实施方案中,快照俘获质量准则可包含若干分量分数阈值。举例来说,快照俘获质量准则可包含面部微笑分数阈值、面部位置。
38、分数阈值、面部眨眼分数阈值、面部注视分数阈值或面部遮挡分数阈值中的一或多者。下文参考图7呈现可如何应用这些分数及阈值的实例。快照俘获模块260可接着比较这些分量分数阈值中的一或多者与预览图像的分量分数。在一些实施方案中,如果分量分数中的任一者指示比对应分量分数阈值低的质量水平,则快照俘获模块260可能不俘获快照图像。在一些其它实施方案中,如果指示较低质量水平的分量分数的百分比超过百分比阈值,则快照俘获模块260可能不俘获快照图像。在一些其它实施方案中,如果指示较低质量水平的分量分数的数目超过数量阈值,则快照俘获模块260可能不俘获快照图像。0047一些其它实施方案可将分量分数分组成至少两个群组。
39、。在这些实施方案中,第一群组中的一群分量分数必须超过其对应分量分数阈值上文论述快照俘获模块260才会俘获快照图像。快照俘获模块260还可能需要第二群组中的分量分数的数目或百分比超过其对应分量分数阈值才俘获快照图像。0048提示确定模块265包含配置处理器220以确定应由成像装置150产生或输出哪些提示的指令。提示确定模块265可例如对面部计分模块255及图像计分模块256所产生的分数进行优先级排序。在一些实施方案中,可基于分数对图像计分模块256所确定的总体图像分数的影响而对分数进行优先级排序。0049用户交互模块270可基于上文论述的提示确定模块265的输出而产生或输出一或多个提示。举例来说。
40、,在一个实施方案中,用户交互模块270可识别如由提示确定模块265确定的具有最高优先级分数的一或多个主体。用户交互模块270可接着基于面部辨识模块252所执行的面部辨识而确定这些主体的名称。主体的名称可接着包含在由用户交互模块270产生或输出的视觉或音频提示中。提示可经设计以便指导主体改变其位置或面部表情。如果主体遵循提示的指导,则与上文论述的用以确定图像分数及面部分数的预览图像相比时,新预览图像的总体图像分数可改进。0050举例来说,用户交互模块270可通过配置处理器220以将信号发送到输出装置290而产生或输出提示。在一些实施方案中,输出装置290可为扬声器,且用户交互模块270可使用输出。
41、装置290产生或输出音频提示。在一些其它实施方案中,输出装置290可为显示器,且用户交互模块270可使用输出装置290产生或输出视觉提示。0051在一些实施方案中,用户交互模块可评估图像分数以确定其是否应产生提示。因此,用户交互模块270中的指令可表示一个用于在图像分数低于阈值的情况下基于主体的分数输出提示的装置。0052音频俘获模块272包含配置处理器220以用麦克风208俘获音频的指令。在一些实施方案中,可使由包含在音频俘获模块272中的指令俘获的音频与由成像传感器215俘获的图像相关联。举例来说,在一些实施方案中,可由图像传感器215在与音频俘获模块272俘获音频大致相同的时间俘获图像。。
42、因此,音频俘获模块272中的指令可表示一个用于说明书CN104094590A118/15页12俘获与图像相关联的音频的装置。0053图3是俘获图像的过程300的一个实施方案的流程图。在一个实施例中,过程300可由图2中所说明的成像装置150实施。过程300在开始框305处开始,且接着移到处理框310,在处理框310处,用成像传感器俘获场景的图像。在一些实施方案中,处理框310可由包含在图2中所说明的图像传感器控制模块235中的指令实施。过程300接着移到处理框312,在处理框312处,俘获与图像相关联的音频。在一些实施方案中,可俘获来自麦克风的音频信号达一时间周期,随后在处理框310中俘获图像。
43、。举例来说,可俘获音频达05秒与10秒之间,随后在处理框310中俘获图像。一些实施方案可能不包含处理框312。0054过程300接着移到处理框315,在处理框315处,检测图像中的多个主体。处理框315可由包含于皆在图2中说明的主体检测模块250或面部检测模块251中的指令实施。过程300接着移到处理框318,在处理框318处,在图像中检测多个面部。框318可由包含在图2中所说明的面部检测模块251中的指令实施。在一些实施方案中,可组合处理框250与处理框251的功能。0055过程300接着移到处理框320,在处理框320处,对所检测到的面部进行计分。处理框320可由包含在面部计分模块255中。
44、的指令实施。在一些实施方案中,所检测到的主体可包含面部及非面部两者。0056可在处理框320中针对每一所检测面部确定若干分量面部分数。这些分量分数可与例如面部是否正眨眼、瞪眼或微笑有关。所述面部分数还可至少部分地基于面部是否正在看相机或面部是否被部分遮挡。过程300接着移到框325,在框325处,对处理框310中俘获的图像进行计分。至少部分地基于至少两个所识别主体的分数对图像进行计分。过程300接着移到决策框330,在决策框330处,确定图像分数是否高于阈值。决策框330可由包含在图2中所说明的快照俘获模块260中的指令实施。在一些实施方案中,决策框330可由包含在图2中所说明的用户交互模块2。
45、70中的指令实施。0057如果分数高于阈值,则过程300移到处理框345,在处理框345处,用图像传感器俘获场景的快照图像。处理框345可由包含在图2中所说明的图像俘获模块260中的指令实施。在一些实施方案中,处理框310中俘获的图像可具有第一分辨率,且处理框345中俘获的图像可具有高于第一分辨率的第二分辨率。举例来说,在一些实施方案中,处理框310中俘获的图像可视为预览图像,且处理框345中俘获的图像可视为快照图像。在于框345中俘获图像之后,过程300移到处理框350,在处理框350处,将图像存储到数据存储装置。过程300接着移到结束框355。0058尽管决策框330说明为比较在框325中。
46、确定的图像分数与阈值,但其它实施方案在确定移到处理框345还是处理框335时在其评估分数方面可不同。举例来说,一些实施方案可比较在框320或325中确定的分量分数与针对每一分量分数定义且对应于每一分量分数的一或多个阈值。如果任何分数低于其对应阈值,则在这些实施方案中,过程300可从决策框330移到框335。0059在所说明的实施方案中,如果在处理框325中确定的图像分数不高于阈值,则过程300移到处理框335,在处理框335处,确定可提示图像分数分量。可提示图像分数分量可为总体图像分数所基于的所有分量分数的子集。在一些实施方案中,一些分量分数可能不能经由产生提示而加以改进。举例来说,如果图像分。
47、数至少部分地基于图像聚焦分数,则说明书CN104094590A129/15页13产生提示可能并不改进图像的聚焦。在这些实施方案中,分量图像聚焦分数可能不被视为可提示图像分数分量。0060处理框335可由包含在图2中所说明的提示确定模块265中的指令实施。处理框335还可例如基于可提示图像分数分量对框325中所确定的图像分数的影响而对所述可提示图像分数分量进行优先级排序。举例来说,在一些实施方案中,可提示图像分数分量对图像分数的影响可随分数以及指派给图像分数分量的一或多个权重而变。0061过程300接着移到处理框340,在处理框340处,针对具有最高优先级分量分数的主体产生或输出一或多个提示。处。
48、理框340可由包含于用户交互模块270中的指令实施。在处理框340中产生的提示可为例如由扬声器或电子显示器产生的音频或视觉提示。在于处理框340中产生或输出提示之后,过程300返回到处理框310,且俘获另一图像。过程接着如上所述而重复。0062图4是说明用于对一或多个所识别面部进行计分的方法的一个实施方案的流程图。过程320可由包含在图2中所说明的面部计分模块255中的指令实施。过程320在开始框405处开始,且接着移到决策框415,在决策框415处,确定是否需要对更多面部进行计分。如果不需要对面部进行计分,则过程320移到结束框410。如果需要对更多面部进行计分,则过程320移到框418,在。
49、框418处,获得待计分的下一面部。在决策框419中,评估所述面部以确定其是否被遮挡。如果所述面部被遮挡,则其可能不能够在眨眼、微笑、注视或注视方向方面被恰当地评估。如果所述面部被遮挡,则过程320返回到决策框415。如果所述面部未被遮挡,则过程320接着移到处理框420,在处理框420处,确定面部眨眼分数。举例来说,如果面部看起来正眨眼,则在框420中确定的分数可为负分数。如果面部看起来并未眨眼,例如,眼睛大大地睁开,则在框420中确定的分数可为正分数。可在处理框420中实施此项技术中已知的眨眼检测方法中的任一者。举例来说,就像可基于表示所检测面部中的四个嘴角的关键点之间的距离来计算微笑程度一样,眨眼分数也可基于表示所检测面部的眼睛的上部与下部的关键点的距离的类似测量。0063在于框420中确定面部眨眼分数之后,过程320移到处理框425,在处理框425处,确定面部微笑分数。在一些实施方案中,正皱眉的面部可被指派负微笑分数,且正微笑的面部可被指派正微笑分数。此项技术中已知的微笑检测方法中的任一者可用以实施处理框425。在确定面部微笑分数之后,过程320移到处理框430,在处理框430处,确定面部注视分数。确定为正在注视的面部可在处理框430中接收负分数,而具有非注视表情的面部可接收正注视分数。此项技术中已知的面部注视检测方法中的任一者可用以实施处理框430。0064过。