技术领域
本发明涉及测定使用者的脉搏等生物体信息的生物体信息测定装置等。
背景技术
以往，为了提供适合使用者的身体状况、精神压力(psychological stress)的状态、肌肤的状态、情绪的状态等的服务，开发了测定成为推定这些(身体状况等)的基础的脉搏、血压等生物体信息的各种技术。
例如，专利文献1示出了根据在贴到人体的一部分的状态下拍摄的、具有与脉动相应的振幅值的输入图像，计算脉搏的技术。另外，专利文献2示出了下述技术：通过单独的可视光摄像头(camera)，以非接触状态对生物体的不同部位同时进行拍摄从而取得在时间序列上连续的图像数据，基于像素值的变化检测出生物体的不同部位的脉波，根据变化的时间差来计算脉波传导速度。另外，专利文献3示出了下述技术：检测面部的特定区域的三维坐标，并检测被测试者的面部的朝向、位置、体动成分，将特定区域的平均辉度标准化地修正为与正面面部相当的辉度从而获得心率。另外，专利文献4示出了取得生物体的一个或两个以上的部位的温度信息，提取与生物体的心跳相当的频段，计测心率的技术。另外，专利文献5示出了通过拍摄动态图像，检测被视为是呼吸的周期振动，来测定呼吸数的技术。另外，专利文献6示出了根据第一生物体部位的脉波波形和第二生物体部位的脉波波形求出延迟量，计算与血流相关的指标的技术。另外，专利文献7示出了拍摄从肩部到胸部下部区域，根据拍摄信号的浓度的变化来测定呼吸的呼气和吸气的技术。
另外，专利文献8示出了下述技术：为了与周围的光环境无关地准确地对角膜反射等进行检测，在最初的快门(shutter)打开的期间内使光源点亮，转送来自光电转换元件的电荷，在下一快门打开的期间内不使光源点亮，转送来自相同的光电转换元件的电荷，根据图像差分去除基于周围的光的辉度等级成分。另外，专利文献9示出了下述技术：控制摄像头部，获得没有光源部的照射的状态的脸颊的图像数据，接着获得被光源部照射的状态的脸颊的图像数据，求出这两种图像数据的差分，推定用户的健康状态等。另外，专利文献10示出了下述技术：在脉波检测装置中，放射反复点亮及熄灭的光，通过基于在点亮时由受光元件获得的信号和在熄灭时由受光元件获得的信号的差分的运算处理，消除外光噪声成分。另外，专利文献11示出了下述技术：在脉波检测装置中，将发光元件的发光光量设为通常量使其发光后再以通常量的1/2的发光光量使其发光，根据接收到的光的信号的差分，提取与脉搏成分对应的信号。另外，专利文献12示出了下述技术：使来自脑表面的被分割成两份的反射光分别通过仅使570nm附近的波长的光透过的滤波器和仅使630nm附近的波长的光透过的滤波器，通过运算二者的差分，对反映为血红蛋白浓度的脑的活动进行测定。另外，专利文献13涉及个人认证装置，示出了下述技术：为了将存在于室内环境的荧光灯的光、自然光等环境光与来自光源的光分离，分别在光源的开启和关闭的定时(timing)拍摄图像，取得图像之间的差分，由此，去除环境光。
现有技术文献
专利文献
专利文献1：日本特许第5320837号公报
专利文献2：国际公开第2014/136310号
专利文献3：日本特许第5195741号公报
专利文献4：日本特许第5446443号公报
专利文献5：日本特开2014-171574号公报
专利文献6：国际公开第14/155750号
专利文献7：日本特开2005-218507号公报
专利文献8：日本特开2008-246004号公报
专利文献9：日本特开2008-259676号公报
专利文献10：日本特开2011-200271号公报
专利文献11：日本特开2008-132012号公报
专利文献12：日本特开平8-38460号公报
专利文献13：日本特开2001-184507号公报
发明内容
发明所要解决的问题
此外，为了适时地提供适合使用者的身体状况、情绪的状态等的服务，需要在与服务的提供相关的时候、例如在使用者驾驶车辆的过程中等，进行成为推定其身体状况、情绪的状态等的基础的生物体信息的测定。这样，为了并非在使用者躺在医院的病床上等时进行测定，而是在使用者正驾驶车辆时等这样的日常生活中的某个时候测定生物体信息，上述的现有技术存在改善的余地。例如，在使用贴到人体而拍摄所得到的图像来测定血流的专利文献1的技术中，存在会给使用者带来拘束感这一问题。在应对该问题而使用由离开使用者的摄像头拍摄到的图像来测定血流等的技术中，存在受测定环境的光(环境光)、振动等的影响而妨碍了准确测定的问题。例如，在专利文献8～10等的技术中，也由于在各瞬时的环境光对使用者(生物体)的照射方式可能会因振动等产生变动，因此，测定精度可能会降低。
因此，本发明提供能够不给使用者带来拘束感地抑制测定环境的影响、用与以往的技术不同的方法恰当地进行使用者的脉搏等生物体信息的测定的生物体信息测定装置。另外，本发明提供能够不给使用者带来拘束感地抑制测定环境的影响从而恰当地进行使用者的生物体信息的测定的生物体信息测定方法、以及用于使计算机执行用于恰当地测定使用者的生物体信息的生物体信息估算处理的程序。
用于解决问题的技术方案
为了解决上述问题，本发明的一个技术方案涉及的生物体信息测定装置具备：照明部，其向生物体照射照明光；拍摄部，其拍摄所述生物体；以及估算部，其基于由所述拍摄部的拍摄所生成的图像中的与每个位置相关联的像素数据中的、所述生物体的被照射有所述照明光的区域即照射区域内的像素数据与所述生物体的没有被照射所述照明光的区域即非照射区域内的像素数据的差分，估算生物体信息。
另外，为了解决上述问题，本发明的一个技术方案涉及的生物体信息测定方法中：向生物体照射照明光；通过拍摄所述生物体生成图像；基于所述图像中的与每个位置相关联的像素数据中的、所述生物体的被照射有所述照明光的区域即照射区域内的像素数据与所述生物体的没有被照射所述照明光的区域即非照射区域内的像素数据的差分，估算生物体信息。
另外，为了解决上述问题，本发明的一个技术方案涉及的程序是用于使计算机执行生物体信息估算处理的程序，所述生物体信息估算处理包括：图像取得步骤，取得通过向生物体照射照明光并拍摄该生物体而生成的图像；和估算步骤，参照预先确定的表示所述照明光的照明方式的照明模式信息，基于通过所述图像取得步骤所取得的图像中的与每个位置相关联的像素数据中的、所述生物体的被照射有所述照明光的区域即照射区域内的像素数据与所述生物体的没有被照射所述照明光的区域即非照射区域内的像素数据的差分，估算生物体信息。
发明效果
根据本发明，能够不给使用者带来拘束感地抑制测定环境的影响，从而恰当地进行对使用者的脉搏等生物体信息的测定。
附图说明
图1是表示包含实施方式1涉及的生物体信息测定装置的身体状况推定系统的一例的系统结构图。
图2是生物体信息测定装置的功能框图。
图3是表示实施方式1涉及的生物体信息测定装置所照射的照明光的照射模式的一例的图。
图4是表示实施方式1涉及的生物体信息测定装置的拍摄部的结构例的概略结构图。
图5是用于说明实施方式1涉及的生物体信息测定装置的拍摄部的滤波器的特性的图。
图6是表示生物体信息测定装置中的生物体信息估算处理的一例的流程图。
图7是表示实施方式2的变形例涉及的生物体信息测定装置的拍摄部的结构例的概略结构图。
图8是表示从实施方式5涉及的生物体信息测定装置照射在生物体上的照明光的照明模式的一例的图。
标号说明
10：身体状况推定系统
11：使用者(生物体)
41a、41b：照射区域
42a、42b：非照射区域
51：波段
100：生物体信息测定装置
110：照明部
111：光源
120：拍摄部
121：滤波器
122：拍摄元件
130：估算部
141：照明模式
201：前玻璃(风挡)
300：车辆
301：仪表盘(dashboard)
302：座位(seat)
具体实施方式
本发明的一个技术方案涉及的生物体信息测定装置具备：照明部，其向生物体照射照明光；拍摄部，其拍摄所述生物体；以及估算部，其基于由所述拍摄部的拍摄所生成的图像中的与每个位置相关联的像素数据中的、所述生物体的被照射有所述照明光的区域即照射区域内的像素数据与所述生物体的没有被照射所述照明光的区域即非照射区域内的像素数据的差分，估算生物体信息。由此，即使离开地进行拍摄以使得不给使用者(生物体)带来拘束感，也能够抑制测定环境的影响从而进行生物体信息的测定。
另外，例如，也可以为，所述照明部以下述照明方式进行照明光的所述照射，即所述照明方式使所述生物体的一个局部区域内产生第一照射区域以及第一非照射区域，并且使所述生物体的另外的局部区域内产生第二照射区域以及第二非照射区域，所述估算部参照预先确定的表示所述照明方式的照明模式信息，对由所述拍摄部所生成的一个以上的各个图像，分别计算该图像中的第一照射区域内的像素数据与第一非照射区域内的像素数据的差分、以及该图像中的第二照射区域内的像素数据与第二非照射区域内的像素数据的差分，由此，分别估算与所述一个局部区域相关的生物体信息以及与所述另外的局部区域相关的生物体信息。某个图像中的照射区域的像素数据和非照射区域的像素数据是指通过同时的拍摄所获得的数据。因此，即使在测定环境中的环境光因振动、其他的影响而在时间上产生大的变动的情况下，也能够降低由环境光带来的影响从而恰当地进行生物体信息的测定。另外，按生物体的局部区域估算出的生物体信息可以应用于生物体的身体状况的推定。
另外，也可以为，所述估算部基于所述估算出的与所述一个局部区域相关的生物体信息和所述估算出的与所述另外的局部区域相关的生物体信息来进行预定统计处理，并根据该预定统计处理的结果进行向所述生物体信息测定装置的外部的输出。由此，通过将按生物体的局部区域估算出的生物体信息应用于平均化等这样的预定统计处理中，能够输出提高了精度的生物体信息。例如，将从依次拍摄到的图像中针对各局部区域估算出的血液的脉动周期等平均化，能够输出高精度的心率等。作为该输出，例如可以进行心率的显示或者与心跳同步的发光等。
另外，也可以为，所述拍摄部具备：滤波器，其对于以550nm为中心、宽度小于等于80nm的预定波段中的光表现透过特性，对该预定波段之外的光表现透过抑制特性；以及拍摄元件，其接收通过所述滤波器之后的光。由此，能够恰当地进行与血流关联的生物体信息的测定。
另外，也可以为，所述估算部使用由所述拍摄部所生成的图像中的、表示满足预先确定的特定基准以使得与人的肤色相当的颜色的像素数据中的、照射区域的像素数据与非照射区域的像素数据的差分，作为生物体信息的所述估算的基础。由此，能够降低拍摄范围内的在使用者的生物体信息的提取中所不需要的部分(例如使用者的皮肤以外的部分等)的影响，高精度地进行生物体信息的测定。
另外，也可以为，所述拍摄部通过所述拍摄生成彩色图像，所述估算部以当将颜色表现在HSV色空间中时的色调的值为预定范围内的值的像素数据，作为表示满足所述特定基准的颜色的像素数据，进行生物体信息的所述估算。彩色图像例如是RGB图像。由此，例如通过预先恰当地确定预定范围以使得与肤色相当，能够基于图像中的拍摄到肌肤的像素数据来高精度地进行生物体信息的测定。
另外，也可以为，所述拍摄部生成的所述彩色图像由二维排列的包括红、绿以及蓝的各色成分的数据的多个像素数据构成，所述拍摄部中的用于拍摄的拍摄元件使构成彩色像素的红、绿以及蓝的各子像元(subpixel)中的一色的子像元的受光性能为另外的一色的子像元的受光性能的1/10以下。由此，能够在环境光包含强日光(太阳光)这样的情况下提高拍摄元件的动态范围(dynamic range)。
另外，也可以为，所述拍摄部进一步通过分别接收基于水分的吸光度彼此不同的第一波长的光以及第二波长的光来进行所述拍摄，所述估算部基于由所述拍摄部的拍摄所生成的图像，检测包含的水分多于预定程度的区域即生物体推定区域，并从该生物体推定区域之中确定照射区域和非照射区域，基于确定出的照射区域的像素数据和确定出的非照射区域的像素数据，进行生物体信息的所述估算。由此，能够降低拍摄范围内的在使用者的生物体信息的提取中所不需要的部分(例如使用者周围的物体等)的影响，高精度地进行生物体信息的测定。
另外，也可以为，所述拍摄部进一步通过接收红外光来进行所述拍摄，所述估算部基于由所述拍摄部的拍摄所生成的图像，检测所包含的与所述红外光相应的成分高于预定阈值的区域即生物体推定区域，并从该生物体推定区域之中确定照射区域和非照射区域，基于确定出的照射区域的像素数据和确定出的非照射区域的像素数据，进行生物体信息的所述估算。由此，能够通过红外光来区分拍摄范围内的生物体和生物体以外的物体，因此，能够高精度地进行生物体信息的测定。
另外，也可以为，所述拍摄部进一步对由所述拍摄所生成的图像中的多个区域中的每一个区域，测定到拍摄对象的距离，所述估算部使用由所述拍摄部的拍摄所生成的图像中的、与由所述拍摄部测定出的距离在预定距离范围内的区域中的位置对应的像素数据中的、照射区域的像素数据与非照射区域的像素数据的差分，作为生物体信息的所述估算的基础。由此，能够降低拍摄范围内的在使用者的生物体信息的提取中所不需要的部分(例如位于使用者背后的物体、其他人等)的影响，高精度地进行生物体信息的测定。
另外，也可以为，所述照明部以使在所述生物体产生特定形状的照射区域的照明方式进行照明光的所述照射，所述估算部参照预先确定的表示所述照明方式的照明模式信息，分别对由所述拍摄部所生成的一个以上的图像，基于该图像中的所述特定形状的照射区域的中央部分和周边部分之中的周边部分内的像素数据与该图像中的非照射区域内的像素数据的差分，进行生物体信息的所述估算。由此，能够进行基于经由生物体的比表层深的组织之后的光的测定。另外，例如使用与照明光的强度变化相对于位置变化相比于中央部分而言并不急剧的周边部分相应的像素数据，因此，能够高精度地进行测定。
另外，也可以为，所述拍摄部对由所述拍摄所生成的图像中的多个区域的每一个区域，测定到拍摄对象的距离，所述估算部在将由所述拍摄部的拍摄所生成的图像中的照射区域以及非照射区域的各像素数据，根据与该像素数据相应的由所述拍摄部测定出的区域的距离来进行修正后，进行生物体信息的所述估算。通过该修正，能够去除由到拍摄对象的距离的差异造成的影响，因此，能够进行高精度的测定。
另外，也可以为，所述照明部中的所述照明光的照射方向与所述拍摄部中的用于拍摄的拍摄元件的光轴偏离的角度大于预定角度。由此，能够降低由振动等的影响所引起的照射到生物体的照明光的光量的变动量。另外，能够恰当地进行生物体的在拍摄元件的光轴方向移位的要素相关的生物体信息的测定。
另外，本发明的一个技术方案涉及的生物体信息测定方法包括：向生物体照射照明光；通过拍摄所述生物体生成图像；基于所述图像中的与每个位置相关联的像素数据中的、所述生物体的被照射有所述照明光的区域即照射区域内的像素数据与所述生物体的没有被照射所述照明光的区域即非照射区域内的像素数据的差分，估算生物体信息。由此，能够抑制会因振动等而变动的环境光的影响地进行生物体信息的测定。
另外，本发明的一个技术方案涉及的程序是用于使计算机执行生物体信息估算处理的程序，所述生物体信息估算处理包括：图像取得步骤，取得通过向生物体照射照明光并拍摄该生物体而生成的图像；和估算步骤，参照预先确定的表示所述照明光的照明方式的照明模式信息，基于通过所述图像取得步骤所取得的图像中的与每个位置相关联的像素数据中的、所述生物体的被照射有所述照明光的区域即照射区域内的像素数据与所述生物体的没有被照射所述照明光的区域即非照射区域内的像素数据的差分，估算生物体信息。只要将该程序安装于计算机，计算机例如就作为生物体信息测定装置的一部分发挥功能，由此，能够抑制会因振动等而变动的环境光的影响地进行生物体信息的测定。
此外，这些总括性或者具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以下，参照附图，详细说明本发明的实施方式。此外，以下说明的实施方式均表示本发明的总括性或者具体的一例。在以下的实施方式中示出的数值、形状、构成要素、构成要素的配置、步骤、步骤的顺序等仅为一例而并非限定本发明。另外，关于以下的实施方式中的构成要素中的未记载在独立权利要求中的构成要素，是能够任意附加的构成要素。另外，各附图仅为示意图，不一定是严格图示。
(实施方式1)
以下，作为本发明的实施方式，使用附图对作为包括生物体信息测定装置的系统的一例的、推定驾驶车辆的使用者(生物体)的身体状况的身体状况推定系统10进行说明。
图1是表示包括生物体信息测定装置100的身体状况推定系统10的一例的系统结构图。
身体状况推定系统10执行并不约束驾驶车辆的使用者(生物体)11地测定使用者11的生物体信息的生物体信息测定方法，基于其测定结果来推定使用者11的身体状况并进行与推定结果相应的输出。在此，身体状况代表能够基于现有的知识等根据生物体信息来推定的事项，也可以是精神压力的状态、肌肤的状态、情绪的状态等。在身体状况推定系统10中，例如能够在作为生物体信息而获得的心率极高的情况下，推定为使用者11的身体状况欠佳，由于身体状况欠佳时不适合继续驾驶，因此例如可以进行表示应该停车休息之意的消息的输出。
如图1所示，身体状况推定系统10构成为，包括搭载于车辆300的生物体信息测定装置100和其他装置。车辆300具备仪表盘301、座席(座位)302、前玻璃(风挡)201等，生物体信息测定装置100配置于仪表盘301的一部分等。
生物体信息测定装置100是通过拍摄驾驶车辆300的使用者(生物体)11的皮肤(面部、颈部等)来进行生物体信息的测定的装置，离开生物体表面而配置地拍摄生物体11并基于由拍摄所生成的图像来估算生物体信息。皮肤的图像中例如呈现出在生物体11内流动的血液。因此，通过在生物体信息测定装置100中分析由拍摄依次获得的图像，例如能够估算与血液的脉动相关的生物体信息(心率等)。生物体信息测定装置100只要配置于车辆300中能够拍摄生物体11的皮肤的场所即可，并不限于仪表盘301，例如也可以配置于车辆300的顶棚部分、车门部分等。另外，例如生物体信息测定装置100也可以配置为：并非从生物体11的面部、颈部等的正前方，而是从偏向侧面的斜前方对面部、颈部等进行拍摄。在身体状况推定系统10中，基于由生物体信息测定装置100测定到的生物体信息，通过生物体信息测定装置100的内部或者外部的计算机等来进行身体状况的推定。在身体状况推定系统10中，可以根据该身体状况的推定结果，例如用声音从扬声器输出或者在仪表盘301的仪表板(instrumental panel)等显示上述的表示应该休息之意等这样的消息。
图2是生物体信息测定装置100的功能框图。
如图2所示，生物体信息测定装置100具备照明部110、拍摄部120以及估算部130。
照明部110具备光源111，将来自光源111的照明光以预定的照明方式(照明模式)向生物体11照射。光源111例如是一个或多个LED(LightEmitting Diode，发光二极管)等。图3表示照明模式的一例。照明部110照射照明光的照明模式将照射部分和非照射部分分别定为特定的布局(layout)。例如，既可以将多个LED配置为照明模式的布局(例如图3的各个圆的位置)，也可以在LED的前面配置依照照明模式透过光的遮光膜。从光源111射出的光例如经由照明部110内的透镜、镜子等光学系统部件(未图示)导出至生物体信息测定装置100的外部的生物体11。光源111也可以是激光光源等。例如，预先进行调整(位置对准等)，以使得在使用者(生物体)11就坐于车辆300的驾驶席的座位302的状态下，从照明部110射出的照明光照射使用者11的拍摄对象区域(例如面部、颈部等区域)。也可以是使用者11进行该调整的操作等。通过由照明部110进行的按照照明模式的照明光的照射，在就坐于座位302的使用者11的拍摄对象区域中包含被照射有该照明光的区域即照射区域和没有被照射该照明光的区域即非照射区域。此外，照明部110和拍摄部120既可以接近配置，也可以例如彼此充分离开地配置于车辆300中的不同位置。另外，照明部110例如也可以是兼具在车辆300中作为用于信息显示的显示器、投影仪等的功能的部件。此外，也可以相应于使用者(生物体)11、环境等，改变照明部110的照明光的照明方式、照明光的强度等。
拍摄部120具备滤波器(滤光器)121以及拍摄元件122，通过拍摄生物体11的拍摄对象区域(例如面部、颈部等区域)生成图像(图像数据)。拍摄部120所生成的图像例如是由二维排列的包括红(R：Red)、绿(G：Green)以及蓝(B：Blue)各色成分的数据的多个像素数据所构成的彩色图像(RGB图像)。该彩色图像的像素数据例如由10位(bit)R成分的数据、10位G成分的数据以及10位B成分的数据构成。此外，如果位深度(bit depth)为8位，则仅能够表现256灰度级的图像的对比度，因此，也可能出现难以检测与生物体的血流相关的脉波的情况。经实验证实，若使得位深度为10位，则能够以良好的信号的信噪比(S(Signal)/N(Noise)比)测定与血流相关的脉波。10位仅为一例，既可以进一步将位深度增大为12位、16位等，另外也可以不必限定于10位以上。另外，关于像素数，根据实验可知，在几十像素的情况下信噪比差，例如100×100像素以上是有用的。另外，拍摄部120例如以30FPS(Frames Per Second：每秒帧数)依次进行拍摄从而依次生成图像。此外，拍摄部120例如也可以进行116FPS等更高速的拍摄。
拍摄元件(摄像头)122由CCD(Charge-Coupled Device：电荷耦合元件)图像传感器、CMOS(Complementary Metal-Oxide-Semiconductor：互补金属氧化物半导体)图像传感器等构成。在拍摄元件122中，配置为二维状的各像素(像元)例如由横纵各2个的子像元构成，按如图4所示的拜耳(Bayer)排列对每个子像元附加R、G、B各色的滤波器(RGB滤波器)。在拍摄元件122中经由该各滤波器进行受光。此外，在对拍摄对象照射有作为环境光的日光等强光的情况下，在动态范围窄的摄像头中，信号可能会饱和、变得难以从图像中检测出微弱的生物体信号。虽然并非必须，但为了提高拍摄元件(摄像头)122的动态范围，拍摄元件122也可以为下述结构：使得构成彩色像素的红、绿以及蓝的各子像元中的一色的子像元的受光性能为其他的一色的子像元的受光性能的1/10以下。该结构，例如能够通过仅使RGB滤波器中的蓝(B)色的滤波器的光的透过率降低为1/10以下(例如1/1000)、或者通过在拍摄元件122的前面配置仅降低蓝(B)的透过率而并不怎么使红(R)以及绿(G)的透过率降低的滤光器等来实现。另外，例如，也可以如使绿(G)色的滤波器保持不变并使得蓝(B)色的滤波器的光的透过率为1/1000、使得红(R)色的滤波器的透过率为1/100等那样，任意地调整透过率。使照明部110中的照明光的照射方向与拍摄元件122的光轴偏离大于预定角度(例如5°)，并非必须，但是是有用的。其原因在于，若该照明光的照射方向与拍摄元件122的光轴一致，则振动的影响导致的光量变动会增大。
在拍摄生物体11的情况下，拍摄元件122经由滤波器121接收对生物体信息测定装置100的入射光(包含由生物体11所反射了的光等的光)的全部或者一部分。拍摄元件122接收通过滤波器121后的光。
滤波器121是窄带滤色器，所述窄带滤色器对于以波长550nm为中心、宽度小于等于80nm的预定波段的光表现透过特性(例如光透过率为最大的一半(50％)以上)，对于在该预定波段之外的光表现透过抑制特性(例如光透过率小于50％)。图5是表示通过实验求得的、从生物体的由拍摄所生成的图像中分析出的血液的脉动的振幅与在拍摄时照射到生物体而被反射了的光的波长之间的关系的图表。在图5中，基于实验结果，用横轴表示了光的各波长，用纵轴表示了表示由拍摄所获得的血液的脉动的振幅的信号量arv(平均绝对值变动幅度：average real variability)。本申请发明人发现，在该实验中，如图5所示，信号量arv在波长550nm附近最大并出现陡峰，在500nm以及600nm处大幅度降低。信号量arv受生物体的皮肤的黑色素浓度、肌肤水分、血液、肌肤粗糙度等皮肤组织的影响大，尤其与皮肤的血液的吸收特性有很大关系。此外，不论拍摄对象区域是面部、颈部、颌下、胳膊、手掌等的哪个部位，都获得了同样的实验结果。另外，不论生物体的肤色的差异(例如人种的差异等)如何，都获得了同样的实验结果。图5的波段51是550nm±40nm(510nm～590nm)的频段，在波段51内，与该频段以外相比，表示血液的脉动的振幅的信号量充分多。相对于现有的一般的摄像头接收466nm～692nm的光的情况，在生物体信息测定装置100的拍摄部120中，基于图5所示的实验结果而设置有滤波器121。通过滤波器121，在生物体信息测定装置100中，可以使信号的信噪比提高从而能够高精度地测定与血液的脉动相关的生物体信息(例如心率、脉波等)。此外，根据图5的实验结果，在上述的预定波段(波段51)具有透过特性的滤波器121尤其有用，但取而代之地，例如使用对500nm～650nm的波长的光具有透过特性且对除此以外的波长的光具有透过抑制特性的滤波器，也是有用的。这可能与一旦在拍摄元件122中充分接收到波长比500nm短的光以及650nm～700nm的波长的光则会将摄像头的动态范围缩窄这一点相关。另外，不仅是滤波器121，而且使得照明部110的光源111为发出具有波段51内的波长分布的光的LED等，是有用的。即使该光源111是射出波段51内的单一波长的光的激光光源，也是有用的。但是，关于照明部110的光源111的波长分布，也可以不做限制。另外，也可以从拍摄部120中去除滤波器121，例如在黑暗的环境中，只要使用发出具有波段51内的波长分布的光的光源111，就能够提高由拍摄得到的图像的信噪比，变得能够高精度地测定生物体信息。
估算部130对通过拍摄部120的拍摄所生成的图像进行分析从而估算生物体信息，进行基于估算出的生物体信息的输出。估算部130例如通过具备处理器(微处理器)、存储器等的计算机来实现。在计算机中，除了存储器，也可以具备硬盘等存储介质。具体而言，例如，通过处理器执行保存于存储器的程序等，由处理器进行生物体信息估算处理等信息处理，实现估算部130的功能。由执行程序的处理器所实现的估算部130依次取得在拍摄部120中依次生成的图像，例如保存在存储器(或者硬盘)等存储介质中，并基于该图像进行生物体信息估算处理等。估算部130估算生物体信息是指，将作为估算结果的生物体信息记录在例如寄存器或者存储器、硬盘等存储介质中。存储器例如也可以是如USB(Universal Serial Bus：通用串行总线)存储器等这样的可相对于计算机装卸的具有可移动性的非易失性存储器。在该情况下，记录在USB存储器等存储介质中的生物体信息可以通过将该USB存储器等存储介质例如安装在执行推定使用者11的身体状况的身体状况推定处理等的另外的计算机中，从而用于该身体状况推定处理等。
估算部130基于图像(平面图像)中的与二维的每个位置相关联的像素数据中的、拍摄对象的生物体11的被照射有照明光的区域即照射区域内的像素数据与生物体11的没有被照射照明光的区域即非照射区域内的像素数据的差分，估算生物体信息。在此，照射区域是照明部110通过照明模式中的照射部分照射的照明光和环境光在生物体11的皮肤上漫射反射而出现在图像中的区域。环境光是从生物体信息测定装置100以外的围绕着生物体11的环境照射在生物体11上的光，例如是照入车辆300内的日光等。另外，非照射区域与关于照明部110照射的照明光的、照明模式中的非照射部分相当，是该照明光没有照射到生物体11的皮肤上而仅有环境光的反射光出现在图像中的区域。估算部130通过参照预先确定的表示照明部110的照明光的照射模式(图3)的照明模式信息，对图像进行分析(例如基于光的强度分布的图像处理等)，由此，区分照射区域和非照射区域。例如，预先调整拍摄部120进行拍摄的方向、视角等，以使得正在驾驶车辆300的使用者(生物体)11的拍摄对象区域(面部、颈部等)进入由拍摄部120生成的图像的范围内，也可以由使用者11进行该调整。由此，通过拍摄所获得的图像中的基于照明光的照射区域大致一定，照射区域中包含由照明部110的光源111发出的照明光的成分的光的反射光，因此，照射区域和非照射区域可以容易地被区分。例如，也可以在车辆300停下期间，以使日光等环境光不进入车辆300内的方式拍摄一次图像，对图像中的照射区域以及非照射区域的大致的配置进行测定，通过在车辆300的行驶过程中等利用该测定结果来区分照射区域和非照射区域。估算部130通过基于照射区域的像素数据与非照射区域的像素数据的差分来估算生物体信息，从而在生物体信息的估算中，抑制由强度可能发生变动的环境光带来的影响。环境光对生物体11的照射方式在拍摄对象区域(例如面部、颈部等)的各部分可能不同，因此，抑制由环境光带来的影响关系到提高根据图像估算的生物体信息的精度。
作为由估算部130进行的生物体信息估算处理的具体例，说明下述情况：照明部110以下述照明模式进行照明光的照射，即所述照明模式使生物体11的一个局部区域内产生第一照射区域(例如图3的照射区域41a)以及第一非照射区域(例如非照射区域42a)，并且使生物体11的另外的局部区域内产生第二照射区域(例如照射区域41b)以及第二非照射区域(例如非照射区域42b)。在该情况下，估算部130参照照明模式信息，对依次从拍摄部120取得的各个图像，分别计算该图像中的一个局部区域内的第一照射区域(例如照射区域41a)内的像素数据与该一个局部区域内的第一非照射区域(例如非照射区域42a)内的像素数据的差分、以及该图像中的另外的局部区域内的第二照射区域(例如照射区域41b)内的像素数据与该另外的局部区域内的第二非照射区域(例如非照射区域42b)内的像素数据的差分，由此，分别估算与一个局部区域相关的生物体信息以及与另外的局部区域相关的生物体信息。此外，各局部区域中的照射区域内以及非照射区域内各自的像素数据可以是一个或多个。另外，也可以设定几个局部区域。通过按某种程度较小地设定局部区域，可以将环境光对局部区域内的各位置的影响看作是大致等同的，可以将与局部区域内的各位置对应的生物体的皮肤的各位置的状态、特性等也看作是大致等同的。因此，当基于局部区域内的照射区域的像素数据与非照射区域的像素数据的差分来估算生物体信息时，可抑制由环境光带来的影响，高精度地求出：体现在从照明部110照射的照明光在生物体11处的反射的程度上的生物体信息(基于对照明光的吸光度的差异等的生物体信息)。另外，对光的强度从第一照射区域(例如照射区域41a)朝向第一非照射区域(例如非照射区域42a)逐渐衰减的程度进行函数逼近、抑制由各种环境光带来的噪声的影响，是有用的。再者，作为进行函数逼近的像素群，可以仅使用排成直线状的像素，但是使用两列、三列的像素是更加有用的。另外，进一步，在如第一非照射区域(例如非照射区域42a)那样，具有被第一照射区域(例如照射区域41a)围绕的照射区域的情况下，不仅将排成直线状的像素群用于运算，例如还使用位于距非照射区域42a的中心点为等距离的位置的像素群，使用根据距中心点的距离和像素群所获得的值来进行函数逼近，是更加有用的。
在该像素数据的差分或者函数逼近的结果(例如系数和/或常数项)中例如体现了生物体的血液的状态。关于像素数据的差分，既可以在按RGB的各成分进行估算后再通过平均来估算，也可以通过对RGB的各成分附加预先确定的权重而得到的加权平均来估算。例如，可以用辉度值表示在差分的估算中使用的像素数据，也可以将像素数据的辉度值例如以0.299×R成分的值+0.587×G成分的值+0.114×B成分的值的方式表示。
此外，关于依次获得的各图像的按局部区域估算出的像素数据的差分的、与图像被取得的每个时间相关联的时间变化，表示由心跳引起的与血流相关的脉波。因此，根据像素数据的差分，可以估算心率、脉波的形状等。心率例如可以根据脉波的脉动周期进行估算。另外，同样地也可以估算心跳间隔RRI(R-R Interval)。此外，关于基于每个局部区域的像素数据的差分而估算出的心率等估算结果，也可以估算对全部的局部区域的估算结果实施平均化等预定统计处理(预先确定的统计处理)而得到的值。例如根据平均化，在皮肤的特性、状态等按照局部区域而不同等的情况下，能够降低该差异的影响。在统计处理中，并不限于平均值的估算，例如也可以估算中值、方差、其他值。关于函数逼近的情况，例如，也可以用光量Y＝aX^2+bX+c(X：表示距离的变量，a、b：系数，c：系数(常数项))这样的函数来表示。在由心跳引起血流变化这样的情况下，系数a、b、c会变化。能够求取该变化量从而测定心率和/或RRI等生物体信息。
估算部130能够基于这些各估算结果进行输出。即，估算部130能够基于估算出的与一个局部区域相关的生物体信息和估算出的与另外的局部区域相关的生物体信息进行预定统计处理，根据该预定统计处理的结果进行向生物体信息测定装置100的外部的输出。估算部130例如既可以输出心率的信息，也可以在心率超过一定阈值的情况下输出特定的消息。来自生物体信息测定装置100的输出通过下述方式实现：借助显示器、扬声器等发出光、声音等传达某些信息以使得能够被人所识别，或者向计算机等装置发送信息等。
以下，使用图6，对生物体信息测定装置100的工作进行说明。
图6是表示在生物体信息测定装置100中主要由估算部130执行的生物体信息估算处理的一例的流程图。
在生物体信息测定装置100中，从照明部110根据照明模式对驾驶车辆300的使用者(生物体)11照射照明光，在拍摄部120中通过拍摄生物体11的拍摄对象区域来依次生成图像。在估算部130中，作为生物体信息估算处理，执行下述步骤：图像取得步骤(步骤S11)，取得通过向生物体11照射照明光并拍摄生物体11而生成的图像；以及估算步骤(步骤S12、S13等)，参照照明模式信息，基于通过图像取得步骤所取得的图像中的与每个位置相关联的像素数据中的、生物体11的照射区域内的像素数据与生物体11的非照射区域内的像素数据的差分，估算生物体信息。
以下，结合图6，更加具体地对生物体信息估算处理进行说明。
估算部130从拍摄部120取得对被照射了照明光的生物体进行拍摄所生成的图像(步骤S11)。
估算部130确定多组由步骤S11取得的图像中的照射区域内的像素数据和非照射区域内的像素数据(步骤S12)。例如，对生物体11的多个局部区域的每一个确定一组照射区域内的像素数据和非照射区域内的像素数据。像素数据可以是1个像素，但是，例如也可以是与相邻的多个像素(例如4个像素)对应的多个像素数据的集合。
接下来，估算部130对在步骤S12中确定的各组，计算照射区域内的像素数据与非照射区域内的像素数据的差分(步骤S13)。
接着，估算部130对与一定时间的量(例如几秒钟的量等)相当的预定数量的图像(图像群)，判定是否已经完成处理(步骤S14)，如果未完成处理，则为了对接下来的图像进行处理，返回至步骤S11。
当在步骤S14中判定为对于预定数量的图像已经完成处理的情况下，估算部130根据关于刚刚的一定时间的量的图像群(预定数量的图像)的、在步骤S13中的各组的计算结果，来估算生物体信息(步骤S15)。由此，取得表示生物体的面部、颈部等的血流的脉动的生物体信息。基于各组的一定时间的量的像素数据的差分，例如，根据像素数据的差分的值的变动周期，能够估算血液的脉动的周期、脉搏等。
接下来，估算部130对在步骤S15中估算出的各组的生物体信息实施统计处理(平均化等)，估算综合性生物体信息(步骤S16)。综合性生物体信息例如可以是表示脉搏的测定值、心率的推定值等的信息。
然后，估算部130进行与在步骤S16中估算出的生物体信息相应的输出(步骤S17)。例如，估算部130将表示生物体信息的信号输出到生物体信息测定装置100的外部。控制接收到该信号的仪表板的显示内容的装置也可以进行与该信号相应的显示。另外，估算部130也可以在生物体信息满足一定条件的情况下(例如在心率高于一定数值的情况下)，输出表示预定的消息的信号等。此外，在步骤S17中，估算部130也可以以每隔一定间隔(例如每隔几秒种、每隔几分钟等)的方式进行输出。
在步骤S17之后，估算部130为了对接下来的图像进行处理，再次返回至步骤S11。由此，估算部130能依次地估算生物体信息，并进行输出。
根据由这种生物体信息测定装置100中的生物体信息估算处理所估算的生物体信息，能够在身体状况推定系统10中推定使用者(生物体)11的身体状况从而提供与身体状况相应的服务(例如在身体状况欠佳的情况下进行劝告以使驾驶停止的服务)等。
(适用例)
以下，说明生物体信息测定装置100进行关于存在于皮肤的表层部分的血液的量(血液量)的测定的具体的适用例。该适用例仅为一例，例如也可以适用于与血液量的时间变化相关的脉波、心跳等的测定。
照明部110包括光源111，该光源111发出波长为450nm的蓝(B)的光、波长为550nm的绿(G)的光以及波长为700nm的红(R)的光。作为来自光源111的照明光的照明方式(照射方式)即照明模式，采用如图3所示的格子状的照明模式。照射照明光的对象区域例如是面部的整体或者一部分。
拍摄部120将面部的整体或者一部分作为拍摄对象区域，以恰当的视角进行拍摄，生成包括与二维配置的各像素位置对应的像素数据的RGB图像。
在估算部130中，对于RGB图像按照RGB的各色成分，在参照了照明模式后基于像素数据的相应色成分的强度分布，区分照射区域和非照射区域，并对每个一定尺寸的局部区域提取照射区域的像素数据与非照射区域的像素数据的差分，由此，求出大致仅由照明光检测出的信息。根据该检测出的信息，基于由血液引起的各波长的光的吸光度的差异，能够算出血液量。作为用拍摄部120的拍摄元件122检测RGB图像的R、G、B的各色成分的结果，例如区分血液吸收较多的波长为550nm的光和血液吸收较少的波长为650nm以上(例如血液的分光吸光度特性平坦的波长为680～730nm)的光。此外，在通常的摄像头中，例如有使用用于检测564nm～700nm的光的滤波器的情况，但是由于564nm～600nm的光中也含有脉波的振幅变化的信息因此不太理想，所以，如上使用检测波长为680～730nm的光的滤波器是有用的。另外，通过预先将照明光的光量设定为一定，能够进行稳定的测定。另外，通过预先用紧贴式的血液量传感器等来调查光量值相对血液量的关联性、预先确定使该血液量和光量值相关联的信息，在估算部130中，参照该信息，也能够将血液量算出为绝对量。
(实施方式2)
以下，说明对实施方式1中示出的身体状况推定系统10的生物体信息测定装置100的一部分进行了变形而得到的实施方式。
在实施方式2中，示出下述方式：对估算部130进行了变形，以使得将用于生物体信息的估算的像素数据(照射区域的像素数据以及非照射区域的像素数据)限定于满足一定条件的像素数据。本实施方式中的身体状况推定系统10以及生物体信息测定装置100的各构成要素大致与实施方式1是同样的，因此，在此使用与实施方式1同样的标号(参照图1、图2)进行说明。在此对与实施方式1的差异点进行说明，没有在此处说明的点与实施方式1是同样的。
本实施方式中的生物体信息测定装置100的估算部130使用下述差分作为生物体信息的估算的基础：由拍摄部120所生成的图像中的表示满足预先确定的特定基准以与人的肤色相当的颜色的像素数据中的、照射区域的像素数据与非照射区域的像素数据的差分。作为具体例，例如可列举下述例子：以将包括R、G、B的各成分的RGB图像的像素数据所表示的颜色表现在由色调(H：Hue)、色饱和度(S：Saturation)以及明度(V：Value)的各成分构成的HSV色空间时的色调(H)的值变为预定范围内的值的像素数据，作为表示满足特定基准的颜色的像素数据。预定范围例如是在将色调(H)用0°～360°来表示的情况下的0°～30°等，由此，能够将成为生物体信息的估算的基础的像素数据例如限定于表示与肤色或者淡橙色(pale orange)相当的颜色的像素数据。此外，作为特定基准，也可以关于色调(H)以外的成分也限定为一定范围。但这仅为一例，也可以例如根据人种等来确定满足特定基准的颜色，以使得适合使用者(生物体)11的肤色。
这样，估算部130基于由拍摄部120所生成的图像中的表示与人的肤色相当的颜色的像素数据中的、如实施方式1中示出的照射区域的像素数据与非照射区域的像素数据的差分，来估算生物体信息。由此，能够去除生物体11的拍摄在通过拍摄所获得的图像中的毛、目(眼睛)、背景等，高精度地恰当地提取血流等体现在皮肤上的生物体信息。此外，与通过使用现有的基于机器学习等的面部识别技术从图像中检测出面部从而将成为生物体信息的估算的基础的像素数据限定于面部的区域内的像素数据的方式相比，将成为生物体信息的估算的基础的像素数据限定于上述的与肤色相当的像素数据的方式，对于与血流(脉波、心率等)、肌肤的水分等相关的生物体信息的测定是有用的。其原因在于，根据现有的面部识别技术，难以去除毛、眼睛等，另外，难以进行面部、颈部等的一部分等这样的局部区域的识别。与此相对，在限定于与肤色相当的颜色的像素数据的方式中，在能够去除毛、眼睛等且即使是面部、颈部等的一部分也能够按以像素为单位的精度进行识别的方面，是有用的。此外，估算部130也可以采用限定于与肤色相当的像素数据的方式和现有的限定于由面部识别技术识别出的面部的范围的像素数据的方式这两者。
此外，为了辨别上述的与人的肤色相当的颜色的像素数据，拍摄部120只要是拍摄彩色图像的部件即可，也可以是拍摄部120并不包括RGB滤波器而是使用3色分离方式，还可以是例如：使用基于青(C：Cyan)、品红(M：Magenta)、黄(Y：Yellow)以及绿(G：Green)的互补色滤波器(CMYG滤波器)的部件。
(实施方式2的变形例)
以下，关于下述变形例进行说明：对上述的实施方式2中示出的生物体信息测定装置100进一步进行变形，能够区分驾驶车辆300的使用者(生物体)11的肌肤和使用者11所就坐的座位302。
在实施方式2中，示出了估算部130将图像中的成为生物体信息的估算的基础的像素数据限定于表示与人的肤色相当这样的满足特定基准的颜色(例如肤色)的像素数据的例子。然而，在由拍摄部120拍摄到的图像中，除了使用者(生物体)11的肌肤(面部、颈部等)以外，还有拍入车辆300的座位302(例如头枕部分等)的情况，当座位302为肤色时，座位302被拍摄出的像素数据也会变为表示满足特定基准的颜色的像素数据。
因此，在本变形例涉及的生物体信息测定装置100中，使用红外光的检测来区分驾驶车辆300的使用者(生物体)11的肌肤和使用者11所就坐的座位302。在本变形例中，对与实施方式2的差异点进行说明，没有在此处说明的点与实施方式2是同样的。
拍摄部120进一步通过接收红外光来进行拍摄。例如，拍摄部120用下述拍摄元件122进行拍摄，所述拍摄元件122配置有滤波器以使得除了区分RGB的各成分还区分例如近红外光等红外光(IR：InfraRed)的成分地进行受光。在本变形例涉及的拍摄元件122中，配置为二维状的各像素(像元)例如由横纵各2个子像元构成，以图7所示的排列对每个子像元附加R、G、B、IR的各滤波器。在图7的例子中，在拍摄元件122中IR用的滤波器和R、G、B的各色用的滤波器的组重复配置而配置为二维状。在拍摄元件122中经由该各滤波器进行受光。由该拍摄所生成的图像的像素数据包含RGB的各成分和IR的成分。
另外，在估算部130中，基于由拍摄部120中的拍摄所生成的图像，检测生物体推定区域，所述生物体推定区域是包含的与红外光相应的IR成分多于预定阈值的区域。生物体推定区域是与生物体以外的物体等相区分而被推定为是生物体的区域。预定阈值例如是基于实验等而预先确定以用于区分生物体11等人类和座位302等物体的值。而且，估算部130基于作为该检测出的生物体推定区域内的像素数据并且表示与人的肤色相当这样的满足特定基准的颜色的像素数据中的、通过确定照射区域和非照射区域而确定出的照射区域的像素数据和确定出的非照射区域的像素数据，进行生物体信息的估算。
此外，拍摄部120也可以：不同于拍摄元件122地另行设置接收红外光的受光元件，在该情况下由拍摄元件122通过拍摄进行RGB图像的生成。而且，在估算部130中，也可以为：与RGB图像的以一个或多个像素为单位的各个区域对应地，根据在拍摄部120中是否由接收来自与拍摄元件122相同方向的红外光的受光元件按该每个区域检测出预定阈值以上的红外光，来区分该区域是否为生物体推定区域。
作为在生物体推定区域的检测中使用的红外光，除了近红外光(近红外线)，也可以是中红外光(中红外线)。在该情况下，在估算部130中，也可以为：通过中红外线检测温度分布，对RGB图像的以一个或多个像素为单位的各个区域，根据是否在该区域中检测出预定阈值以上的红外光、也就是是否检测出作为生物体的一定以上的温度分布，来区分是否为生物体推定区域。
另外，代替通过红外光来区分生物体11和座位302等的方式，也可以采用下述的距离测定方式：由在生物体信息测定装置100中另行设置的距离测定装置，测定关于由拍摄部120拍摄的进入视角的物体的距离，基于距离的测定结果和预先确定的从距离测定装置到生物体的距离的上限值等(预定距离范围)，来区分生物体11和座位302等。
在使用距离测定方式的情况下，生物体信息测定装置100的拍摄部120进一步分别对由拍摄所生成的图像中的多个区域(以一个或多个像素为单位的区域)，测定到拍摄对象的距离。距离的测定可以使用TOF(Time OfFlight：飞行时间)方式等任意的现有技术。另外，估算部130基于由拍摄部120的拍摄所生成的图像的作为与由拍摄部120所测定的距离在预定距离范围内的区域的位置对应的像素数据并且表示与人的肤色相当这样的满足特定基准的颜色的像素数据中的、照射区域的像素数据与非照射区域的像素数据的差分，来进行生物体信息的估算。预定距离范围可以固定，也可以能够由使用者(生物体)11进行调整。根据距离测定方式，也能够恰当地区分成为生物体信息的测定对象的生物体11(例如驾驶车辆300的使用者)和其他生物体(例如在后部座位上的人)。此外，也可以通过基于拍摄在图像中的生物体的形状、尺寸等的图像识别来区分成为生物体信息的测定对象的生物体11和其他生物体。
另外，也可以代替由红外光来区分生物体11和座位302等的方式或者距离测定方式，而使用通过检测生物体所具有的水分来区分生物体11和座位302等的水分检测方式。
在使用水分检测方式的情况下，生物体信息测定装置100的拍摄部120进一步通过分别接收基于水分的吸光度彼此不同的第一波长的光以及第二波长的光来进行拍摄。例如，第一波长的光是被水分大量吸收的波长(例如960nm)的光，相反地，第二波长的光是不会被水分和/或血液大量吸收的波长(例如780nm)的光。第一波长以及第二波长只要是基于水分的吸光度不同的两个波长，可以是任意的波长。在拍摄部120中，例如设置用于对第一波长的光以及第二波长的光分别进行区分地检测的滤波器，是有用的。例如，在拍摄元件122中将第一波长的光用的滤波器、第二波长的光用的滤波器、和R及G或者B及G的各色用的滤波器的组重复配置而配置为二维状。另外，对应于拍摄部120从照明部110照射包含第一波长的光以及第二波长的光的光(例如近红外光)，是有用的。另外，估算部130基于由拍摄部120的拍摄所生成的图像来检测包含的水分多于预定程度的区域即生物体推定区域(也就是与生物体以外的物体等区分而推定为是生物体的区域)，并从该生物体推定区域之中确定照射区域和非照射区域，基于确定出的照射区域的像素数据和确定出的非照射区域的像素数据，进行生物体信息的估算。在该生物体信息的估算中所使用的像素数据是表示与人的肤色相当这样的满足特定基准的颜色的像素数据。估算部130通过比较检测出的第一波长的光与第二波长的光的受光量之差、与为了区分生物体和座位等物体而预先确定的基准值，来分别对图像中的多个区域(以一个或多个像素为单位的区域)，判定是否为包含的水分多于预定程度的区域。生物体含有较多的水分，因此，根据水分检测方式，能够恰当地区分成为生物体信息的测定对象的生物体11(例如驾驶车辆300的使用者)和水分较少的塑料(合成树脂)、纸等物体。
(实施方式3)
以下，说明下述实施方式：对由实施方式1中示出的身体状况推定系统10的生物体信息测定装置100的拍摄元件122中的拍摄所获得的信号的处理方法进行变形，来抑制环境光(干扰光)的影响。本实施方式中的身体状况推定系统10以及生物体信息测定装置100的各构成要素大致与实施方式1是同样的，因此，在此使用与实施方式1同样的标号(参照图1、图2)进行说明。在此对与实施方式1的差异点进行说明，没有在此处说明的点与实施方式1是同样的。
在本实施方式中，将通过生物体信息测定装置100的照明部110调制了的光sin(wt)向拍摄对象(正在驾驶车辆300的使用者11的面部、颈部等)进行照射。而且，估算部130从在拍摄部120中基于由拍摄元件122接收到的光(回授光)而依次生成的图像(依次拍摄到的图像)中，提取与像素数据的时间变化相关的信号。
例如，若用信号S(t)表示使用者(生物体)11的血流的脉动，则估算部130要提取的与像素数据的时间变化相关的信号f1(t)例如用f1(t)＝S(t)×sin(wt)来表示。估算部130进而对f1(t)乘以与照明部110照射的光频率相同的信号sin(wt)，求出信号f2(t)。信号f2(t)表示为f2(t)＝S(t)×sin(wt)×sin(wt)＝S(t)×(1-cos(2wt))/2。此外，在拍摄部120通过拍摄来进行RGB图像的生成的情况下，也可以按照R、G、B的各色成分来求取信号f2(t)。而且，估算部130通过对信号f2(t)施加低通滤波器(LPF)来去除2w的成分。例如，截止频率为2Hz的LPF等是有用的。估算部130通过LPF从信号f2(t)中例如去除60BPM(Beats Per Minute：每分钟心跳次数)左右的心跳以上的频率成分。由此，能够恰当且高精度地提取与血流的脉动有关的生物体信息。
在本实施方式中，示出了作为通过生物体信息测定装置100的照明部110调制出的光使用了频率为w的sin(wt)的例子，但这仅为一例，例如，也可以使用频率为w的矩形波信号。
(实施方式4)
以下，说明实施方式1中示出的身体状况推定系统10的生物体信息测定装置100的估算部130进行图像的像素数据的修正的实施方式。本实施方式中的身体状况推定系统10以及生物体信息测定装置100的各构成要素大致与实施方式1是同样的，因此，在此使用与实施方式1同样的标号(参照图1、图2)进行说明。在此对与实施方式1的差异点进行说明，没有在此处说明的点与实施方式1是同样的。
在本实施方式中，生物体信息测定装置100的拍摄部120分别关于由拍摄所生成的图像中的多个区域，测定到拍摄对象(驾驶车辆300的使用者11的面部、颈部等)的距离。该距离的测定可以使用任意的现有技术，既可以是TOF方式，也可以是例如设置两个拍摄元件122同时对生物体11进行拍摄从而基于视差信息来测定与生物体11的距离的方式。
另外，估算部130将由拍摄部120的拍摄所生成的图像中的照射区域以及非照射区域的各像素数据，根据与该像素数据相应的由拍摄部120所测定出的区域的距离来进行修正，之后基于像素数据进行生物体信息的估算。在设定为拍摄部120的拍摄元件122接收的光越强则图像中的像素数据的值越大的情况下，在估算部130中以距离变得越短则使得像素数据的值降低越多的方式进行修正。能够降低由从拍摄部120到生物体11的面部、颈部等各部的距离的差异所引起的测定误差。
(实施方式5)
以下，示出下述例子：对实施方式1中示出的身体状况推定系统10进行变形，与车辆300无关地，在任意地方、任意时间测定使用者(生物体11)的生物体信息(生物体信息测定装置100的适用例)。在此，使用与实施方式1同样的标号(参照图1、图2)进行说明。但是，在本实施方式中可以存在也可以不存在车辆300。在此对与实施方式1的差异点进行说明，没有在此处说明的点与实施方式1是同样的。
在本实施方式中，作为生物体11的与皮肤的特定的深度(例如比表层深的部分)的组织有关的生物体信息，对氧饱和度(动脉血氧饱和度)、黑色素量、肌肤水分、体内水分、眼圈发黑(黑眼圈)等进行测定。
生物体信息测定装置100的照明部110具备照射线(直线)状、椭圆形、圆形、环(doughnut)状、菱形、其他特定形状的模式光的光源111。在此，尤其是椭圆形、圆形、环状、菱形等形状是有用的。其原因在于，将这种形状的光照射到面部上时，通过将其照射点与预先设定的识别模式进行比较验证从而易于识别照射区域。另一方面，由于在使用了点状的照明的情况下，当照射点与黑痣和/或斑痕重叠时难以辨识。另外，只要使用椭圆形、圆形、环状、菱形等形状的模式光，通过算出与预先设定的识别模式之间的变形量，就能够容易地算出面部的朝向。
一般而言，在面部的朝向发生了变化的情况下，摄像头的单个像素之间的平均距离与正面面部的情况下的距离不同(从正面面部的情况下的距离变化)。即，越倾斜，计测得越短。这意味着在用摄像头计测从光的照射地点进入生物体内并再次回授至表面的光的强度分布的情况下每个像素的强度分布实质上是变化的，在计算生物体信息的情况下会产生误差。然而，只要求出特定形状的照明光的变形量，就能从由摄像头计测出的光的强度分布修正为实际的从正面看到的空间分布量，因此，可以说是有效的。
另外，作为各形状的尺寸，例如3mm以上是有用的。其原因在于，即使存在黑痣、斑痕等，也易于识别照明区域，还易于识别照明区域和非照明区域。
另外，在检测出来自生物体的回授光的情况下，并非仅在照明区域的单侧而在整面进行计测也可以说是非常有用的，其原因在于，能够增大信号量。
光源111例如发出近红外光即包含波长为780nm的光以及波长为830nm的光的光，但这仅为有用的一例，也可以发出其他波长的光。例如，近红外光能够从生物体的皮肤表面渗透至几毫米深。照明部110以产生该特定形状的照射区域的照明方式(照明模式)对生物体11进行照明光的照射。图8是示出由照明部110照射在生物体11上的照明光的照明模式的一例(菱形的照明模式141)的图。
拍摄部120通过对由照明部110照射了特定形状的模式光的生物体11的拍摄对象区域(面部等)依次进行拍摄来依次生成图像。图像是RGB图像等的通过用滤波器区分并接收各波段的光而生成的图像，构成图像的分别与二维位置对应的像素数据例如包括R、G、B的各色成分等这样的多个波长的成分的数据。此外，调整拍摄部120中的拍摄的曝光时间或者照明部110的照明光的强度等以使得作为由估算部130得到的估算结果的生物体信息中的信噪比变得恰当，是有用的。
估算部130参照预先确定的表示照明模式的照明模式信息(表示特定形状的布局的信息)，分别对由拍摄部120所生成的一个以上的图像，确定该图像中的特定形状的照射区域的中央部分和周边部分之中的周边部分内的像素数据以及该图像的非照射区域内的像素数据。而且，估算部130基于确定出的周边部分内的像素数据与非照射区域内的像素数据的差分，进行生物体信息的估算。在图8的例子中，例如菱形的照明模式141中的分别与菱形的各边(四个边)接近的区域是周边部分，被该周边部分所包围的菱形的中心附近是中央部分。这样，估算部130通过在生物体信息的估算中并非使用特定形状的照射区域的中央部分而使用周边部分的像素数据，能够恰当地提取生物体11的比皮肤的表层深的部分的生物体成分的信息。假设对生物体11的皮肤照射了点状的照明模式的照明光，则会由于漫射到点周围的光急剧地衰减而难以获得充分的信噪比。因此，在生物体信息测定装置100中，使用并非点状的、如上所述的特定形状的照明模式的照明光，并累计从皮肤内部经过而扩展的光所呈现的周边部分的多个像素数据与非照射区域的像素数据(例如周边部分的各像素数据附近的非照射区域的像素数据)的差分，由此，抑制环境光的影响，测定与比皮肤的表层深的组织相关的生物体信息。由此，能累计的像素数比点状的照明模式时多，能够获得充分的信噪比。
估算部130参照基于实验等预先确定的、表示像素数据的各成分与氧饱和度等之间的对应关系的表，根据针对依次拍摄到的各图像所求出的像素数据的差分所表示的、与光的每个波长对应的成分(例如R、G、B的各色成分)，估算作为生物体11的生物体信息的氧饱和度等。红色(R)的一定波长的光的吸光度根据血液中的血红蛋白是否与氧结合而不同，由此估算氧饱和度。例如，估算部130能够根据关于依次拍摄到的各图像的随时间没有变动的直流成分，估算作为生物体信息的血红蛋白(Hb)量。
根据应该作为生物体信息测定的项目，对生物体信息测定装置100中的照明光、拍摄部120中所使用的滤波器或者估算部130在估算中使用的像素数据的成分等恰当地进行选定，是有用的。为了测定作为生物体信息的黑色素量以及黑眼圈，例如，在上述的近红外光的两个波长(780nm以及830nm)之外，还使用蓝色(B)的波长的光。另外，为了测定肌肤水分、体内水分而例如增加水的吸收较多的960nm的波长的光，是有用的。另外，也可以根据应该作为生物体信息测定的项目来选择照明模式。另外，在为了由估算部130估算生物体信息而使用的算法中，也可以包括与应该作为生物体信息测定的项目相应的、任意的已知的方式。另外，在估算部130通过RGB图像等的像素数据的差分(照射区域与非照射区域的差分)的各成分(例如R、G、B的各色成分)的加权平均来估算应该作为生物体信息测定的项目的情况下，可以根据应该测定的项目，选择在加权平均中使用的各系数(针对各成分的权重)。再者，也可以用作为光束等的照射窄范围的照明光来对生物体11的面部的正面进行扫描，求出生物体信息的各种测定值的空间分布。在用照明光扫描面部的情况下，预先基于拍摄面部整体而得到的图像等来确定眼睛的位置并切换照明光的开启(点亮)、关闭(熄灭)以使得照明光不进入眼睛(也就是说在眼睛的位置使得照明光关闭)，是有用的。
另外，生物体信息测定装置100也可以代替测定生物体11的与皮肤的特定深度的组织相关的生物体信息，而以如下的方式地测定与呼吸相关的信息作为生物体信息。
在对呼吸进行测定的情况下，生物体信息测定装置100的照明部110对生物体11的从头到下腹部的范围(拍摄对象区域)照射例如基于图3所示的网(网眼)状的照明模式的模式光(照明光)。除了网状，两个以上的同心圆模式也是有用的，也可以是其他的形状。照明部110的照明光的照射方向预先与拍摄部120的拍摄元件122的受光方向(光轴)充分(例如45°)偏离。由此，关于由呼吸引起的生物体11的各部分的位置变化的、拍摄元件122的检测灵敏度提高。将拍摄部120配置为使拍摄对象区域纳入视角内，在离开拍摄部120(拍摄元件122等)的部分配置照明部110(光源111等)。照明部110也朝向拍摄对象区域的中心照射照明光。
照明部110照射的照明光例如也可以是多色(包含R、G、B的各成分的颜色)的光，是包含红外线成分的光。通过对生物体11依次进行拍摄，由拍摄部120依次生成RGB图像或者RGB+IR的图像。通过像这样使像素数据所包含的各色成分的数量较多，相比于用单色光测定，能够提高测定精度。
估算部130在由拍摄部120依次生成的图像的像素数据中，基于由网状等这样的形状的照明模式得到的同等的像素数据的部分的位置的变动量，根据变动量多的部分与少的部分的差分来提取呼吸信号。由此，可以抑制生物体11的振动和/或例如车辆等这样的设置有生物体信息测定装置100的环境的振动等的影响地提取呼吸信号。估算部130基于该呼吸信号，能够估算呼吸数、强度、吸气呼气比率等这样的与呼吸相关的生物体信息。
也可以基于本实施方式中示出的氧饱和度、黑色素量、肌肤水分、体内水分、黑眼圈、呼吸数、吸气呼气比率等这样的生物体信息，在生物体信息测定装置100或者外部的装置中利用现有的技术、算法等来推定使用者(生物体)11的身体状况。
(其他实施方式等)
如上所述，作为本发明涉及的技术的示例，使用实施方式1～5进行了说明。然而，上述的实施方式仅为一例，毫无疑问也可以进行各种变更、附加、省略等。
在上述的实施方式1～4中，没有对生物体信息测定装置100的照明部110切换光源111的开启(点亮)、关闭(熄灭)这一情况进行说明，但也可以为按一定时间(例如由拍摄部120每拍摄1帧时)对光源111的开启、关闭进行切换。在拍摄部120中，预先恰当地设定增益、快门速度等，以使得接收到当光源111变为开启时照射的照明光的生物体11的由拍摄所获得的图像的信号不饱和。通过拍摄部120，例如与30FPS等拍摄的周期对应地，交替生成关于至少一部分被照射了照明光的生物体11的图像以及关于完全没有被照射照明光的生物体11的图像。在估算部130中，通过从被照射了照明光的图像中减去没有被照射照明光的图像，能够降低环境光的影响而提取与生物体11仅对照明光的反射光相关的信号。在估算部130中基于通过该减去所获得的图像(差分图像)来估算生物体信息。因此，在生物体信息测定装置100中，在利用至少一部分被照射了照明光的图像中的照射区域与非照射区域的像素数据的差分来估算生物体信息的情况下，也可以同时使用基于差分图像的估算结果。另外，也可以使用能够对多个波长的光单独进行选择输出的光源111，在光源111的开启、关闭的切换中，仅使特定波长的光开启、关闭。
另外，上述的实施方式中示出的生物体信息测定装置100既可以利用于身体状况推定系统10以外的系统，也可以对没有乘坐车辆的状态下的生物体11进行测定。另外，为了测定生物体信息，生物体信息测定装置100所拍摄的生物体11的部位可以是面部、颈部等的一部分也可以是整体，还可以是手掌、胳膊、其他的皮肤。
另外，上述实施方式中的生物体信息测定装置100的各构成要素的一部分或全部也可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是在一个芯片上集成多个构成部而制造出的超多功能LSI，具体而言，是构成为包括微处理器、ROM、RAM等的计算机系统。所述RAM中记录有计算机程序。所述微处理器按照所述计算机程序进行工作，由此系统LSI实现其功能。另外，构成上述各装置的构成要素的各部分既可以单独地单芯片化，也可以以包括一部分或全部的方式单芯片化。另外，虽然此处为系统LSI，但根据集成度不同，也可以称为IC、LSI、超大LSI(super LSI)、特大LSI(ultra LSI)。另外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器实现。也可以在LSI制造后利用可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)和/或、可以对LSI内部的电路单元的连接和/或设定进行重构的可重构处理器(reconfigurable processor)。再者，随着半导体技术的发展或派生的其他技术的出现，如果出现能够代替LSI的集成电路化的技术，当然也可以使用该技术进行功能模块的集成化。也可以应用生物技术等。
另外，上述实施方式中的各构成要素的一部分或全部也可以由能够相对于计算机等装置装卸的IC卡或单体模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包括上述的超多功能LSI。微处理器按照计算机程序进行工作，由此所述IC卡或所述模块实现其功能。该IC卡或该模块可以具有防篡改性。
另外，作为本发明的一个技术方案，例如也可以是包含图6所示的步骤的全部或一部分的生物体信息测定方法。另外，也可以是通过计算机实现该生物体信息测定方法的计算机程序(例如进行包括图像取得步骤及估算步骤的生物体信息估算处理的程序等)，还可以是通过所述计算机程序形成的数字信号。另外，作为本发明的一个技术方案，也可以是将所述计算机程序或所述数字信号记录于计算机可读取的记录介质例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等所得的介质。另外，也可以是记录在这些记录介质中的所述数字信号。另外，作为本发明的一个技术方案，也可以将所述计算机程序或所述数字信号经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等进行传输。另外，作为本发明的一个技术方案，也可以是具备微处理器和存储器的计算机系统，所述存储器记录有上述计算机程序，所述微处理器按照所述计算机程序进行工作。另外，通过将所述程序或所述数字信号记录在所述记录介质中移送、或者经由所述网络等将所述程序或所述数字信号移送，可以通过独立的其他的计算机系统来实施。
另外，通过将上述各实施方式中示出的各构成要素以及功能任意地进行组合而实现的方式也包含在本发明的范围内。
产业上的可利用性
本发明能够用于测定生物体信息，例如能够在身体状况推定系统等中加以利用。