《信息处理装置、信息处理方法以及程序.pdf》由会员分享，可在线阅读，更多相关《信息处理装置、信息处理方法以及程序.pdf（41页完整版）》请在专利查询网上搜索。
1、10申请公布号CN104205013A43申请公布日20141210CN104205013A21申请号201380015453522申请日20130207201207133020120327JPG06F3/01200601G06F21/32201301H04M1/72520060171申请人索尼公司地址日本东京都72发明人笠原俊一繁田修铃木诚司深泽辽森麻纪74专利代理机构北京集佳知识产权代理有限公司11227代理人康建峰李春晖54发明名称信息处理装置、信息处理方法以及程序57摘要问题为了容易地从拍摄图像中识别用户。解决方案提供了一种信息处理装置，配置有图像获取单元，用于获取拍摄图像；参数获取单。
2、元，用于获取与移动终端用户相关联的参数；识别单元，用于基于该参数从拍摄图像中识别用户；以及显示控制单元，其以如下方式执行控制在用户未被识别单元识别的情况下，将表示识别用户所需的用户行为的信息显示在移动终端上。30优先权数据85PCT国际申请进入国家阶段日2014091986PCT国际申请的申请数据PCT/JP2013/0528622013020787PCT国际申请的公布数据WO2013/145874JA2013100351INTCL权利要求书2页说明书15页附图23页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书15页附图23页10申请公布号CN104205013ACN1。
3、04205013A1/2页21一种信息处理装置，包括图像获取单元，所述图像获取单元配置成获取拍摄图像；参数获取单元，所述参数获取单元配置成获取与便携式终端的用户相关联的参数；指定单元，所述指定单元配置成基于所述参数从所述拍摄图像中指定所述用户；以及显示控制单元，所述显示控制单元配置成以如下方式执行控制在所述用户未被所述指定单元指定的情况下，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。2根据权利要求1所述的信息处理装置，其中，所述参数获取单元获取所述用户的面部图像作为所述参数，以及其中，所述指定单元将基于如下检查而提取的主体指定为所述用户即，相对于所述用户的面部图像，对在所述拍。
4、摄图像中所示的面部区域进行检查。3根据权利要求2所述的信息处理装置，其中，在所述指定单元没有指定所述用户的情况下，所述显示控制单元以如下方式执行控制将提示用户将面部转向成像装置的信息显示在所述便携式终端中，作为表示指定所述用户所需的用户移动的信息，所述成像装置对所述拍摄图像进行成像。4根据权利要求1所述的信息处理装置，其中，所述参数获取单元获取表示所述用户移动的传感器数据作为所述参数，以及其中，所述指定单元将基于如下检查而提取的主体指定为所述用户即，相对于所述传感器数据，对从所述拍摄图像检测的主体的移动进行检查。5根据权利要求4所述的信息处理装置，其中，在所述指定单元没有指定用户的情况下，所述。
5、显示控制单元以如下方式执行控制将提示所述用户移动所述便携式终端的信息显示在所述便携式终端中，作为表示指定所述用户所需的用户移动的信息。6根据权利要求1所述的信息处理装置，还包括候选提取单元，所述候选提取单元配置成从所述拍摄图像中提取用户候选，其中，所述指定单元基于所述参数根据所述候选提取单元所提取的用户候选来指定所述用户。7根据权利要求6所述的信息处理装置，其中，所述参数获取单元获取通过来自所述用户的操作所指派的在所述拍摄图像上的坐标作为所述参数，以及其中，所述候选提取单元提取基于所述坐标而选择的主体作为所述用户候选。8根据权利要求7所述的信息处理装置，其中，在所述指定单元没有指定所述用户的情。
6、况下，所述显示控制单元以如下方式执行控制基于所述候选提取单元所提取的所述用户候选的位置和预先设定的所述成像装置的位置，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。9根据权利要求1所述的信息处理装置，其中，在所述指定单元没有指定所述用户的情况下，所述显示控制单元以如下方式执行控制将表示通过另一指定技术来指定所述用户的信息显示在所述便携式终端中，以及其中，所述指定单元将通过所述另一指定技术所提取的主体指定为所述用户。权利要求书CN104205013A2/2页310根据权利要求1所述的信息处理装置，还包括认证单元，所述认证单元配置成对所述指定单元所指定的便携式终端执行认证处理。11。
7、一种信息处理方法，包括获取拍摄图像；获取与便携式终端的用户相关联的参数；基于所述参数从所述拍摄图像中示出的一个或更多个主体中指定所述用户；以及以如下方式执行控制在所述用户未被指定的情况下，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。12一种使计算机用作信息处理装置的程序，包括图像获取单元，所述图像获取单元配置成获取拍摄图像；参数获取单元，所述参数获取单元配置成获取与便携式终端的用户相关联的参数；指定单元，所述指定单元配置成基于所述参数从所述拍摄图像中示出的一个或更多个主体中指定所述用户；以及显示控制单元，所述显示控制单元配置成以如下方式执行控制在所述用户未被所述指定单元指定的。
8、情况下，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。权利要求书CN104205013A1/15页4信息处理装置、信息处理方法以及程序技术领域0001本发明涉及信息处理装置、信息处理方法以及程序。背景技术0002近年来，已开发了用于指定在所拍摄的图像中示出的人的技术。例如，公开了这样的技术，其中，相对于预先准备的面部图像来检查所拍摄图像中示出的面部区域并且基于检查结果来指定所拍摄的图像中示出的人例如，参见专利文献1。根据该技术，在对人的指定成功的情况下打开/关闭房门，因此，能够实现增强的安全性。0003用于指定在所拍摄的图像中示出的人的技术不仅应用于增强安全性，而且还应用于各种。
9、场景。0004引用列表0005专利文件0006专利文献1JP20093659A发明内容0007技术问题0008然而，在试图从拍摄图像中指定用户的情况中，不一定能成功地指定用户。例如，假设用户可能没有面对成像装置的情形。在这种情况下，在拍摄图像中没有示出用户的特征部分，因此，对用户的指定会失败。因此，期望实现一种从拍摄图像中容易地指定用户的技术。0009问题的解决方案0010根据本公开，提供了一种信息处理装置，包括图像获取单元，其配置成获取拍摄图像；参数获取单元，其配置成获取与便携式终端的用户相关联的参数；指定单元，其配置成基于该参数从拍摄图像中指定用户；以及显示控制单元，其配置成以如下方式执行。
10、控制在用户未被指定单元指定的情况下，将表示指定用户所需的用户移动的信息显示在便携式终端中。0011根据本公开，提供了一种信息处理方法，包括获取拍摄图像；获取与便携式终端的用户相关联的参数；基于所述参数从拍摄图像中示出的一个或更多个主体中指定用户；以及以如下方式执行控制在用户未被指定的情况下，将表示指定用户所需的用户移动的信息显示在便携式终端中。0012根据本公开，提供了一种使计算机用作信息处理装置的程序，包括图像获取单元，其配置成获取拍摄图像；参数获取单元，其配置成获取与便携式终端的用户相关联的参数；指定单元，其配置成基于该参数从拍摄图像中示出的一个或更多个主体中指定用户；以及显示控制单元，其。
11、配置成以如下方式执行控制在用户未被指定单元指定的情况下，将表示指定用户所需的用户移动的信息显示在便携式终端中。0013发明的有益效果说明书CN104205013A2/15页50014根据上述本公开，能够从拍摄图像中容易地指定用户。附图说明0015图1是例示根据本实施例的简要概述的示图。0016图2是例示根据本实施例的信息处理系统的配置的示图。0017图3是例示根据实施例的信息处理装置的功能配置的示图。0018图4是例示信息处理装置的用户指定功能的简要概述的示图。0019图5是例示当用户指定失败时便携式终端的显示示例的示图。0020图6是例示当用户指定成功时便携式终端的显示示例的示图。0021图。
12、7是例示当用户指定失败时便携式终端的显示示例的示图。0022图8是例示当用户指定失败时便携式终端的显示示例的示图。0023图9是例示当用户指定失败时便携式终端的显示示例的示图。0024图10是例示信息处理装置的构图决定功能的简要概述的示图。0025图11是例示在设定第一模式时的显示图像的示图。0026图12是例示在设定第二模式时的显示图像的示图。0027图13是例示确定显示图像的技术的变化的示图。0028图14是例示所确定的显示图像的示例的示图。0029图15是例示信息处理装置的构图决定操作的流程的流程图。0030图16是例示信息处理装置的描绘改变功能的示例的示图。0031图17是例示信息处理。
13、装置的描绘改变功能的另一示例的示图。0032图18是例示信息处理装置的描绘改变功能的再一示例的示图。0033图19是例示信息处理装置的描绘改变功能的又一示例的示图。0034图20是例示信息处理装置的描绘改变功能的又一示例的示图。0035图21是例示信息处理装置的描绘改变功能的又一示例的示图。0036图22是例示信息处理装置的描绘改变功能的又一示例的示图。0037图23是例示信息处理装置的描绘改变操作的流程的流程图。具体实施方式0038下文中将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有实质上相同的功能和结构的结构元件用相同的附图标记来表示，并且将省略对这些结构元件的重复的。
14、描述。0039此外，在本说明书和附图中，在某些情况下，具有实质上相同的功能的多个结构元件中的每一个通过对相同的附图标记附加不同的字母来区分。然而，当没有必要区分具有实质上相同的功能的结构元件时，这些结构元件通过相同的附图标记来表示。0040首先，将按照下列顺序来描述“具体实施方式”。00411用户指定功能00422构图决定功能00433描绘改变功能00444结论说明书CN104205013A3/15页60045根据本实施例的信息处理装置的功能大致分为用户指定功能、构图指定功能以及描绘改变功能。首先，在描述每个功能之前，将描述作为每个功能的前提的条件。0046图1是例示本实施例的简要概述的视图。。
15、如图1中所示，具有便携式终端20的用户U出现在真实空间中。用户U可出现在真实空间中的任何地方。另外，显示图像的功能安装在便携式终端20中，用户U可观看通过便携式终端20显示的屏幕。由设置成与便携式终端20分离的成像装置30来拍摄用户U的图像。不特别限制设置成像装置30的位置。例如，成像装置可设置在建筑中，例如在监视摄像机中，或者可以设置在移动对象中，例如在汽车中。另外，不特别限制成像装置30的种类，但可以是例如红外摄像机等。0047图2例示了根据本实施例的信息处理系统的配置的示图。如图2中所示，信息处理系统1包括信息处理装置10、便携式终端20以及成像装置30。尽管图2中信息处理装置10和便携。
16、式终端20经由网络40连接，但连接至网络40的便携式终端20的数量可以不是一个。例如，可存在多个便携式终端20，并且每个便携式终端20可以连接至网络40。0048另外，如图2中所示，信息处理装置10连接至成像装置30。尽管在图2中示出的示例中一个成像装置30被连接至信息处理装置10，但成像装置30的数量可以不是一个。例如，可存在多个成像装置30，每个成像装置30可以连接至信息处理装置10。0049另外，尽管在图2中示出的示例中信息处理装置10配置成与便携式终端20和成像装置30分离，但信息处理装置可以嵌入在便携式终端20中，或者可以嵌入在成像装置30中。由成像装置30拍摄的拍摄图像经由信息处理。
17、装置10被提供至便携式终端20，便携式终端20可显示该拍摄图像。信息处理装置10可使用从成像装置30提供的拍摄图像来执行用户指定功能、构图决定功能以及描绘改变功能。0050图3是根据本实施例的信息处理装置10的功能配置的块图。如图3中所示，信息处理装置10包括处理控制单元100、显示控制单元160以及存储单元50。另外，处理控制单元100具有图像获取单元111、参数获取单元112、候选提取单元113、指定单元114、以及认证单元115。图像获取单元111、参数获取单元112、候选提取单元113、指定单元114、以及认证单元115是主要与信息处理装置10的用户指定功能相关联的块。0051另外，处。
18、理控制单元100具有识别单元121、条件决定单元122、信息添加单元123、模式设定单元124、构图决定单元125以及图像确定单元126。处理控制单元100是主要与信息处理装置10的构图决定功能相关联的块，进而识别单元121、条件决定单元122、信息添加单元123、模式设定单元124、构图决定单元125以及图像确定单元126是主要与信息处理装置10的构图决定功能相关联的块。0052另外，处理控制单元100具有改变检测单元131和描绘改变单元132。改变检测单元131和描绘改变单元132是主要与信息处理装置10的描绘改变功能相关联的块。0053处理控制单元100和显示控制单元160对应于诸如CP。
19、U中央处理器，CENTRALPROCESSINGUNIT或DSP数字信号处理器，DIGITALSIGNALPROCESSOR等处理器。处理控制单元100和显示控制单元160通过执行在存储单元50或其他存储介质中所存储的程序来执行处理控制单元100和显示控制单元160的各种功能。0054存储单元50使用存储介质例如半导体存储器或硬盘来存储待由处理控制单元100和显示控制单元160执行的处理的程序和数据。例如，存储单元50存储用于识别对象的特征量词典FEATUREAMOUNTDICTIONARY。此外，存储单元50可存储作为对象识别说明书CN104205013A4/15页7的结果产生的识别结果。尽。
20、管在图3中例示的示例中存储单元50配置成嵌入在信息处理装置10中，但存储单元50可配置成与该信息处理装置10分离。0055已描述了相应功能的前提。下文中，将按顺序描述每个功能。00560057首先，将描述信息处理装置10的用户指定功能。图4是例示信息处理装置10的用户指定功能的简要概述的示图。图像获取单元111首先获取由成像装置30拍摄的拍摄图像。在图4中例示的示例中，作为拍摄图像的示例，由图像获取单元111来获取拍摄图像IMG，在该拍摄图像IMG中图1中所示的真实空间被拍摄。对图像获取单元111获取的拍摄图像进行控制以通过显示控制单元160显示在便携式终端20上。0058根据用户指定功能，根。
21、据图像获取单元111获取的拍摄图像中示出的对象来指定用户。不特别限制用户指定的目的。然而，本文中，假设通过信息处理装置10来提供网络服务，并且执行用户指定以允许用户U经由便携式终端20登录进网络服务。0059另外，不特别限制网络服务的种类。然而，本文中假设了允许用户利用完成了对网络服务的登录的便携式终端写入或读取由该用户或其他用户写入的消息的服务。尽管不特别限制指定用户的定时，但可以使用在便携式终端20上执行用户请求用户指定的操作的定时。请求用户指定的操作可以是请求登录进网络服务的操作。0060为了根据在拍摄图像中示出的主体来指定用户，参数获取单元112获取与要被指定的用户相关联的参数。尽管不。
22、特别限制参数获取单元112获取参数的定时，但例如可预先从用户的便携式终端20获取参数，或者可以在指定用户时从便携式终端20获取该参数。0061不特别限制参数获取单元112要获取的参数的种类。例如，如图4中所示，参数获取单元112可获取用户的面部图像作为参数P1，并且可获取表示用户的移动的传感器数据作为参数P2。不特别限制拍摄用户的面部图像的装置。例如，用户的面部图像可以是便携式终端20所拍摄的面部图像，或者可以是其他装置所拍摄的面部图像。0062另外，不特别限制检测用户的移动的传感器。检测用户的移动的传感器可以是加速度传感器、接收GPS信号的传感器以及接收从WIFI基站发送的无线电波的传感器。。
23、另外，检测用户的移动的传感器可以嵌入在便携式终端20中，并且可以安装在用户的身体上。0063在用户被指定单元114指定之前，候选提取单元113会指定用户的候选步骤S11。例如，当通过输入至便携式终端20的用户操作例如，对触摸面板的触摸操作指定了在便携式终端20中显示的拍摄图像上的坐标时，参数获取单元112获取该坐标，并且候选提取单元113可将经由坐标而选择的主体例如，出现在坐标上的主体指定为用户的候选。通过指定用户的候选，来减少指定用户所必需的工作量。0064指定单元114基于参数获取单元112所获取的参数尝试从拍摄图像中指定用户步骤S12。例如，当用户的面部图像被参数获取单元112获取作为参。
24、数P1时，指定单元114可将基于如下检查而提取的主体指定为用户即，相对于面部图像对图像获取单元111获取的拍摄图像中所示出的主体的面部区域进行检查。例如，指定单元114可将具有用户的面部图像和具有相似度超过阈值的面部区域的主体指定为用户。0065另外，例如，当表示用户的移动的传感器数据作为参数P2被参数获取单元112获取时，指定单元114可将以下主体指定为用户该主体基于相对于传感器数据对从图像获说明书CN104205013A5/15页8取单元111获取的拍摄图像中检测到的主体的移动进行检查来提取。例如，指定单元114可以将以下主体指定为用户在该主体中检测到拍摄图像中的用户移动和相似度超过阈值的。
25、传感器数据。另外，当指定了用户的候选时，指定单元114可基于来自用户的候选的参数来指定用户。0066作为指定单元114尝试指定用户的结果，还假定用户未被指定。例如，相似度没有超过对应于上面假定的情形的阈值的情况。因此，当用户未被指定单元114指定时，显示控制单元160控制便携式终端20以在便携式终端20中显示表示指定用户所需的用户移动的信息。根据显示控制单元160的控制，在便携式终端20中显示表示用户移动的信息步骤S13。0067图5是例示当用户指定失败时便携式终端20的显示示例的示图。例如，当用户未被指定单元114指定时，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示提示。
26、用户将用户的面部转向成像装置的信息。在图5中，示出了这样的示例，其中假设成像装置30是监视摄像机并且显示控制单元160控制便携式终端20使得在便携式终端20中显示表示“请将您的面部转向监视摄像机”的消息M1。0068将回来参考图4进行描述。当指定单元114指定了用户时，在流程前进至步骤S15之前，认证单元115可对指定单元114指定的便携式终端20执行认证处理步骤S14。具体地，例如，如图4中所示，当通过输入至便携式终端20的用户操作来输入口令时，认证单元115可通过确定输入口令是否与预先寄存的口令匹配来确定成功或失败。当认证成功时，流程前进至步骤S15。当认证失败时，可再次执行认证处理，而不。
27、是前进至步骤S15。0069当流程前进至步骤S15时，例如，登录进网络服务完成步骤S15，并且显示控制单元160控制便携式终端20，使得通过便携式终端20显示拍摄图像和添加信息。根据显示控制单元160的控制，在便携式终端20中显示拍摄图像和添加信息步骤S16。尽管不特别限制添加信息，例如，添加信息可以是用户自己或其他用户所写入的消息。0070图6是例示当用户指定成功时便携式终端20的显示示例的示图。例如，当指定单元114指定了用户时，显示控制单元160控制便携式终端20，以便显示拍摄图像和添加信息。图6中示出了这样的示例，其中，显示控制单元160控制便携式终端20，使得另一用户所写入的消息作为。
28、添加信息被显示。0071另外，提示用户将其面部转向成像装置的信息不限于图5中示出的示例。图7是例示当用户指定失败时便携式终端20的显示示例的示图。显示控制单元160可控制便携式终端20，以便基于候选提取单元113所提取的用户的候选的位置和预先设定的成像装置30的位置在便携式终端20中显示表示指定用户所需的用户移动的信息。0072例如，如图7中所示，显示控制单元160可以控制便携式终端20，使得便携式终端20利用用户候选的位置作为参考来显示在用户候选所面对的方向上的直线和在成像装置30存在的方向上的直线。另外，如图7中所示，显示控制单元160可控制便携式终端20，使得表示从在用户候选所面对的方向。
29、上的直线到在成像装置30存在的方向上的直线的旋转方向的箭头显示在便携式终端20中。另外，如图7中所示，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示消息M2“向左转”作为用户已看到的表示旋转方向的消息。0073另外，当用户未被指定单元114指定时，可以切换指定用户的技术。图8是例示当说明书CN104205013A6/15页9用户指定失败时便携式终端20的显示示例的示图。当用户未被指定单元114指定时，显示控制单元160可以控制便携式终端20，使得在便携式终端20中显示表示通过另一技术来指定用户的信息。例如，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示消。
30、息M3“切换了指定用户的技术”作为表示通过另一技术来指定用户的信息。指定单元114可将由另一指定技术所提取的主体指定为用户。0074例如，指定单元114尝试将基于以下检查而提取的主体指定为用户即，相对于用户的面部图像，对拍摄图像中所示的主体的面部区域来进行检查。在这种情况下，当用户未被指定时，指定单元114会尝试将基于以下检查而提取的主体指定为用户即，相对于传感器数据，对通过拍摄图像所检测的主体的移动进行检查。另外，可以以相反顺序来尝试用户指定。0075另外，当用户未被指定单元114指定时，可提示用户使拍摄图像中所示的另一主体的移动与用户的移动之间的差异明显。因此，当从拍摄图像中检测到移出所限。
31、定的正常范围的主体时，指定单元114可将该主体指定为用户。0076图9是例示当用户指定失败时便携式终端20的显示示例的示图。例如，当用户未被指定单元114指定时，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示提示用户移动便携式终端20的信息作为表示指定用户所需的用户移动的信息。例如，如图9中所示，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示消息M4“请移动你的便携式终端”作为提示用户移动便携式终端20的信息。0077如上所述，根据信息处理装置10的用户指定功能，基于与便携式终端的用户相关联的参数来尝试从拍摄图像中指定用户，并且显示控制单元160控制便携。
32、式终端20，使得当用户未被指定时在便携式终端20中显示表示指定用户所需的用户移动的信息。因此，预期能够根据拍摄图像容易地指定用户。00780079接下来，将描述信息处理装置10的构图决定功能。图10是例示信息处理装置10的构图决定功能的简要概述的示图。如上面所描述的，当成像装置30拍摄了拍摄图像时，在用户的便携式终端20上显示拍摄图像。用户可观看到在便携式终端20中显示的拍摄图像。本文中假设用户在观看拍摄图像的同时向目的地移动的情形。将描述关于将优选构图作为用户所看到的拍摄图像的决定。0080首先，假设表示用户的目的地的信息。表示用户的目的地的信息可通过输入至便携式终端20的用户操作来输入，并。
33、且可以通过便携式终端20所运行的应用来设定。例如，表示用户的目的地的信息描绘在真实空间中的位置处。信息处理装置10获取表示用户的目的地的信息。构图决定单元125基于表示用户的目的地的信息和根据图像获取单元111获取的拍摄图像的用户识别结果来决定构图。构图是示出对象在图像中的理想位置或对象的理想方向的示图。0081对用户的识别结果至少包括在真实空间中的用户位置和用户的行进方向。例如，通过识别单元121来获取对用户的识别结果。换言之，识别单元121通过基于拍摄图像而识别用户来获得识别结果。在图10中示出的示例中，在真实空间中的用户位置表示为PU，用户的行进方向表示为V1，利用用户位置PU作为参考的。
34、用户目的地方向表示为V2。0082例如，当用户位置被识别为识别结果时，构图决定单元125可基于利用用户位置说明书CN104205013A7/15页10作为参考的用户目的地方向来决定构图。例如，在图10中所示的示例中，构图决定单元125可基于利用用户位置PU作为参考的用户目的地方向V2来决定构图，例如，当基于V2来决定构图时，构图决定单元125可将以下图像决定为构图在该图像中包括了在利用用户位置PU作为参考的方向V2上的区域，该区域比在与利用用户位置PU作为参考的方向V2相反的方向上的区域更大。如上面所决定的构图的示例在图10中作为K2示出。点C2表示构图K2的中间点。0083另外，例如，当用户。
35、的行进方向被识别为识别结果时，构图决定单元125可基于用户的行进方向来决定构图。例如，在图10中示出的示例中，构图决定单元125可基于用户的行进方向V1来决定构图。例如，当基于V1来决定构图时，构图决定单元125可将以下图像决定为构图该图像中包括了在利用用户位置PU作为参考的方向V1上的区域，该区域比在与利用用户位置PU作为参考的方向V1相反的方向上的区域更大。0084构图决定单元125可一律基于用户的行进方向V1来决定构图，可一律基于利用用户位置PU作为参考的用户目的地方向V2来决定构图，或者可选择地使用上述任意一种决定技术。换言之，当基于用户的行进方向V1来决定构图的模式是第一模式并且基于。
36、利用用户位置PU作为参考的用户目的地方向V2来决定构图的模式是第二模式时，模式设定单元124可设定这两种模式中的任意一种模式。在这种情况下，构图决定单元125可根据模式设定单元124设定的模式来决定构图。模式可基于输入至便携式终端20的用户操作来设定，或者可以通过便携式终端20所运行的应用来设定。0085图像确定单元126基于构图决定单元125所决定的构图来确定显示图像。例如，图像确定单元126可将符合构图决定单元125所决定的构图的图像确定为显示图像，或者可将可选范围内与构图决定单元125所决定的构图最接近的图像确定为显示图像。显示控制单元160控制便携式终端20，使得图像确定单元126所确。
37、定的图像显示在便携式终端20上。0086图11是例示在设定第一模式时的显示图像的示图。例如，当获取了如图10中所示的拍摄图像IMG并且通过模式设定单元124设定第一模式时，基于用户的行进方向V1来决定构图K1。在这种情况下，例如，如图11所示，图像确定单元126可将与构图K1吻合的图像确定为显示图像D1。另外，构图决定单元125可决定用户出现在中间的构图。如图11中所示，可决定用户出现在与中间间隔预定距离D1的位置处的构图。0087另外，可以决定当前拍摄条件。换言之，条件决定单元122可决定拍摄用户的条件是否准备好，并且当条件决定单元122决定出条件没准备好时信息添加单元123可将表示条件没准。
38、备好的信息添加至显示图像。例如，当条件决定单元122决定了能够被拍摄的区域时，信息添加单元123可将表示能够被拍摄的区域的边界的对象添加至显示图像。0088另外，当条件决定单元122决定了在利用用户位置PU作为参考的用户行进方向V1上能够被拍摄的区域的边界时，信息添加单元123可将表示能够被拍摄的区域的边界的对象添加至显示图像。由于在图11中已决定了在利用用户位置PU作为参考的用户行进方向V1上能够被拍摄的区域的边界，所以将表示能够被拍摄的区域的边界的对象作为A1添加至显示图像D1。替代地，当条件决定单元122决定出用户位置PU与能够被拍摄的区域的边界之间的距离短于阈值时，信息添加单元123可。
39、将表示能够被拍摄的区域的边界的对象添加至显示图像。说明书CN104205013A108/15页110089另外，当条件决定单元122决定出拍摄图像的亮度小于阈值，则信息添加单元123可将表示拍摄条件劣化的对象添加至显示图像。尽管通过这样的过程可提示用户改变行进方向，但提供至用户的信息不限于所添加的对象。例如，信息添加单元123可控制便携式终端20以进行振动，并且可控制便携式终端20以产生报警音。0090图12是例示在设定第二模式时的显示图像的示图。例如，当获取了如图10中所示的拍摄图像IMG并且模式设定单元124设定了第二模式时，基于利用用户位置PU作为参考的用户目的地方向V2来决定构图K2。。
40、在这种情况下，例如，如图12中所示，图像确定单元126可确定符合构图K2的图像作为显示图像D2。另外，尽管构图决定单元125决定了用户出现在中间的构图，但构图决定单元可决定如图12中所示的用户出现在与中间间隔预定距离D2的位置处的构图。0091迄今为止，图像确定单元126已使用了通过基于构图决定单元125所决定的构图而剪切掉成像装置30拍摄的拍摄图像的一部分来确定显示图像的技术。当成像装置30是一个固定摄像机时，仅采用上述技术。然而，当成像装置30是方向可调摄像机或视角可调摄像机时，或者当提供了多个成像装置30时，可以采用其他技术。0092在这种情况下，固定摄像机意味着拍摄方向和视角不可调的摄。
41、像机。方向可调摄像机意味着可移动摄像机，并且可以是具有全景功能PANFUNCTION的摄像机或具有倾斜功能的摄像机。视角可调摄像机意味着能够改变视角的摄像机。图13是例示确定显示图像的技术的变化的示图。如图13所示，当拍摄摄像机30是固定摄像机时，图像确定单元126采用将从拍摄图像选择的区域确定为显示图像的技术。0093另外，如图13中所示，当成像装置30是方向可调摄像机时，图像确定单元126确定提供拍摄图像的成像装置30的拍摄方向，并且将在所确定的拍摄方向上拍摄的拍摄图像确定为显示图像。例如，图像确定单元126基于构图决定单元125决定的构图来确定成像装置30的拍摄方向。特别地，图像确定单元。
42、126可将能够拍摄与构图决定单元125所决定的构图最接近的图像的方向确定为成像装置30的拍摄方向。0094另外，如图13所示，当成像装置30是视角可调摄像机时，图形确定单元126确定出提供拍摄图像的成像装置30的视角，并且将在所确定的视角处拍摄的拍摄图像确定为显示图像。例如，图像确定单元126基于构图决定单元125所决定的构图来确定成像装置30的视角。特别地，图像确定单元126可将能够拍摄与构图决定单元125所决定的构图最接近的图像的视角确定为成像装置30的视角。0095另外，如图13中所示，当图像获取单元111获取从各个成像装置30提供的拍摄图像时，图像确定单元126将从由各个成像装置30提。
43、供的拍摄图像中选择的拍摄图像确定为显示图像。例如，图像确定单元126基于构图决定单元125所决定的构图来将从由各个成像装置30提供的拍摄图像中选择的拍摄图像确定为显示图像。特别地，图像确定单元126可从由各个成像装置30提供的拍摄图像中选择与构图决定单元125所决定的构图最接近的拍摄图像，并且可将选择的拍摄图像确定为显示图像。0096另外，在上述示例中，与构图决定单元125所决定的构图最接近的图像用作显示图像。然而，当仅获取了具有超出图像与构图之间的阈值的差异的图像时，不能确定显示图像。在这种情况下，还假定图像确定单元126难以基于构图决定单元125所决定的构图来确定显示图像。因此，在这种情况。
44、下，图像确定单元126可基于除构图之外的检测数据来确说明书CN104205013A119/15页12定显示图像。0097不特别限制检测数据。例如，图像确定单元126可将在与指定单元114基于传感器数据所指定的用户位置最接近的位置处拍摄的图像确定为显示图像。另外，图像确定单元126可将图像中所示人数最少的图像确定为显示图像，或者可将图像中所示的人密度最小的图像确定为显示图像。此外，图像确定单元126可将拍摄了最大范围的图像确定为显示图像，或者可将最频繁使用的拍摄图像确定为显示图像。0098另外，当成像装置30不存在等时，还假定拍摄图像不是由图像获取单元111获取。在这种情况下，图像确定单元126。
45、可根据表示用户目的地的信息和基于拍摄图像以外的数据所检测的用户位置来确定图像。0099例如，当基于接收GPS信号的传感器所接收的信号来获取用户的位置信息时，图像确定单元126可使用位置信息和表示用户的目的地的信息来从网页等搜索图像。图像可以是绘制的地图，或者可以是拍摄的照片。另外，当通过搜索获取多个图像时，图像确定单元126可将通过合成多个图像而产生的新图像确定为显示图像。0100图14是例示所确定的显示图像的示例的示图。如图14中所示，显示控制单元160可将表示从作为参考的用户位置PU到用户的目的地的距离的对象OBJ1，表示到达目的地的估计时间和距目的地的距离的对象OBJ2等添加至显示图像D。
46、2。0101另外，如图14中所示，显示控制单元160可将表示方位的对象OBJ3、表示利用用户位置PU作为参考的用户目的地方向的对象OBJ4等添加至显示图像D2。另外，如图14中所示，显示控制单元160可将表示利用用户位置PU作为参考的用户目的地方向的对象OBJ5添加至用户位置PU，并且可将表示用户位置PU的对象OBJ6添加至显示图像D2中的用户位置。0102接下来，将描述信息处理装置10的构图决定操作的流程。图15是例示信息处理装置10的构图决定操作的流程的流程图。如图15中所示，当图像获取单元111没有获取拍摄图像时在步骤S21中的“否”，识别单元121根据除拍摄图像之外的数据来识别用户步骤。
47、S22，并且流程前进至步骤S26。0103另一方面，当图像获取单元111获取了拍摄图像时步骤S21中的“是”，识别单元121根据拍摄图像来识别用户步骤S23，并且条件决定单元122决定是否准备好拍摄的条件步骤S24。当条件决定单元122决定出准备好了拍摄条件时步骤S24中的“是”，流程前进至步骤S26。另一方面，当条件决定单元122决定出没有准备好拍摄条件时步骤S24中的“否”，信息添加单元123将表示条件没准备好的信息添加至拍摄图像步骤S25，并且流程前进至步骤S26。0104当流程前进至步骤S26，模式设定单元124可设定第一模式和第二模式中的任意一种步骤S26，并且构图决定单元125基于。
48、识别单元121的识别结果根据模式设定单元124所设定的模式来决定构图步骤S27。然后图像决定单元126尝试基于构图决定单元125决定的构图来确定显示图像步骤S28。0105在这种情况下，当图像确定单元126确定了显示图像时步骤S29中的“是”，流程前进至步骤S31。另一方面，当图像确定单元126没有确定显示图像时步骤S29中的“否”，图像确定单元126基于除构图之外的检测数据来确定显示图像步骤S30，并且流程前进至步骤S31。显示控制单元160控制便携式终端20，使得图像确定单元126所确定说明书CN104205013A1210/15页13的显示图像被显示在便携式终端20上步骤S31，并且流程。
49、结束。0106如上所述，根据信息处理装置10的构图决定功能，基于表示用户的目的地的信息和根据拍摄图像的用户的识别结果来确定构图。另外，基于所确定的构图来确定显示图像。根据这种控制，可期望针对用户确定具有更高便利性的显示图像。01070108接下来，将描述信息处理装置10的描绘改变功能。如上所述，假定，当用户U经由便携式终端20登录进网络服务时，信息处理装置10提供网络服务并且网络服务被提供至便携式终端20。0109不限于用户U登录进网络服务，可由另一用户来执行登录进网络服务。换言之，有可能是拍摄图像中所示的人下文中，也称为主体享受网络服务。下文中，将描述容易地发现在拍摄图像中所示的、在网络服务。
50、中的主体的状态上的变化的功能。另外，识别单元121可使用与由用户来指定的技术相同的技术来识别在拍摄图像中所示的主体。0110改变检测单元131检测从由图像获取单元111获取的拍摄图像识别出的、在网络服务中的主体的状态上的改变。不特别限制在网络服务中的状态。例如，该状态可以是表示主体的便携式终端是否登录进网络服务的信息。换言之，当改变检测单元131检测到主体的便携式终端已登录进网络服务中时，描绘改变单元132可改变拍摄图像中所示的主体的描绘。0111另外，在网络服务中的状态可以是表示是否在登录进网络服务的同时执行指定处理的信息。换言之，当改变检测单元131检测出在网络服务中的主体的便携式终端的移。