《信息处理装置、信息处理方法和程序.pdf》由会员分享,可在线阅读,更多相关《信息处理装置、信息处理方法和程序.pdf(36页完整版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 103838808 A (43)申请公布日 2014.06.04 CN 103838808 A (21)申请号 201310579095.2 (22)申请日 2013.11.18 2012-257826 2012.11.26 JP G06F 17/30(2006.01) G06F 3/0484(2013.01) (71)申请人 索尼公司 地址 日本东京 (72)发明人 田中和政 田中健司 中村幸弘 高桥义博 深沢健太郎 吉田恭助 (74)专利代理机构 北京信慧永光知识产权代理 有限责任公司 11290 代理人 陈桂香 褚海英 (54) 发明名称 信息处理装置、 信息处。
2、理方法和程序 (57) 摘要 本发明公开了一种信息处理装置和信息处理 方法。所述信息处理装置包括 : 多个特征量提取 部, 它们被构造用来从内容中提取多个特征量 ; 显示控制部, 其被构造用来控制所述内容的图像 和与所述内容的所述特征量相关的信息的显示 ; 以及选择部, 其被构造用来选择显示或不显示与 所述特征量相关的信息。所述显示控制部控制场 景的重要性的显示, 所述重要性是基于与所述选 择部选择的与所述特征量相关的所述信息的显示 或不显示而得到的。 根据本发明, 能够容易地掌握 内容的实体。 (30)优先权数据 (51)Int.Cl. 权利要求书 2 页 说明书 17 页 附图 16 页 。
3、(19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书17页 附图16页 (10)申请公布号 CN 103838808 A CN 103838808 A 1/2 页 2 1. 一种信息处理装置, 其包括 : 多个特征量提取部, 它们被构造用来从内容中提取多个特征量 ; 显示控制部, 所述显示控制部被构造用来控制所述内容的图像和与所述内容的所述特 征量相关的信息的显示 ; 以及 选择部, 所述选择部被构造用来选择显示或不显示与所述特征量相关的信息 ; 其中, 所述显示控制部控制场景的重要性的显示, 所述重要性是基于与所述选择部选 择的与所述特征量相关的所述信息的显示或。
4、不显示而得到的。 2. 如权利要求 1 所述的信息处理装置, 其中, 所述显示控制部根据所述重要性来改变与所述特征量相关的所述信息的显示。 3. 如权利要求 2 所述的信息处理装置, 其中, 所述显示控制部根据所述重要性控制作为与所述特征量相关的所述信息的场景头图 像的显示。 4. 如权利要求 3 所述的信息处理装置, 其中, 所述显示控制部以具有高的所述重要性的场景头图像的尺寸大于具有低的所述重要 性的场景头图像的尺寸的方式显示具有高的所述重要性的场景头图像。 5. 如权利要求 3 所述的信息处理装置, 其中, 所述显示控制部将具有高的所述重要性的场景头图像显示在具有低的所述重要性的 场景头。
5、图像的前面。 6. 如权利要求 5 所述的信息处理装置, 其中, 所述显示控制部能够使用虚线显示被隐 藏的具有低的所述重要性的场景头图像轮廓。 7. 如权利要求 2 所述的信息处理装置, 其中, 所述显示控制部根据所述重要性控制对象图像的显示, 在所述对象图像中预定对象被 检测作为与所述特征量相关的所述信息。 8. 如权利要求 7 所述的信息处理装置, 其中, 所述显示控制部以具有高的所述重要性的对象图像的尺寸大于具有低的所述重要性 的对象图像的尺寸的方式显示具有高的所述重要性的对象图像。 9. 如权利要求 7 所述的信息处理装置, 其中, 所述显示控制部将具有高的所述重要性的对象图像显示在具。
6、有低的所述重要性的对 象图像的前面。 10. 如权利要求 7 所述的信息处理装置, 其中, 在沿着时间线连续检测具有高的所述重要性的对象图像的情况下, 所述显示控制部在 连续检测具有高的所述重要性的对象图像的区间内显示一个以上具有高的所述重要性的 对象图像。 11. 如权利要求 1 至 9 中任一项所述的信息处理装置, 还包括 : 变更部, 所述变更部被构造用来改变所述重要性的权重 ; 其中, 所述显示控制部根据被所述变更部改变了权重的所述重要性来改变与所述特征 量相关的所述信息的显示。 12. 如权利要求 1 所述的信息处理装置, 还包括 : 场景提取部, 所述场景提取部被构造用来提取与所述。
7、重要性相对应的场景。 权 利 要 求 书 CN 103838808 A 2 2/2 页 3 13. 如权利要求 12 所述的信息处理装置, 还包括 : 摘要生成部, 所述摘要生成部被构造用来收集由所述场景提取部提取的场景, 并且生 成摘要动态图像。 14. 如权利要求 12 所述的信息处理装置, 还包括 : 元数据生成部, 所述元数据生成部被构造用来生成摘要元数据, 所述摘要元数据包括 被所述场景提取部提取的场景的起点和终点。 15. 如权利要求 12 所述的信息处理装置, 还包括 : 缩略图生成部, 所述缩略图生成部根据被所述场景提取部提取的场景的图像生成代表 所述内容的缩略图图像。 16.。
8、 如权利要求 12 至 15 中任一项所述的信息处理装置, 还包括 : 变更部, 所述变更部被构造用来改变所述重要性的权重 ; 其中, 所述场景提取部提取根据被所述改变部改变了权重的所述重要性的场景。 17. 一种信息处理方法, 所述方法包括以下步骤 : 信息处理装置从内容中提取多个特征量 ; 由所述信息处理装置控制所述内容的图像和与所述内容的所述特征量相关的信息的 显示 ; 由所述信息处理装置选择显示或不显示与所述特征量相关的信息 ; 并且 由所述信息处理装置控制场景的重要性的显示, 所述重要性是基于与已经选择的与所 述特征量相关的所述信息的显示或不显示而得到的。 18. 一种程序, 所述程。
9、序使得计算机能够起到如下部件的作用 : 多个特征量提取部, 它们被构造用来从内容中提取多个特征量 ; 显示控制部, 所述显示控制部被构造用来控制所述内容的图像和与所述内容的所述特 征量相关的信息的显示 ; 以及 选择部, 所述选择部被构造用来选择显示或不显示与所述特征量相关的信息 ; 其中, 所述显示控制部控制场景的重要性的显示, 所述重要性是基于与所述选择部已 经选择的与所述特征量相关的所述信息的显示或不显示而得到的。 权 利 要 求 书 CN 103838808 A 3 1/17 页 4 信息处理装置、 信息处理方法和程序 技术领域 0001 本发明涉及信息处理装置、 信息处理方法和程序。。
10、 特别地, 涉及能够使内容的实体 易于被掌握的信息处理装置、 信息处理方法和程序。 背景技术 0002 用于确认动态图像内容的实体的预览屏幕一般包括 : 预览区域, 其用于再现动态 图像 ; 和时间线区域, 其具有用于指示时间线内的再现位置的滑块。 0003 为了掌握内容的实体, 用户能够再现动态图像以确认预览, 或者为了更快地掌握, 用户能够使用滑块移动再现位置以确认内容的实体。然而, 根据内容的长度可能需要长时 间来掌握上述实体。 0004 另一方面, 根据作为相关技术的日本专利特开平第 11-284948 号公报或日本专利 特开第 2000-308003 号公报, 由于能够沿着时间线显示。
11、与场景变化相对应的图像, 所以客 户能够确认在哪里有怎样的视频。 发明内容 0005 然而, 内容的长度或内容的场景变化的数量可能导致与场景变化对应的图像数量 的增加, 从而导致用户难以掌握内容的实体。 0006 鉴于以上状况提出了本发明, 期望提高用于掌握内容的实体的可操作性。 0007 本发明的实施例提供了一种信息处理装置, 该信息处理装置包括 : 多个特征量提 取部, 它们被构造用来从内容中提取多个特征量 ; 显示控制部, 其被构造用来控制所述内容 的图像和与所述内容的所述特征量相关的信息的显示 ; 以及选择部, 其被构造用来选择显 示或不显示与所述特征量相关的信息。所述显示控制部控制场。
12、景的重要性的显示, 所述重 要性是基于与所述选择部选择的与所述特征量相关的所述信息的显示或不显示而得到的。 0008 所述显示控制部可以根据所述重要性来改变与所述特征量相关的信息的显示。 0009 所述显示控制部可以根据所述重要性控制作为与所述特征量相关的所述信息的 场景头图像的显示。 0010 所述显示控制部可以以具有高的所述重要性的场景头图像的尺寸大于具有低的 所述重要性的场景头图像的尺寸的方式显示具有高的所述重要性的场景头图像。 0011 所述显示控制部可以将具有高的所述重要性的场景头图像显示在具有低的所述 重要性的场景头图像的前面。 0012 所述显示控制部可以根据所述重要性控制对象图。
13、像的显示, 在所述对象图像中预 定对象被检测作为与所述特征量相关的所述信息。 0013 所述显示控制部可以以具有高的所述重要性的对象图像的尺寸大于具有低的所 述重要性的对象图像的尺寸的方式显示具有高的所述重要性的对象图像。 0014 所述显示控制部可以将具有高的所述重要性的对象图像显示在具有低的所述重 要性的对象图像的前面。 说 明 书 CN 103838808 A 4 2/17 页 5 0015 在沿着时间线连续检测具有高的所述重要性的对象图像的情况下, 所述显示控制 部可以在连续检测具有高的所述重要性的对象图像的区间内显示一个以上具有高的所述 重要性的对象图像。 0016 所述信息处理装置。
14、还可以包括被构造用来改变所述重要性的权重的变更部。 所述 显示控制部可以根据被所述变更部改变了权重的所述重要性来改变与所述特征量相关的 所述信息的显示。 0017 所述信息处理装置还可以包括被构造用来提取与所述重要性相对应的场景的场 景提取部。 0018 所述信息处理装置还可以包括摘要生成部, 其被构造用来收集由所述场景提取部 提取的场景, 并且生成摘要动态图像。 0019 所述信息处理装置还可以包括元数据生成部, 其被构造用来生成摘要元数据, 所 述摘要元数据包括被所述场景提取部提取的场景的起点和终点。 0020 所述信息处理装置还可以包括缩略图生成部, 其根据被所述场景提取部提取的场 景的。
15、图像生成代表所述内容的缩略图图像。 0021 所述信息处理装置还可以包括被构造用来改变所述重要性的权重的变更部。 所述 场景提取部可以提取根据被所述变更部改变了权重的所述重要性的场景。 0022 本公开的实施例提供了一种信息处理方法, 所述方法包括步骤 : 信息处理装置从 内容中提取多个特征量 ; 由所述信息处理装置控制所述内容的图像和与所述内容的所述特 征量相关的信息的显示 ; 由所述信息处理装置选择显示或不显示与所述特征量相关的信 息 ; 并且由所述信息处理装置控制场景的重要性的显示, 所述重要性是基于与已经选择的 与所述特征量相关的所述信息的显示或不显示而得到的。 0023 本公开的实施。
16、例提供了一种程序, 所述程序使得计算机能够起到如下部件的作 用 : 多个特征量提取部, 它们被构造用来从内容中提取多个特征量 ; 显示控制部, 其被构造 用来控制所述内容的图像和与所述内容的所述特征量相关的信息的显示 ; 以及选择部, 其 被构造用来选择显示或不显示与所述特征量相关的信息。 所述显示控制部控制场景的重要 性的显示, 所述重要性是基于与所述选择部已经选择的与所述特征量相关的所述信息的显 示或不显示而得到的。 0024 根据本公开的一个实施例, 从内容中提取多个特征量, 并且控制所述内容的图像 和与所述内容的特征量相关的信息的显示。然后, 选择显示或不显示与所述特征量相关的 信息,。
17、 并且控制场景的重要性的显示, 所述重要性是基于选择显示或不显示与特征量相关 的信息而得到的。 0025 根据本公开的实施例, 能够容易地掌握内容的实体。 附图说明 0026 图 1 是示出了采用了本发明的信息处理装置的构造例 ; 0027 图 2 是图示了信息处理装置的内容输入处理的流程图 ; 0028 图 3 是图示了预览显示处理的流程图 ; 0029 图 4 是图示了预览屏幕的重新显示处理的流程图 ; 0030 图 5 示出了预览屏幕的示例 ; 说 明 书 CN 103838808 A 5 3/17 页 6 0031 图 6 示出了预览屏幕的示例 ; 0032 图 7 示出了场景变化图像。
18、显示部的显示示例 ; 0033 图 8 示出了场景变化图像显示部的另一显示示例 ; 0034 图 9 示出了面部图像显示部的显示例 ; 0035 图 10 示出了面部图像显示部的显示例 ; 0036 图 11 示出了采用本发明的信息处理装置的构造例 ; 0037 图 12 是图示了预览显示处理的流程图 ; 0038 图 13 是图示了摘要生成处理的流程图 ; 0039 图 14 示出了摘要生成显示部的显示示例 ; 0040 图 15 示出了摘要生成显示部的另一显示示例 ; 0041 图 16 图示了另一摘要生成方法 ; 以及 0042 图 17 是示出了计算机的配置示例的框图。 具体实施方式 。
19、0043 下面, 参照附图详述本发明的优选实施例。注意, 在本申请文件和附图中, 以相同 的附图标记来表示具有基本相同的功能和结构的结构元件, 并且省略了对这些结构元件的 重复说明。 0044 以下, 将说明用于实施本发明的实施例 (以下称作实施例) 。按照如下顺序进行说 明。 0045 1. 第一实施例 (根据重要性的预览屏幕) 0046 2. 第二实施例 (根据重要性的摘要生成) 0047 3. 第三实施例 (计算机) 0048 1. 第一实施例 (根据重要性的预览屏幕) 0049 本发明的信息处理装置的构造 0050 图 1 示出了应用本发明的信息处理装置的构造例。 0051 图 1 所。
20、示的信息处理装置 11 在用于预览内容的屏幕中沿着时间线显示通过诸如 图像识别、 语音识别和字符识别等识别技术从内容中提取的内容的特征量。信息处理装置 11 例如由个人计算机构成。 0052 在图 1 的示例中, 信息处理装置 11 包括内容输入部 21、 内容存档 22、 特征量提取 部23-1至23-3、 内容特征量数据库24、 显示控制部25、 操作输入部26、 显示部27、 特征量提 取部 28 以及检索部 29。 0053 内容输入部 21 从没有图示出的外部等接收内容, 并将所接收的内容提供给特征 量提取部 23-1 至 23-3。此外, 内容输入部 21 将所接收的内容登记在内容。
21、存档 22 中。 0054 内容存档 22 中登记有来自内容输入部 21 的内容。 0055 特征量提取部 23-1 至 23-3 对内容进行图像识别、 语音识别、 字符识别等, 以提取 包括图像特征量、 语音特征量等的多个特征量中的各特征量。 特征量提取部23-1至23-3将 提取的内容的特征量登记在内容特征量数据库 24 中。本文中, 特征量提取部 23-1 至 23-3 包括三个特征量提取部, 但是特征量提取部的数量不限于三个, 而是根据所提取的特征量 的类型 (数量) 而变化。以下, 当不必相互区分时, 将特征量提取部 23-1 至 23-3 称作特征量 说 明 书 CN 103838。
22、808 A 6 4/17 页 7 提取部 23。 0056 内容特征量数据库 24 中登记有由特征量提取部 23 提取的内容的特征量。 0057 显示控制部 25 响应于来自操作输入部 26 的用户指令分别从内容存档 22 和内容 特征量数据库 24 取出将被预览的内容以及该内容的特征量。显示控制部 25 基于被取出的 内容的预览图像和关于该内容的特征量的信息来生成预览屏幕, 并且控制显示部 27 显示 生成的预览屏幕。在显示预览屏幕的过程中, 当通过操作输入部 26(用户通过操作输入部 26 发出指令) 将文本或图像信息输入提供给特征量提取部 28 时, 显示控制部 25 接收响应 于输入的。
23、信息而从检索部 29 提供的检索结果。显示控制部 25 基于检索结果来显示预览屏 幕。 0058 此外, 在显示预览屏幕的过程中, 当因用户指令而通过操作输入部 26 将文本或图 像信息输入提供给特征量提取部 28 时, 显示控制部 25 接收响应于输入的信息而从检索部 29 提供的检索结果。显示控制部 25 基于检索结果来重新显示预览屏幕。在显示预览屏幕 的过程中, 显示控制部 25 基于检索结果和通过操作输入部 26 输入的且由用户选择显示或 不显示的特征量来重新显示预览屏幕。此时, 显示控制部 25 根据用户选择的特征量来判定 各场景的重要性, 并根据所述重要性来重新显示预览屏幕。 00。
24、59 此外, 在显示预览屏幕的过程中, 显示控制部25基于通过操作输入部26对特征量 输入的校正等对内容特征量数据库 24 中登记的信息进行修正和更新等。 0060 操作输入部 26 例如包括鼠标、 层叠在显示部 27 上的触摸面板等。操作输入部 26 将响应于用户操作的信号提供给显示控制部25。 显示部27显示由显示控制部25生成的预 览屏幕。 0061 特征量提取部28提取从显示控制部25提供的且用户为之发出指令的文本或图像 信息的特征量, 并将该特征量提供给检索部 29。检索部 29 针对与来自特征量提取部 28 的 特征量类似的特征量对内容特征量数据库 24 进行检索, 并将检索结果提。
25、供给显示控制部 25。 0062 信息处理装置的操作 0063 接下来, 将参照图 2 的流程图说明信息处理装置 11 的内容输入处理。 0064 在步骤 S11 中, 内容输入部 21 从没有图示出的外部等接收内容。内容输入部 21 将接收到的内容提供给特征量提取部 23-1 至 23-3。 0065 在步骤 S12 中, 特征量提取部 23-1 至 23-3 对来自内容输入部 21 的内容进行图像 识别、 语音识别、 字符识别等, 以提取包括图像特征量、 语音特征量等特征量中的各特征量。 在步骤 S13 中, 特征量提取部 23-1 至 23-3 将提取的内容特征量登记在内容特征量数据库 。
26、24 中。 0066 在步骤 S14 中, 内容输入部 21 将接收的内容登记在内容存档 22 中。 0067 参照图 3 的流程图, 说明通过使用如上所述注册的内容和内容特征量进行的内容 的预览显示处理。 0068 用户对操作输入部 26 进行操作来选择将被预览的内容。通过操作输入部 26 将用 户选择的内容的信息提供至显示控制部 25。 0069 在步骤 S31 中, 显示控制部 25 根据来自操作输入部 26 的信息来选择内容。在步 骤 S32 中, 显示控制部 25 从内容存档 22 获取在步骤 S31 中选择的内容。 说 明 书 CN 103838808 A 7 5/17 页 8 0。
27、070 在步骤 S33 中, 显示控制部 25 从内容特征量数据库 24 获取在步骤 S31 中选择的 内容的特征量。 0071 在步骤 S34 中, 显示控制部 25 显示预览屏幕。换言之, 显示控制部 25 基于获取的 内容和获取的内容的特征量生成预览屏幕并控制显示部 27 显示生成的预览屏幕 (稍后将 要说明的图 5 中所示的预览屏幕 51) , 在所述预览屏幕中, 沿着时间线显示关于各种特征量 的信息。这里, 沿着时间线显示的不仅是特征量信息, 还有与特征量有关的信息。与特征量 有关的信息包括特征量信息、 使用特征量获得的信息或使用特征量检索到的结果。 0072 在步骤 S35 中, 。
28、显示控制部 25 进行预览屏幕的重新显示处理。在稍后将参照图 4 说明的所述预览屏幕的重新显示处理中, 在步骤 S35 的处理中, 在显示部 27 上显示预览屏 幕 (稍后将要说明的图6中所示的预览屏幕51) , 该预览屏幕响应于从操作输入部26提供的 用户指令已被更新。 0073 在步骤 S36 中, 显示控制部 25 判定预览屏幕的显示是否终止。在步骤 S36 中, 如 果用户凭借操作输入部 26 发出用于终止的指令, 则判定预览屏幕的显示终止, 并终止预览 屏幕的显示。 0074 另一方面, 在步骤 S36 中, 如果判定预览屏幕的显示未终止, 则处理返回至步骤 S35 并重复步骤 S3。
29、5 及接下来的步骤。 0075 接下来, 将参照图 4 的流程图说明图 3 的步骤 S35 中的预览屏幕的重新显示处理。 0076 在步骤S51中, 显示控制部25判定是否通过操作输入部26输入了待检索文本。 如 果在步骤S51中判定输入了待检索文本, 则显示控制部25将输入的待检索文本的信息提供 给特征量提取部 28, 处理前进至步骤 S52。 0077 在步骤 S52 中, 特征量提取部 28 和检索部 29 通过语音和 OCR 进行检索。即, 在此 情况下, 特征量提取部 28 将来自显示控制部 25 的待检索文本原样提供给检索部 29。检索 部 29 针对待检索文本对内容特征量数据库 。
30、24 进行语音检索或字符识别结果检索, 并将检 索结果提供给显示控制部 25。然后, 处理前进至步骤 S56。 0078 如果在步骤 S51 中判定未输入待检索文本, 则处理前进至步骤 S53。在步骤 S53 中, 显示控制部 25 判定是否凭借操作输入部 26 输入待检索图像。如果在步骤 S53 中判定 输入了待检索图像, 则显示控制部 25 将输入的待检索图像的信息提供给特征量提取部 28, 处理前进至步骤 S54。 0079 在步骤 S54 中, 特征量提取部 28 和检索部 29 检索类似的图像。换言之, 在此情况 下, 特征量提取部28提取从显示控制部25提供的待检索图像的特征量, 。
31、并将提取的待检索 图像的特征量提供给检索部 29。检索部 29 使用待检索图像的特征量针对类似的图像检索 内容特征量数据库 24, 并将检索结果提供给显示控制部 25。然后, 处理前进至步骤 S56。 0080 如果在步骤 S53 中判定未输入待检索图像, 则处理前进至步骤 S55。在步骤 S55 中, 显示控制部 25 判定是否凭借操作输入部 26 选择了显示特征量。 0081 可由用户选择显示还是不显示将在预览屏幕中沿着时间线显示的特征量 (与特征 量有关的信息) 。如果用户选择显示各特征量中的至少一者, 则在步骤 S55 中判定选择显示 特征量, 处理前进至步骤 S56。 0082 在步。
32、骤 S56 中, 显示控制部 25 重新显示预览屏幕。换言之, 在步骤 S52 之后, 在步 骤 S56 中, 在将待检索文本的检索结果添加至将要沿时间线显示的特征量 (与特征量有关 说 明 书 CN 103838808 A 8 6/17 页 9 的信息) 的状态下, 重新显示预览屏幕。此外, 在步骤 S54 之后, 在步骤 S56 中, 在将待检索 图像的检索结果添加至将要沿时间线显示的特征量的状态下, 重新显示预览屏幕。 此外, 在 步骤S55之后, 在步骤S56中, 在根据用户的选择显示或不显示将要沿时间线显示的特征量 的状态下, 重新显示预览屏幕。此后, 处理返回至图 3 的步骤 S3。
33、5。 0083 如果在步骤 S55 中判定未选择显示特征量, 则预览屏幕的重新显示处理终止, 并 且处理返回至图 3 中的步骤 S35。 0084 预览屏幕的示例 0085 图 5 示出了预览屏幕的示例。 0086 图 5 的示例例如示出了在图 3 的步骤 S34 等中说明的预览屏幕 51。 0087 预览屏幕 51 包括 : 预览显示部 61, 在其中能够对内容的动态图像进行预览 ; 和时 间线显示部 62, 其位于预览显示部 61 的下方并且通过选择左上方标签而被显示。 0088 预览显示部61响应于对设置在预览显示部61正下方的操作按钮 (再现按钮、 快进 按钮、 速退按钮、 停止按钮等。
34、) 的用户操作, 再现并预览内容的动态图像。预览显示部 61 显 示用于在所显示的内容中选择面部的框 71, 所述面部在后述的面部图像显示部 85 中经过 面部识别。 0089 时间线显示部 62 沿着时间线显示与由图 1 中的特征量提取部 23-1 至 23-3 提取 的多个特征量相关的信息。而且, 在时间线上设置有线 63, 线 63 表示当前在预览显示部 61 中显示的图像 (帧) 的位置, 用户能够通过查看线 63 来掌握内容在时间线上的再现位置。 0090 此外, 在时间线显示部62右侧显示的是特征量列表64, 特征量列表64使得能够对 时间线显示部 62 上的显示或不显示进行选择。。
35、用户能够在布置于该列表左侧的框中打勾 或不打勾以选择显示或不显示与特征量有关的信息并且仅显示与期望的特征量有关的信 息。 0091 注意, 在图5的示例中, 仅特征量列表64中的从上数第四个框 “相关性” 未被选中。 即, 图 5 的时间线显示部 62 不显示通过选中 “相关性” 而被显示的重要性显示部 91(后述 的图 6) 。 0092 此外, 摘要生成显示部65实际上设置在与时间线显示部62相同的位置处, 但在图 5 的示例中未图示。通过选择设置在摘要生成显示部 65 和时间线显示部 62 的左上方的标 签, 可显示摘要生成显示部 65 以替代时间线显示部 62。 0093 能够显示稍后。
36、将参照图14详细说明的摘要生成显示部65以使得生成摘要动态图 像等。 0094 时间线显示部 62 从顶部开始依次包括场景变化图像显示部 81、 语音波形显示部 82、 文本检索结果显示部 83、 图像检索结果显示部 84、 面部图像显示部 85、 对象图像显示部 86、 人物语音区域显示部87以及相机动作信息显示部88。 这些显示部均是用于显示与特征 量有关的信息的显示部。 0095 通过勾选特征量列表 64 中的 “缩略图 (Thumbnail) ” 以在时间线显示部 62 中显示 场景变化图像显示部 81。在场景变化图像显示部 81 中, 在时间线上显示通过场景变化得 到的各场景的头帧图。
37、像的缩略图图像作为一个特征量。注意, 下文中将场景头图像 (scene head image) 称作场景变化图像。 0096 通过勾选特征量列表 64 中的 “波形 (Wave form) ” 以在时间线显示部 62 中显示语 说 明 书 CN 103838808 A 9 7/17 页 10 音波形显示部82。 在语音波形显示部82中, 在时间线上显示内容的语音波形作为一个特征 量。 0097 通过勾选特征量列表 64 中的 “关键词识别 (Keyword Spotting) ” 以在时间线显示 部 62 中显示文本检索结果显示部 83。在文本检索结果显示部 83 中, 被显示的是基于根据 语。
38、音识别或字符识别的特征量针对用户通过操作操作输入部26输入的文本 (在图5的示例 的情况下的 “总统 (president) ” ) 而检索内容特征量数据库 24 的结果。 0098 通过勾选特征量列表64中的 “图像识别 (Image Spotting) ” 以在时间线显示部62 中显示图像检索结果显示部84。 在图像检索结果显示部84中, 被显示的是基于根据图像识 别的特征量针对与用户通过操作操作输入部 26 所选择的图像类似的场景而检索内容特征 量数据库 24 的结果 (的缩略图图像) 。 0099 通过勾选特征量列表 64 中的 “面部 (Face) ” 以在时间线显示部 62 中显示。
39、面部图 像显示部 85。在面部图像显示部 85 中, 被显示的是来自内容特征量数据库 24 的与根据面 部识别的特征量类似的特征量 (的缩略图图像) , 该特征量是通过识别由预览显示部61中的 框 71 选择的面部而获得的。 0100 通过勾选特征量列表 64 中的 “国会山 (Capitol Hill) ” 以在时间线显示部 62 中 显示对象图像显示部 86。本文中, 在图 5 的示例中,“国会山” 是对象的示例, 但对象不限于 “国会山” 且可由用户指定。在对象图像显示部 86 中, 被显示的是基于根据对用户指定的对 象 (在图 5 的情况下的 “国会山” ) 的识别的特征量检索内容特征。
40、量数据库 24 的结果 (的缩 略图图像) 。 0101 注意, 示出了分别显示面部图像和对象图像的示例, 但面部也是对象之一。 面部图 像显示部85和对象图像显示部86中显示的图像可以是通过对来自原始图像的提取对象进 行剪辑而获得的图像 (缩略图图像) 。 0102 通过勾选特征量列表 64 中的 “人物语音 (Human Voice) ” 以在时间线显示部 62 中 显示人物语音区域显示部 87。在人物语音区域显示部 87 中, 被显示的是通过根据语音识 别的特征量而得到的人物语音区域或音乐区域等。这里, 如图 5 所示, 人物语音区域显示部 87 不仅可显示人讲话的区域, 还可显示根据讲。
41、话者的性别或年龄的标记。 0103 通过勾选特征量列表 64 中的 “相机动作 (Camera Motion) ” 以在时间线显示部 62 中显示相机动作信息显示部88。 在相机动作信息显示部88中, 被显示的是具有诸如水平摇 摄、 俯仰拍摄或变焦等相机和相机镜头的动作信息 (以下, 称作相机动作信息) 的区域, 所述 动作信息是根据相机动作识别的特征信息。作为相机动作信息, 还可使用感测在拍摄内容 时的相机动作等的传感器的信息。 0104 在预览屏幕 51 中, 沿着时间线显示能够从内容中提取的诸如作为示例的上述特 征量的各种特征量和使用这些特征量获得的信息。 0105 然而, 在上述预览屏。
42、幕 51 中, 在图 5 中的场景变化图像显示部 81、 面部图像显示 部 85 和对象图像显示部 86 中显示的缩略图图像根据内容的长度、 场景变化的数量或检测 的对象的数量而互不相同。这使得难以核查每个图像, 从而导致难以掌握内容的实体。 0106 因此, 在本发明中, 在场景变化图像显示部 81、 面部图像显示部 85 和对象图像显 示部 86 中沿时间线显示的包括缩略图图像的图像是根据用户选择的特征量而有效地显示 的。 说 明 书 CN 103838808 A 10 8/17 页 11 0107 在本发明中, 例如, 根据用户选择的特征量, 通过改变尺寸以及前后位置关系等来 有效地显示。
43、沿着时间线显示的图像。 0108 用户在特征量列表 64 中选择的特征量是被判断为在掌握内容的实体中对于用户 重要的特征量。 例如, 如果显示有人的图片是重要的, 则通过面部检测获得的人出现的场景 是重要的 ; 如果说出特定词语的场景是重要的, 则通过语音识别中的文本检索而提取的场 景是重要的。 0109 因此, 显示控制部 25 判定与用户选择的特征量相对应的场景是重要场景, 并且与 越多特征量相对应的场景是越重要的场景, 以此来判定每个场景的重要性。 0110 这里, 此时, 可对每个特征量进行重要性加权, 且可显示用于操作每个特征量的加 权的滑块, 以使得用户能够任意操作加权来判定重要性。
44、。 0111 在如图 6 中所示的时间线显示部 62 中显示了如上所述判定的重要性。 0112 图 6 示出了预览屏幕的另一示例。在图 6 的示例中, 在时间线显示部 62 中, 与图 5 的时间线显示部 62 的不同之处在于 : 在语音波形显示部 82 与文本检索结果显示部 83 之 间新设置了重要性显示部 91。 0113 这里, 图 6 中的时间线显示部 62 除上述部分以外的其它部分与图 5 中的时间线显 示部 62 基本相同。 0114 通过勾选特征量列表 64 中的 “相关性” 以在时间线显示部 62 中显示重要性显示 部 91。重要性显示部 91 显示通过以下处理所获得的重要性,。
45、 所述处理即 : 判定与用户在特 征量列表 64 中选择的特征量相对应的场景是重要场景, 并且判定与越多特征量相对应的 场景是越重要的场景, 以确定每个场景的重要性。这里, 将重要性分为三个级别, 并且重要 性 3 表示最高重要性。 0115 例如, 重要性显示部 91 以如下方式显示对每个场景判定的重要性, 所述方式即, 实心黑色区域是最重要 (重要性 3) 场景, 接下来, 细阴影线区域是重要性 2 的场景, 斜阴影 线区域是重要性 1 的场景。 0116 然后, 显示控制部 25 利用这种重要性来改变场景变化图像显示部 81、 面部图像显 示部 85 或对象图像显示部 86 中的与特征量。
46、有关的信息的显示。换言之, 在场景变化图像 显示部 81、 面部图像显示部 85 或对象图像显示部 86 中, 通过利用这种重要性, 越重要的场 景的图像被显示得更大和 / 或被显示在越前面。 0117 接下来, 将参照图 7 说明在场景变化图像显示部 81 中对重要性的利用。在图 7 中 的示例中, 在场景变化图像显示部 81 中从左侧开始显示有缩略图图像 101 至缩略图图像 108。 0118 图 7 的 A 示出了在不考虑重要性的情况下的场景变化图像显示部 81。换言之, 在 图 7 的 A 的场景变化图像显示部 81 中, 以相同的尺寸以及沿着时间线的前后关系显示任何 场景变化的缩略。
47、图图像。即, 作为按照时间顺序的第一个缩略图图像的缩略图图像 101 布 置在最后面, 作为按照时间顺序的最后一个缩略图图像的缩略图图像 108 布置在最前面。 0119 图7的B示出了在放大了重要场景的缩略图图像的情况下的场景变化图像显示部 81。换言之, 在图 7 的 B 的场景变化图像显示部 81 中, 最重要场景的缩略图图像 103 被显 示得尺寸比其它缩略图图像大。重要场景的缩略图图像 101、 106 被显示得尺寸仅次于缩略 图图像103。 此外, 次重要场景的缩略图图像102、 104、 107被显示得尺寸大于不重要场景的 说 明 书 CN 103838808 A 11 9/17。
48、 页 12 缩略图图像 105、 108。 0120 图 7 的 C 示出了从图 7 的 B 中的显示变化来的, 在垂直居中地显示各个缩略图图 像 101 至 108 的情况下的的场景变化图像显示部 81。 0121 图 8 的 D 示出了从图 7 的 C 中的显示变化来的, 在将越重要的场景的缩略图图像 显示在越前面的情况下的场景变化图像显示部 81。换言之, 在图 8 的 D 的场景变化图像显 示部 81 中, 在最前面显示最重要场景的缩略图图像 103, 在次前面显示重要场景的缩略图 图像 101、 106。此外, 在再次前面显示次重要场景的缩略图图像 102、 104、 107, 在最。
49、后面显 示不重要场景的缩略图图像 105、 108。然而, 实际上隐藏了缩略图图像 102、 104、 105。 0122 图 8 的 E 示出了从图 8 的 D 的显示变化来的, 在根据重要性错开图像的上端来显 示从而不会完全隐藏任何缩略图图像的情况下的场景变化图像显示部 81。 0123 换言之, 在图 8 的 E 的场景变化图像显示部 81 中, 以这样的方式显示各个缩略图 图像 : 在图 8 的 D 的情况下被隐藏的缩略图图像 102、 104、 105 存在于缩略图图像 101、 103、 106 的后面。 0124 这里, 图 8 的 E 的示例示出了通过错开上端来显示的示例, 而类似地, 也可错开并 显示下端。 0125 类似于图8的D中的显示, 图8的。