《物体学习机器人和方法.pdf》由会员分享，可在线阅读，更多相关《物体学习机器人和方法.pdf（14页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102414696 A (43)申请公布日 2012.04.11 CN 102414696 A *CN102414696A* (21)申请号 201080017775.X (22)申请日 2010.04.13 09158605.7 2009.04.23 EP G06K 9/00(2006.01) G06K 9/20(2006.01) G06K 9/32(2006.01) (71)申请人 皇家飞利浦电子股份有限公司 地址 荷兰艾恩德霍芬 (72)发明人 B. T. 弗哈尔 H. 布罗尔斯 (74)专利代理机构 中国专利代理(香港)有限公 司 72001 代理人 李静岚 。
2、刘鹏 (54) 发明名称 物体学习机器人和方法 (57) 摘要 本发明涉及一种物体学习机器人以及相应的 方法。机器人包括 ： 夹子 （14） ， 其用于把要被学习 的物体 （11） 握到该机器人 （10） ； 光学系统 （16） ， 其具有用于将物体 （11） 引导至该机器人 （10） 并 且用于观察夹子 （14） 和被夹子 （14） 握住的物体 （11） 的视场 ； 输入设备 （26） ， 其用于向该机器人 （10）提供要被学习的物体的物体特性 ； 控制器 （24） ， 其用于根据预定移动模式来控制夹子 （14） 的运动 ； 以及图像处理装置 （28） ， 其用于分析从 光学系统 （16） 。
3、获得的图像数据从而识别与物体 特性相关联的物体 （11） 。这使得机器人即使在没 有用于学习的离线时期的情况下也能够在动态环 境中学习新物体的特性。 (30)优先权数据 (85)PCT申请进入国家阶段日 2011.10.21 (86)PCT申请的申请数据 PCT/IB2010/051583 2010.04.13 (87)PCT申请的公布数据 WO2010/122445 EN 2010.10.28 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 7 页 附图 4 页 CN 102414710 A1/2 页 2 1. 一种物体学习机器。
4、人 （10） ， 其包括 夹子 （14） ， 其用于把要被学习的物体 （11） 握到该机器人 （10） ； 光学系统 （16） ， 其具有用于将物体 （11） 引导至该机器人 （10） 并且用于观察夹子 （14） 和被夹子 （14） 握住的物体 （11） 的视场 ； 输入设备 （26） ， 其用于向该机器人 （10） 提供要被学习的物体 （11） 的物体特性 ； 控制器 （24） ， 其用于根据预定移动模式来控制夹子 （14） 的运动 ； 以及 图像处理装置 （28） ， 其用于分析从光学系统 （16） 获得的图像数据从而识别与物体特 性相关联的物体 （11） 。 2. 根据权利要求 1 的机。
5、器人， 其中图像处理装置 （28） 被适配成用于辨识物体在视场 中的规则的或摆动的运动， 通过该视场将物体 （11） 引导至机器人 （10） 。 3. 根据权利要求 1 的机器人， 其中光学系统 （16） 被安装在机器人臂 （22） 上。 4. 根据权利要求 1 的机器人， 其中光学系统 （16） 包括两个或更多摄像机 （17、 18） 。 5. 根据权利要求 1 的机器人， 其中光学系统 （16） 提供包括固定像素、 移动像素、 已知 像素和未知像素的整体图像。 6. 根据权利要求 1 的机器人， 其中控制器 （24） 被适配成根据预定移动模式来指引夹 子 （14） 和要被机器人 （10） 。
6、学习的物体 （11） 的移动。 7. 根据权利要求 1 的机器人， 其中图像处理装置 （28） 被适配成监视夹子 （14） 的位置 和移动。 8. 根据权利要求 1 的机器人， 其中图像处理装置 （28） 被适配成确定要被学习的物体 的形状、 颜色和 / 或质地。 9. 根据权利要求 5 的机器人， 其中来自光学系统 （16） 的整体图像包括属于夹子 （14） 的像素， 并且其中图像处理装置 （28） 被适配成从整体图像中减去属于夹子 （14） 的像素以 建立剩余图像。 10. 根据权利要求 9 的机器人， 其中图像处理装置 （28） 被适配成分析包括物体像素和 背景像素的剩余图像。 11. 。
7、根据权利要求 10 的机器人， 其中图像处理装置 （28） 被适配成检测背景像素。 12. 根据权利要求 10 的机器人， 其中图像处理装置 （28） 被适配成根据预定移动模式 来检测物体像素。 13. 根据权利要求 12 的机器人， 其中图像处理装置 （28） 被适配成根据物体像素来识 别要被学习的物体。 14. 根据权利要求 1 的机器人， 还包括教导界面， 其被适配成监视并存储机器人臂 （22） 的多个移动。 15. 一种用于物体学习机器人 （10） 的方法， 该方法包括步骤 ： 将要被学习的物体 （11） 引导在机器人 （10） 的光学系统 （16） 的视场中以便向该机器人 （10） 。
8、表示要学习该物体 ； 利用机器人 （10） 的输入设备 （26） 向机器人 （10） 提供与要被学习的物体对应的物体特 性 ； 在机器人 （10） 的夹子 （14） 中握住要被学习的物体 ； 根据预定移动模式来控制夹子 （14） 和要被学习的物体的运动 ； 以及 权 利 要 求 书 CN 102414696 A CN 102414710 A2/2 页 3 分析从光学系统 （16） 获得的图像数据从而识别与物体特性相关联的物体 （11） 。 权 利 要 求 书 CN 102414696 A CN 102414710 A1/7 页 4 物体学习机器人和方法 技术领域 0001 本发明涉及一种物体学。
9、习机器人以及相应的方法。 背景技术 0002 物体辨识是一个在视觉研究中被广泛研习的主题。 进行物体辨识的方法包括呈现 出一个物体的多个图像， 从而使得算法能够学习区别特征。这通常是 “离线” 进行的， 即之 前已经进行了图像的呈现， 并且在使用期间没有适配或 “学习” 。 0003 厨房辅助机器人臂可以从 / 向架子、 碗橱、 电冰箱、 烤箱、 操作台面、 洗碗机等拾取 和放置物体。此外， 这种机器人臂可以清洁工作台面、 切菜、 清洗盘子、 准备新鲜饮料等。然 而， 现有的机器人具有影响其有用性的许多限制。 0004 现有的机器人物体学习系统包括向该机器人呈现出一个物体的多个图像， 从而使 。
10、得操作该机器人的算法能够学习在各个图像中物体的区别特征。 这个过程通常是在机器人 离线时完成的， 即， 在该机器人没有在运行或者没有被用于其他任务时完成的。 0005 JP 2005-148851 A 公开了一种用于学习物体的机器人设备和方法， 其公开了操作 的物体学习阶段和物体辨识阶段两者。此外， 该文献还公开了机器人需要与用户对话并且 公开了为了这种对话而提供的语音输出装置。 发明内容 0006 本发明的一个目的在于提供一种在动态环境下学习新物体的特性的物体学习机 器人以及相应的方法， 而不需要用于学习的离线时期。 0007 本发明的另一个目的在于提供一种在将物体示出给机器人时允许该机器人。
11、学习 该物体的物体学习机器人以及相应的方法。 0008 在本发明的第一方面中， 提出一种物体学习机器人， 其包括 夹子， 其用于把要被学习的物体握到该机器人 ； 光学系统， 其具有用于将物体引导至该机器人并且用于观察夹子和被夹子握住的物体 的视场 ； 输入设备， 其用于向该机器人提供要被学习的物体的物体特性 ； 控制器， 其用于根据预定移动模式来控制夹子的运动 ； 以及 图像处理装置， 其用于分析从光学系统获得的图像数据从而识别与物体特性相关联的 物体。 0009 在本发明的另一个方面中， 提出一种用于物体学习机器人的方法， 该方法包括步 骤 ： 将要被学习的物体引导在机器人的光学系统的视场中。
12、以便向该机器人表示要学习该 物体 ； 利用机器人的输入设备向机器人 （10） 提供与要被学习的物体对应的物体特性 ； 在机器人的夹子中握住要被学习的物体 ； 说 明 书 CN 102414696 A CN 102414710 A2/7 页 5 根据预定移动模式来控制夹子和要被学习的物体的运动 ； 以及 分析从光学系统获得的图像数据从而识别与物体特性相关联的物体。 0010 本发明的设备和方法提供了这样的优点， 即， 在没有等待或启动离线教育时期的 情况下遇见新物体时可以教导机器人这些新物体的特性。另外， 具有这样一种用于向物体 学习机器人教导新物体的物体学习机器人以及相应方法是有利的， 即， 。
13、其允许在机器人运 行并且不打断正常工作流程的同时向机器人教导新物体。 此外， 本发明提供了这样的优点， 即， 向物体学习机器人教导新物体不需要机器人口头地启动学习过程， 而是由机器人的操 作者通过以规则的或摆动的方式在机器人的视场中呈现要被学习的物体来启动学习过程。 因此， 例如通知机器人在运行中 （on-the-fly） 开始学习过程的简单的非口头信号足够用于 启动学习阶段。这可以在任何时间进行而不必进行安排。 0011 此外， 物体学习机器人和方法包括指引夹子和要被学习的物体的预定移动模式的 控制器以便能够快速地确定要被学习的物体的视觉特征是有利的。 0012 为了通过向物体学习机器人呈现。
14、物体而执行在线学习， 机器人 “可以被告知” 哪些 物体是要被辨识的物体的示例是必要的。因此， 具有这样一种物体学习机器人以及相应的 方法也是有利的， 即， 其允许在运行中识别要被学习的物体， 从而使得机器人能够知道在其 上集中了其注意力的感兴趣物体的名称或特性。 0013 所公开的机器人和方法可以被在线或离线使用， 但是提供了现有技术所未知的创 造性特征。 机器人和方法并不是简单地比较两个静态图像， 而是比较一系列图像 （比如来自 光学系统的活动影像 （view） ） 。这种布置提供了几个优点 ： 物体分割为一系列图像， 以便从 多个视角来观看感兴趣的物体以得到其特征的更完整、 全面的影像 。
15、； 更高的可靠性， 对于物 体教导期间的变化的照明状况更加不敏感且不对其依赖 ； 更快的方法， 其无需之前 / 之后 的比较， 这是因为可以使用来自全部图像的信息 ； 没有从机器人到用户的语音命令， 用户只 需将物体递给机器人 ； 并因此该方法也更加直观。 0014 根据一个实施例， 夹子安装在机器人的臂上。这提供了可以使得臂和夹子的运动 范围与人的运动范围相类似的优点。 这简化了需要在具有和操作机器人中所进行的适应性 调节。 0015 根据另一个实施例， 光学系统安装在机器人的臂上。这提供了这样的优点， 即， 依 赖于摄像机在臂上的精确放置， 臂的运动与摄像机的运动将是相似的或者甚至是一致的。
16、。 这简化了与对下列事物进行识别有关的算法 ： 夹子、 夹子中的要被学习的物体以及在机器 人的学习期间无关紧要的背景信息。更具体而言， 当图像序列 （例如， 用于识别与物体特性 相关联的物体的从光学系统获得的图像数据） 随着时间被整合时， 背景会变得模糊或不清 楚， 而感兴趣的物体 （或许还有机器人臂自身） 不会变得模糊。可替换地， 由于包括夹子的臂 的顺应性或其他机械不完整性， 任何模糊会很小。 0016 根据又一个实施例， 光学系统包括两个或更多摄像机， 优选地将摄像机安装在机 器人臂上。 这提供了向算法提供关于要被学习的物体多个方面和细节的详细三维信息的立 体图像的优点。 0017 根据。
17、一个另外的实施例， 图像处理装置被适配成用于辨识物体在视场中的规则的 或摆动的运动， 通过该视场将物体引导至机器人的光学系统。 以此方式， 机器人可以被告知 开始学习阶段。 说 明 书 CN 102414696 A CN 102414710 A3/7 页 6 0018 根据另一个实施例， 光学系统提供包括固定像素、 移动像素、 已知像素和未知像素 的整体图像。有利地， 将关于夹子及其方向以及夹子中的要被学习的物体和背景图像的信 息提供给机器人。从而可以分别地识别并处理图像的每个部分。这提供了可以快速并有效 地执行图像分割的优点。也就是说， 容易地识别感兴趣的区域 / 物体以及属于该感兴趣的 区。
18、域 / 物体的像素。以直观、 优雅并稳健的方式解决了分割问题， 并且作为附带的优点， 根 据抓取方法、 物体的顺应性等可以学习关于物体的另外的信息。 0019 根据另一个实施例， 图像处理装置被适配成根据预定移动模式指引夹子和要被机 器人学习的物体的移动。预定移动模式包括已知的移动和操纵模式 （例如平移和旋转） ， 并 且提供对要被学习的物体、 夹子和背景图像信息彼此进行区分的手段。 0020 根据另一个实施例， 图像处理装置被适配成监视夹子的位置和移动。 因此， 因为在 整体图像中看见了 （具有已知形式 / 图像的） 夹子， 所以可以确定夹子的位置和移动。 0021 根据又一个实施例， 图像。
19、处理装置被适配成确定要被学习的物体的形状、 颜色和 / 或质地。控制器指引夹子和被夹子握住的要被学习的物体的移动。从而， 图像处理装置能 够确定夹子中的要被学习的物体的各种参数和特征， 这是因为能够得知整体图像的哪些部 分是夹子并因此能够相应地消除那些部分， 以便能够感测并测量要被学习的物体。 0022 根据另一个实施例， 来自光学系统的整体图像包括属于夹子的像素。控制器指引 夹子的移动， 并且根据该指引的移动而得知夹子的位置和方向。 因此， 能够知道整体图像中 的哪些像素与夹子相关联。 从而容易地从整体图像识别并忽略或移除并不是要被学习的物 体的夹子， 以便在整体图像中保留更少量的不相关信息。
20、。 0023 根据又一个实施例， 图像处理装置被适配成从整体图像中减去属于夹子的像素以 建立剩余图像。这提供了在随后的分析中处理和识别更少量的像素的优点。以此方式， 夹 子的视觉特征没有与感兴趣的物体相关联。 0024 根据另一个实施例， 图像处理装置被适配成检测包括物体像素和背景像素的剩余 图像。在图像中仅剩余两组像素显著地减少了识别要被学习的物体所需的处理量。 0025 根据随后的实施例， 图像处理装置被适配成检测背景像素。因为控制器指引夹子 和夹子中的要被学习的物体的移动， 所以图像处理装置从整体图像中移除夹子， 从而只有 剩余图像仅包括要被学习的物体和背景。 要被学习的物体展示出与由控。
21、制器指引的预定移 动模式相关联的移动模式。 背景是固定的或者没有展示出根据控制器的或与臂的预定运动 相关的运动。因此， 容易地从剩余图像识别并移除背景像素， 其仅留下要被学习的物体。 0026 根据又一个实施例， 图像处理装置被适配成根据预定移动模式来检测物体像素。 因为控制器指引夹子和夹子中的要被学习的物体的移动， 所以图像处理装置能够从整体图 像移除夹子， 从而只有剩余图像仅包括要被学习的物体和背景。要被学习的物体展示出与 预定移动模式相关联的移动模式。背景是固定的或者没有展示出根据预定移动模式的运 动。因此， 展示出根据预定移动模式的运动的像素被识别为属于夹子中的物体并因此属于 要被学习。
22、的物体。 0027 根据另一个实施例， 图像处理装置被适配成根据物体像素来识别要被学习的物 体。通过对物体像素的识别来实现对物体的识别， 当该物体被夹子握住时该物体根据预定 移动模式而移动。这样学习的物体随时可被合并入机器人的数据库， 其中机器人随时可提 供关于该物体的辅助。 说 明 书 CN 102414696 A CN 102414710 A4/7 页 7 0028 根据又一个实施例， 机器人包括教导界面， 其被适配成监视并存储机器人臂的多 个移动。从而， 用户可以 （例如通过使用远程 / 触觉界面） 控制机器人拾取物体， 或者用户可 以通过臂来抓住机器人并直接对其进行指导， 以教导机器人。
23、如何拾取或抓取特定的感兴趣 的物体。可以与对物体的识别相关联地合并并存储抓取方法， 以便使得随后遇见该物体简 化并更有效率 （streamline） 。这促进了机器人半自动执行任务， 并使其更加有帮助。 附图说明 0029 通过参考在下文中描述的各实施例， 本发明的这些和其他方面将得以呈现并被说 明。在下列附图中 ： 图 1 示例说明了根据本发明的一个实施例的物体学习机器人， 图 2 示例说明了根据本发明的一个实施例的用于针对机器人的物体学习的方法， 图 3 示例说明了根据本发明的一个实施例的物体学习方法的更多细节， 以及 图 4 示例说明了示出整体像素、 背景像素以及包括夹子像素和物体像素的。
24、相干像素的 可能的影像的示图。 具体实施方式 0030 图 1 示出了物体学习机器人 10 的布置。机器人 10 包括夹子 14、 光学系统 16、 输 入设备 26、 控制器 24 和图像处理装置 28。夹子 14 允许机器人 10 接受、 握住并操纵要被学 习的物体 11。光学系统 16 包括用于观察夹子 14 和任何要被学习的物体 11 的视场。输入 设备 26 与控制器 24 通信并允许用户向机器人 10 识别要被学习的物体 11。用于提供物体 的特性的输入设备26可以是音频设备 （例如麦克风） 或者可以是键盘、 触摸板或其他用于向 机器人 10 识别物体的设备。用户可以利用输入设备 。
25、26 （例如远程 / 触觉界面） 控制机器人 10 拾取物体。可替换地， 终端用户可以通过臂或夹子 14 来拿着机器人 10 并直接对其进行 指导， 或者可以通过连接至臂 22/ 夹子 14 的教导界面 21 来指引机器人 10。其中， 用户可以 教导机器人 10 抓取或者处理特定的感兴趣物体的特定方式。这给出了另外的优点， 即， 机 器人 10 可以将抓取方法与感兴趣的物体相关联。 0031 控制器 24 与夹子 14、 光学系统 16、 输入设备 26 和图像处理装置 28 通信。控制器 24 被用于根据预定移动模式 （例如平移和旋转） 在光学系统 16 的视场中指引夹子 14。图像 处理。
26、装置 28 随后分析由光学系统 16 获取并从其接收的图像数据， 以便学习物体并将物体 与物体的特性相关联。 0032 控制器24可以包括算法20， 其用于指引夹子14和在夹子14中握住的物体的预定 运动。然而， 可以使用其他硬件和软件布置来实现控制器 24。类似地， 图像处理装置 28 可 以在 （例如微处理器上的） 软件、 或者硬件、 或者两者的混合中实现。 0033 机器人 10 可以具有特定任务 （即， 厨房辅助或家庭清洁） ， 并可以根据该目的具有 各种附加物或能力。夹子 14 可以被安装在机器人臂 22 上。这种布置为机器人 10 在完成 其指定任务方面提供了较宽的运动范围和影响。。
27、该布置还与人的手臂和手的布置相类似， 并因此可以更易于用户涉及或适应。机器人的另外的应用可以包括 （但不限于） 人机工程 学、 距离、 安全、 为老年人和残疾人给予帮助、 以及远距离操作的机器人学。 0034 光学系统 16 可以被安装在臂 22 上， 并可以进一步包括一个或多个摄像机 17、 18， 说 明 书 CN 102414696 A CN 102414710 A5/7 页 8 其可以被安装在臂 22 上或安装在机器人 10 的其他位置上。单个摄像机 17 可以提供关于 夹子 14 的位置以及要被学习的物体的位置的有用信息， 其中采用控制器 24 和图像处理装 置 28 来观察、 分析。
28、并学习要被学习的物体 11。同时采用两个或更多摄像机 17、 18（如图 1 和图 3 所示） ， 提供给控制器 24 的夹子 14 和要被学习的物体 11 的立体或三维图像关于要 被学习的物体 11 会更加高度详细并且信息丰富。此外， 使得光学系统 16 安装到臂 22 提供 了这样的优点， 即， 在光学系统 16 与要被学习的物体 11 之间具有更少可能的运动变化， 控 制器 24 与图像处理装置 28 将需要对这些运动变化进行计算和调整。与头部安装的光学系 统相比， 这种布置由于其简单性而有利， 并且由于控制器24和图像处理装置28更加简单的 需求， 因此使得对于夹子 14 和要被学习的。
29、物体 11 的观察更加迅速。光学系统 16 的摄像机 17、 18 可以是可移动的 （手动地或者由控制器 24 来指引） ， 以适应各种臂位置和物体尺寸。 0035 图 2 示出了用于物体学习机器人的方法。图 3 示出了物体学习机器人 10 与相应 的方法的集成， 该方法包括在步骤 30 中， 将要被学习的物体 11 引导在机器人 10 的光学系 统16的视场中以向该机器人10表示要学习该物体11。 可以利用规则的或摆动的运动来向 机器人 10 引导物体 11。接下来， 步骤 32， 利用机器人 10 的输入设备 26 向机器人 10 提供 与物体 11 对应的物体特性。这个步骤可以通过向机器。
30、人 10 口头陈述物体的名称来实现， 或者通过经由机器人 10 上的或与之通信的键盘或其他输入设备输入该物体的代码或名称 来实现。用于物体学习的方法还包括， 步骤 34， 在机器人 10 的夹子 14 中接受并握住物体。 此时， 机器人10接管学习过程， 例如通过在步骤30中以规则的或摆动的方式在机器人的视 场中移动物体并在步骤 32 中向机器人 10 识别该物体而已经进行了通知来开始学习过程。 当然， 也可以以其他方式来通知学习阶段的开始， 例如通过经由输入设备 26 给出相应的命 令。 0036 接下来， 步骤 36， 机器人 10 根据依照控制器 24（其与夹子 14 通信） 的预定移动。
31、模 式来控制夹子 14 和物体 11 的运动。控制器 24 指引夹子 14 和物体 11 的计划的或预定的 移动模式以便尽可能多地有效地观看物体。这使得对物体 11 的详细分析成为可能。接下 来， 步骤 38， 机器人 10 的光学系统 16 观察物体以建立整体图像 PO。光学系统 16 观看夹子 14 和被夹子 14 握住的物体 11。最后， 步骤 40， 图像处理装置 28 分析物体 11 的整体图像 PO 以便与之前提供的物体特性相关联。 0037 控制器 24 指引夹子 14 的运动。从而， 夹子 14 中的任何物体 11 都根据由控制器 24 指引的预定移动模式而移动。通过控制器 2。
32、4 的这种预定移动模式， 机器人 10 将从通过 成像系统产生的图像观察并最终学习物体 11。这个过程可以在任何时间完成， 并且不需要 机器人 10 离线、 不工作或另外的业务中止。机器人 10 在完成用于学习物体的预定观察和 研究移动时可以恢复正常行为。 0038 物体学习机器人 10 从物体在光学系统 16 的视场中的预定移动来检测整体图像 PO。整体图像 PO可以包括多个像素， 例如多个固定像素、 多个移动像素、 多个已知像素和多 个未知像素。可以将来自光学系统 16 的整体图像 PO的各个部分识别并分类至不同的类别 以便使得学习和随后的物体识别更加有效和合理。 0039 根据控制器 2。
33、4 的要被学习的物体 11 的运动是根据包括在控制器 24 中的预定移 动模式的， 例如平移和旋转。从而， 控制器 24 指引夹子 14 中的要被学习的物体 11 的精确 的预定移动序列， 以便以有条理的方式来学习物体。虽然是预定的， 但移动可以稍有变化， 说 明 书 CN 102414696 A CN 102414710 A6/7 页 9 以便适应夹子 14 中的物体的各种可能的方向， 并且适应具有不规则形状和各种尺寸的物 体 11。 0040 静态信息 S（例如夹子 14 的位置和移动） 对于控制器 24 来说是已知的， 这是因为 控制器 24 指引该位置和移动。控制器 24 和与夹子 1。
34、4 以及臂 22 相关联的硬件进行通信。 臂 22 硬件可以包括多个致动器 A、 B、 C， 这些致动器被接合以允许臂 22 的关节联接和移动。 夹子 14 也可以包括多个致动器 G、 H 以允许夹子 14 抓取物体 11。致动器 A、 B、 C、 G、 H 可以 向控制器 24 提供输入或反馈信息 M， 其包括由各个致动器的测量角度和由各个致动器在特 定方向上施加的力。控制器 24 在学习过程中指引夹子 14 的预定移动并且与图像处理装置 28 通信。从而， 控制器 24 和图像处理装置 28 知道夹子 14 的位置， 并且更加容易地在由光 学系统 16 获取的图像数据中识别属于夹子的像素 。
35、PG。 0041 机器人 10 可以根据给控制器 24 的输入信息 M 确定物体的形状、 颜色和 / 或质地。 当在已知方向上向物体施加已知的力时， 可以通过比较实际致动器的角度和理想致动器的 角度来确定物体的相对硬度或软度， 理想致动器的角度是基于向空夹子 14 或握住了具有 已知 （或参考） 硬度的物体 11 的夹子 14 施加相同的输入 / 力的绘图 （map） 的。此外， 可以 使用不同类型的触觉传感器来提供关于与物体 11 相关联的触觉特征 T 的更多细节。 0042 由于从控制器 24 向夹子 14 的指引， 机器人 10 知道夹子 14 的位置。整体图像可 以包括展示出相干运动的。
36、相干像素 PC。也就是说， 相干像素 PC的运动关于由控制器 24 指 引的预定移动模式相干。在相干像素 PC中， 一些像素可能属于夹子 （例如夹子像素 PG） ， 而 剩余像素可能是物体像素 PK。可以在控制器 24 中映射并包括夹子 14 的古怪 （pixilated） 表现以便快速且容易地识别夹子像素 PG。从而， 要被学习的物体 11 由于其在夹子 14 中的 位置通过光学系统 16 可被容易地识别。在将夹子像素 PG从整体图像中消除之后， 与物体 一致的物体像素 PK容易地被识别。在图 4 中示例说明了一种可能的整体像素 PO、 背景像素 PB与包括夹子像素 PG和物体像素 PK的相。
37、干像素 PC的影像。由于夹子 14 的运动以及光学 系统 16 关于夹子 14、 物体 11 和背景的相对运动， 背景像素 PB会展示出模糊。 0043 夹子 14 可以安装在机器人 10 的臂 22 上。这提供了这样的优点， 即， 臂 22 可以被 调整或移动以便在夹子 14 中抓取在臂 22 的范围之内的几乎任何位置的不同物体。光学系 统 16 还可以包括一个或多个安装在机器人 10 的臂 22 上的摄像机 17、 18。在此布置中， 在 光学系统 16 与夹子 14 和要被学习的物体 11 之间很少有接合、 致动器和附加物。在光学系 统 16 与夹子 14 之间的有限数量的角度可能性导致。
38、了更简单的计算布置， 其用于识别要被 学习的物体 11 以及进一步确定物体 11 的特征。从而， 简化了控制器 24 和图像处理装置 28 的功能和实现方式。光学系统 16 可以包括两个或更多摄像机 17、 18， 其可以提供要被学习 的物体 11 的立体或三维图像， 以便更加详细地学习物体 11。 0044 如上所述， 可以从整体像素 PO中减去夹子像素 PG。在从整体像素 PO中减去夹子像 素 PG之后， 在整体像素 PO中将剩下明显更少量的像素。这些像素剩余将包括背景像素和物 体像素。从而进一步简化图像处理。 0045 根据另一个布置， 在从整体像素PO中减去夹子像素PG之后， 机器人1。
39、0可以检测剩 余图像， 其主要包括物体像素 PK和背景像素。物体像素 PK将展示出根据经由控制器 24 给 予夹子 14 的预定运动的相干运动。物体像素 PK的运动将会与夹子 14 的运动一致。与之 相反， 背景像素 PB通常将会是固定的或者以关于由控制器 24 指引的预定移动不相干的方 说 明 书 CN 102414696 A CN 102414710 A7/7 页 10 式来移动。从而， 物体像素 PK和背景像素 PB可独立地识别。这是基于要被学习的物体 11 的预定运动与背景像素PB的相对固定或不相干运动之间的移动差别的， 要被学习的物体11 的预定运动依照从夹子 14 给予的预定运动，。
40、 背景像素 PB的相对固定或不相干运动是关于 由控制器 24 指引的夹子 14 的预定运动的。 0046 因此， 要被学习的物体 11 由图像处理装置 28 识别 40。背景像素 PB关于由控制器 24指引的预定运动的不相干运动导致了图像处理装置28识别背景像素PB并因此从剩余图 像中将其消除的能力。在此步骤之后， 只剩下物体像素 PK。机器人 10 于是将要被学习的物 体 11 与对应于这些最终的剩余像素 （物体像素 PK） 的特征相关联。 0047 虽然已经在附图和前面的说明中示例说明并描述了本发明， 但这种示例说明和描 述应当被看作是说明性或示例性的而非限制性的 ； 并没有将本发明限定于。
41、所公开的实施 例。 本领域技术人员在实践所要求保护的本发明时， 通过研究附图、 所公开的内容以及所附 权利要求书， 可以理解并实现对于所公开的实施例的其他变化。 0048 在权利要求书中， 词语 “包括” 并不排除其他元件或步骤， 不定冠词 “一” 或 “一个” 并不排除多个。单一的元件或其他单元可以实现在权利要求中记载的几个项的功能。事实 是， 在相互不同的从属权利要求中记载的特定措施并不表示不能使用这些措施的组合以获 利。 0049 实现了根据本发明采用的控制方法和或图像处理方法的计算机程序可以存储 / 分布在适当介质上 （诸如光学存储介质或者与其他硬件一起或作为其一部分而提供的固体 介质。
42、） ， 但也可以按照其他形式分布 （诸如经由因特网或者其他有线或无线通信系统） 。 0050 权利要求书中的任何参考标记不应当被看作对范围进行限制。 说 明 书 CN 102414696 A CN 102414710 A1/4 页 11 图 1 说 明 书 附 图 CN 102414696 A CN 102414710 A2/4 页 12 图 2 说 明 书 附 图 CN 102414696 A CN 102414710 A3/4 页 13 图 3 说 明 书 附 图 CN 102414696 A CN 102414710 A4/4 页 14 图 4 说 明 书 附 图 CN 102414696 A 。