自闭症儿童辅助机器人及系统.pdf

本发明公开了自闭症儿童辅助机器人，机器人包括图像采集装置、声音采集装置、声音播放装置和控制装置，图像采集装置用于采集机器人外部的图像信息并发送给控制装置；声音采集装置用于采集机器人外部的声音信息并发送给控制装置；声音播放装置能够播放音频；控制装置根据图像采集装置采集的图像识别人脸，并在识别到人脸时检测该人脸的表情信息，以及根据声音信息识别语音。并且，控制装置根据表情信息和/或语音信息产生用于控制声音播放装置的控制信息，声音播放装置根据该控制信息播放相应的音频。本发明的自闭症儿童辅助机器人能够移动接近自闭症儿童，并与之进行交流，辅助自闭症儿童治疗。

1.  一种自闭症儿童辅助机器人，包括图像采集装置、声音采集装置、声音播放装置和控制装置，其中，
所述图像采集装置用于采集机器人外部的图像信息并发送给控制装置；
所述声音采集装置用于采集机器人外部的声音信息并发送给控制装置；
所述声音播放装置能够播放音频；其特征在于：
所述控制装置根据所述图像采集装置采集的图像识别人脸，并在识别到人脸时检测该人脸的表情信息，并根据该表情信息产生用于控制所述声音播放装置的控制信息，所述声音播放装置根据该控制信息播放相应的音频。

2.  如权利要求1所述的自闭症儿童辅助机器人，其特征在于，所述控制装置还根据所述声音采集装置采集的声音识别人的语音，获得人的语音信息，并根据该语音信息产生所述用于控制所述声音播放装置的控制信息。

3.  如权利要求2所述的自闭症儿童辅助机器人，其特征在于，还包括行为记录装置，所述控制装置根据所检测的人脸的表情信息和/或所识别的语音信息生成行为信息，并控制所述行为记录装置记录所述行为信息。

4.  如权利要求3所述的自闭症儿童辅助机器人，其特征在于，所述行为信息包括下述信息的至少一种：所述表情信息、识别到人的语音的频度信息、所识别的语音信息本身。

5.  如权利要求1至4中任一项所述的自闭症儿童辅助机器人，其特征在于，还包括用于使所述机器人进行移动的运动装置，当所述控制装置根据所述图像采集装置采集的图像识别到人脸时，控制装置控制所述运动装置朝向所述人脸所处的位置进行移动。

6.  如权利要求5所述的自闭症儿童辅助机器人，其特征在于，还包括人体距离检测装置，其用于检测机器人与人体的距离，所述控制装置根 据该人体距离检测装置检测的机器人与人体的距离控制所述运动装置进行停止和运动，以便在机器人在移动到离人体一定的距离处停止运动。

7.  如权利要求1至4中任一项所述的自闭症儿童辅助机器人，其特征在于，所述图像采集装置可以在所述控制装置的控制下进行倾斜和/或转动，并在所述控制装置识别到人脸时被控制转动以朝向所述人脸。

8.  如权利要求7所述的自闭症儿童辅助机器人，其特征在于，包括头部，所述图像采集装置位于头部，所述控制装置控制头部的倾斜和/或转动来倾斜和/或转动所述图像采集装置。

9.  如权利要求2所述的自闭症儿童辅助机器人，其特征在于，还包括脸部表情装置，该脸部表情装置位于所述头部的脸部位置，能够模拟人的表情；
所述控制装置还根据所检测的人脸的表情信息和/或所识别的语音信息生成机器人表情信息，并根据该机器人表情信息控制所述脸部表情装置模拟相应的表情。

10.  如权利要求9所述的自闭症儿童辅助机器人，其特征在于，所述脸部表情装置是显示屏，其通过显示卡通表情图片来模拟相应的表情。

自闭症儿童辅助机器人及系统
技术领域
本发明涉及自闭症儿童辅助机器人，属于机器人技术领域。
背景技术
自闭症也叫孤独症，一般多发生在儿童身上，是一种精神发育障碍。随着社会的发展，近些年来，自闭症儿童的数量不断增加，逐渐引起了人们的关注。由于病因复杂，传统药物难以治愈，目前最有效的治疗方式是教育和训练。特殊教育和康复训练是各国采取的主要方式。像在美国一样的发达国家，具有好的医疗环境，自闭症儿童一般能够得到良好的早期治疗。但是在发展中国家，例如中国，从事这方面教育师资力量和经费都十分匮乏，加上行业不规范，自闭症儿童很难得到好的治疗。
机器人技术的迅速发展，使机器人得到广泛的应用。特别是服务机器人的快速兴起，给人们的生活带来了极大的方便。将机器人应用到对自闭症儿童的服务上，不仅可以辅助治疗儿童自闭症，而且有助于减轻家庭和政府负担。
发明内容
本发明的目的是：提供一种自闭症儿童辅助机器人及系统，为自闭症儿童的治疗提供帮助。
本发提提出的自闭症儿童辅助机器人包括图像采集装置、声音采集装置、声音播放装置和控制装置，所述图像采集装置用于采集机器人外部的图像信息并发送给控制装置；所述声音采集装置用于采集机器人外部的声音信息并发送给控制装置；所述声音播放装置能够播放音频；所述控制装置根据所述图像采集装置采集的图像识别人脸，并在识别到人脸时检测该人脸的表情信息，并根据该表情信息产生用于控制所述声音播放装置的控制信息，所述声音播放装置根据该控制信息播放相应的音频。
根据本发明的具体实施方式，所述控制装置还根据所述声音采集装置采集的声音识别人的语音，获得人的语音信息，并根据该语音信息产生所述用于控制所述声音播放装置的控制信息。
根据本发明的具体实施方式，机器人还包括行为记录装置，所述控制装置根据所检测的人脸的表情信息和/或所识别的语音信息生成行为信息，并控制所述行为记录装置记录所述行为信息。
根据本发明的具体实施方式，所述行为信息包括下述信息的至少一种：所述表情信息、识别到人的语音的频度信息、所识别的语音信息本身。
根据本发明的具体实施方式，还包括用于使所述机器人进行移动的运动装置，当所述控制装置根据所述图像采集装置采集的图像识别到人脸时，控制装置控制所述运动装置朝向所述人脸所处的位置进行移动。
根据本发明的具体实施方式，还包括人体距离检测装置，其用于检测机器人与人体的距离，所述控制装置根据该人体距离检测装置检测的机器人与人体的距离控制所述运动装置进行停止和运动，以便在机器人在移动到离人体一定的距离处停止运动。
根据本发明的具体实施方式，所述图像采集装置可以在所述控制装置的控制下进行倾斜和/或转动，并在所述控制装置识别到人脸时被控制转动以朝向所述人脸。
根据本发明的具体实施方式，机器人还包括头部，所述图像采集装置位于头部，所述控制装置控制头部的倾斜和/或转动来倾斜和/或转动所述图像采集装置。
根据本发明的具体实施方式，机器人还包括脸部表情装置，该脸部表情装置位于所述头部的脸部位置，能够模拟人的表情；所述控制装置还根据所检测的人脸的表情信息和/或所识别的语音信息生成机器人表情信息，并根据该机器人表情信息控制所述脸部表情装置模拟相应的表情。
根据本发明的具体实施方式，所述脸部表情装置是显示屏，其通过显示卡通表情图片来模拟相应的表情。
本发明的自闭症辅助儿童机器人有以下特点：
1、本发明机器人结构形状仿照人体，其脸部用显示屏代替，能够显示各种表情，非常生动形象更亲近儿童，便于与自闭症儿童交流。
2、本发明的机器人的显示屏可以提供更为丰富交流方式，可以根据不同自闭症儿童来定义，有针对性辅助自症闭儿童，同时机器人声音也可自定义。这些可以根据行为记录情况做适当的调整，达到最佳的辅助目的。
3、本发明的机器人的头部几乎集合了所有检测和输出的设备，结构十分紧凑。各个模块共同工作，相互协调，极大地完善了机器人的功能。
附图说明
图1为本发明的一个实施例的机器人的的结构示意图；
图2为本发明的一个实施例的硬件部分的架构示意图；
图3为本发明的的一个实施例的控制装置的功能模块示意图；
图4为本发明的一个实施例的运动控制流程图；
图5为本发明的一个实施例的交流功能实现流程图。
其中，1-扬声器、2-麦克风、3-脸部显示器、4-摄像头、5-云台、6-控制触摸屏、7-身体、8-底座、9-声纳、10-运动装置、11-头部
具体实施方式
本发明提出一种自闭症儿童辅助机器人，其至少包括图像采集装置、声音采集装置、声音播放装置和控制装置。其中，图像采集装置例如是摄像头，是机器人的眼睛，用于采集机器人外部的图像信息并发送给控制装置；声音采集装置是机器人的耳朵，用于采集机器人外部的声音信息并发送给控制装置；声音播放装置相当于机器人的嘴巴，能够发出声音，例如播放音频。声音播放接受由装置接受可通过语音呼唤引起自闭症儿童注意，便于图像的获取和表情的检测。所述语音可以由用户自定义。
控制装置是机器人的核心部件。一方面，控制装置根据所述图像采集装置采集的图像识别人脸，并在识别到人脸时检测该人脸的表情信息。另一方面，控制装置还根据所述声音采集装置采集的声音识别人的语音，获得人的语音信息。在获得该表情信息和/或语音信息后，控制装置根据该表情信息产生用于控制所述声音播放装置的控制信息，所述声音播放装置根据该控制信息播放相应的音频，从而产生相应的声音，以与自闭症儿童进行某种程度上的交流。
本发明的机器人还可以还包括行为记录装置，控制装置根据所检测的人脸的表情信息和/或所识别的语音信息生成行为信息，并控制所述行为记录装置记录所述行为信息。行为信息包括下述信息的至少一种：所述表情信息、识别到人的语音的频度信息、未经识别的声音信息及所识别的语音信息。例如可以记录烦躁，生气等不良声音到行为记录模块。行为记录装置记录的行为信息可以帮助分析自闭症儿童的情绪，为之后治疗提供帮助。本发明的优选实施方式还包括用于使机器人进行移动的运动装置，当控制装置根据所述图像采集装置采集的图像识别到人脸时，控制装置控制所述运动装置朝向所述人脸所处的位置进行移动。这样，机器人就能在“看到”、“听到”儿童在附近时，主动靠近并与儿童进行“交流”。为了使机器人与自闭症儿童保持一定的距离，以及绕过阻碍物，优选的实施方式还包括人体距离检测装置，其用于检测机器人与人体的距离以及周围的环境，所述控制装置根据该人体距离检测装置检测的机器人与人体的距离控制所述运动装置进行停止和运动，以便在机器人在移动到离人体一定的距离处停止运动。
为了使儿童在机器人的视野范围内，图像采集装置需要随着人体进行角度或位置的调整。而为了避免机器人的运动装置进行复杂的运动，优选的方式可以是使图像采集装置在控制装置的控制下进行倾斜和/或转动，并在所述控制装置识别到人脸时被控制转动以朝向所述人脸。
当所述机器人为人型时，其可以包括头部，则图像采集装置位于头部的两眼位置，控制装置控制头部的倾斜和/或转动来倾斜和/或转动所述图像采集装置。
更优选的，机器人还可以包括脸部表情装置，该脸部表情装置位于所述头部的脸部位置，能够模拟人的表情，这样就能更加生动地与自闭症儿童进行交流。控制装置可根据所检测的人脸的表情信息和/或所识别的语音信息生成机器人表情信息，并根据该机器人表情信息控制所述脸部表情装置模拟相应的表情。例如，所述脸部表情装置可以是显示屏，其通过显示卡通表情图片来模拟相应的表情。但本发明也不排除其他的仿生的脸部表情装置的应用。
所述显示屏可以是触摸屏，这样，其还可以作为用户输入装置。用户通过触摸屏对控制装置进行操作，以便显示由所述行为记录装置记录的行为信息，或者对控制装置所控制的各个部分模块功能进行调试修改、调整参数、维护程序等。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
图1为本发明的一个实施例的机器人的的结构示意图。图2是该实施例的硬件部分的架构示意图。参见附图1、2，该实施例的自闭症儿童辅助机器人呈现卡通的人型，它包括：头部11、身体7、底座8。头部11包含一个摄像头4、一个脸部显示器3、两个麦克风2、两个扬声器1以及一个云台5；身体7包括控制触摸屏6；底座8包含带有八个声纳9的运动装置10和工控机。工控机相当于前面所述的控制装置，是本发明的关键部件。
两个扬声器1与摄像头4并排在脸部显示器3上，这样更为紧凑和美观；两个麦克风2在头部11的耳朵部分，可以接受更广的声源范围；云台5将头部11和身体7上部相连，云台5底端连接在身体7，云台5运动部分与头部固定；控制触摸屏6安装在身体7正中，身体7下部与底座8相连，底座8外壳下运动装置10；摄像头4、脸部显示器3、麦克风2、扬声器1，云台5通过USB集线器与运动装置10内部的工控机连接，实现数据的获取与反馈。
图3是该实施例的自闭症儿童辅助机器人的控制装置的功能模块图。如图所示，控制模块由工控机实现，其包括：语音识别模块、语音输出模块、头部控制模块、脸部表情模块、运动控制模块，视觉检测模块、行为记录模块、中央控制单元。头部控制模块通过控制PELCO-D通讯协议的云台5来达到头部上下左右的转动，左右转动范围为0°～180°，上下转动在-15°～30°。
语音识别模块是通过麦克风2接受声音数据，传输到中央控制单元，利用语音识别软件转化成数据输入到语音输出模块和脸部表情模块。并且可以记录烦躁，生气等不良声音到行为记录模块。
视觉检测模块通过摄像头4获取图像数据，实现人脸识别和表情检测，视觉检测的过程是通过头部控制模块转动头部，避免了底座运动规划路径的复杂问题。首先进行人脸识别，将人脸识别结果数据传送到运动控制模块；再进行表情检测，表情检测所获取的数据通过中央控制单元传送到到脸部表情模块和语音输出模块。表情检测可以检测多种表情，保存检测到的表情传送到行为记录模块。
语音输出模块接受由中央控制单元接受处理的语音识别模块的数据和视觉检测数据，通过扬声器1发出相应的语音。在视觉检测模块的表情识别过程中，由中央控制单元协调，通过语音呼唤引起自闭症儿童注意，便于视觉检测。语音可以用户自定义。
脸部表情模块通过接受语音识别模块和视觉检测模块的数据，通过脸部显示屏3来显示机器人的情绪，机器人的情绪通过卡通表情图片来表现，并通过显示表情反馈给自闭症儿童，更生动，更易于接受，同时面部表情模块也可以显示其他图片和动画。脸部显示器是8寸800*600的LED彩色显示屏，易于与自闭症儿童交流。这些图像动画可以由用户自定义。
运动控制模块通过获取数据控制运动装置10来接近和跟踪自闭症儿童，运动装置10前后共包含八个声纳9，用于避障，并且与儿童保持合适的距离。运动装置部分是采用的Pioneer3移动机器人，并使用其中的声纳和工控机。中央控制单元是通过工控机来实现的。
控制触摸屏6能够显示行为记录模块的数据，手动操作运行机器人，直接访问机器人系统内部，对各个部分模块功能进行调试修改、调整参数、维护程序。控制触摸屏6采用的是12寸彩色触摸屏，便于操作访问。
图4是上述实施例的自闭症儿童辅助机器人的运动控制流程图。自闭症儿童机器人通过摄像头检测识别人脸，对其跟踪，接近儿童。检测人脸的过程需要转动云台，同时可以语音输出呼唤儿童，引起自闭症儿童的注意，减少检测过程的时间。检测到之后会运动跟踪儿童，通过云台反馈的角度寻找位置。在机器人移动过程中通过声纳判断是否接近儿童，这一过程同时检测人脸，若在5s检测不到，停止移动。云台转动继续检测人脸确定儿童的位置。接近儿童，之后便可以与儿童交流。
图5是上述实施例的自闭症儿童辅助机器人的交流功能实现流程图。如图5所示，首先机器人会检测自闭症儿童的表情，机器人会根据不同表情，进行不同语言交流和脸部表情反馈，例如当检测到不开心的表情时，机器人会显示疑惑的表情，并且问道：“你为什么不开心啊？”如果检测到儿童说话，机器人会引导自闭症儿童，说更多的话，有助于儿童交流。如果儿童不说话，机器人会提出主动要求，问儿童一些感兴趣的问题，机器人会提出玩游戏或者唱歌的，这些都是根据针对儿童自身感兴趣的情况提出的，有助于缓解儿童的情绪。如果儿童一直不说话或者不开心，机器人会做记录。针对自闭症儿童的其他的情绪，机器人也会类似引导儿童多说话，适当的改善儿童情绪，并且做好记录，达到辅助治疗的目的。这一过程最大的特点就是根据不同自闭症儿童来定义交流内容，更有针对性，并且可以通过机器人所记录内容知道儿童的讨厌的或喜欢的事物，据此做出适当的改进。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。