技术领域
本发明涉及机器人，尤其是指一种能够产生仿人面部表情并且能够与人进行交互的机器 人
背景技术
人类是有意向的动物，同时把那些与他们互动的生物理解为是有意向的。Dennet的人类 能动性的观点表明人们表达和解释他们的行为通过意愿，信念和渴望的形式。因此，情感机 器人对用户传达意愿的能力是其设计中需要考虑的重要部分。这并不需要以人类的方式赋予 机器意愿和信念，但是用户要可以直观和可靠的以这些形式解释和预测机器人的行为。为了 与人自然的交流，情感机器人必须能够读懂用户的情感。这就需要机器人能用视觉感知用户 的脸，身体，语言和眼睛。除了识别用户的话语，感知声音韵律也很重要。当然情感机器人 也必须可以把这些线索传递给用户。这些都强有力的表明必须赋予情感机器人能够表达感情 的脸，可以转的眼睛，有韵律的声音和做出各种姿势的身体。
经文献检索发现，中国专利申请号03280106，名称：机器人头部，该专利系统由两台计 算机实现图像和语音信息处理。仅能实现简单的视觉跟踪、语音识别、语音合成功能。中国 专利申请号CN101020315A，名称：仿人机器人头部系统，该专利系统只是一个六自由度的装 置，只能模拟双眼、颈部和下巴的运动，具有简单的图像预处理和语音交互。以上两个专利 都没有仿人的面部表情，不能检测人脸、不能通过语音的情感分析来理解与机器人交互的人 类的情感，也不能与人类进行情感交互。为了是机器人能够与人类进行更好的和谐交互，要 求机器人必须能够理解人类的行为，并根据交互的内容做出行为表达。为了使人与机器人之 间的交互像人与人一样自然、亲切和生动，以仿生学为基础，设计并研制了具有情感处理和 表达能力的情感机器人。情感计算及其情感模型赋予了该机器人具有类似于人一样的观察、 理解和生成各种情感特征的能力。通过视觉(摄像头)、听觉(麦克风)和触觉(红外传感器) 等来感知外部环境的变化，利用六种面部表情、肢体动作和语音来表达自身的情感。
发明内容
发明的目的，即解决的技术问题；
现在大多数的机器人是作为一种具有特殊功能的工具，其功能比较单一，与人类没有情 感上的交互。具有情感交互的表情机器人可以广泛应用于家庭服务、病人护理、助老助残、 导购导游、表演、机器人玩具、机器人宠物等人们的日常生活中。
本发明的主要目的在于提供一种情感机械头，具有惊讶、恐怖、厌恶、愤怒、欣喜、悲 痛等6种细微的面部表情；提供一种具有情感的机器人，通过对伺服电机的PID控制能够实 现惊讶、恐怖、厌恶、愤怒、欣喜、悲痛等6种表情之间的自然过渡；提供一种具有情感的 机器人，该情感机器人的情感模型与情感表达具有映射关系；提供一种具有情感的机器人， 能够通过表情、计算机视觉、语音交互等方式与人类自然交流；提供一种情感机器人，能够 通过语音交互理解人类的情感；提供一种情感机器人，能够通过中文、英文、男声、女声等 四种方式与人进行语音交互，在交互过程中实现中英文对译。
本发明是通过以下技术方案实现的。本发明包括：机械头本体、PIC控制器、以PC为中 心的上位机。机器人通过红外传感器、麦克、USB摄像头检测外部环境的信息。检测到的红 外传感器信息经过PIC控制器的处理，通过串口通讯传递给以PC为中心的上位机。麦克和 USB摄像头检测到的信息直接传递给以PC为中心的上位机。红外传感器用来检测外部障碍， 麦克是作为语音输入的工具，USB摄像头用来进行人脸识别。PC对收集到的外部环境信息首 先进行情感特征提取，分析出语音情感和识别到的人脸的面部表情。收集到外部信息经过PC 处理后合成机器人要表达的情感。语音输出模块，机械头的身体语言和机械头的面部表情构 成了情感机器人的情感表达。PC通过串口指令向PIC单片机发送要调用的面部表情数据包和 身体语言数据包。PIC单片机在接收到数据包后，产生相应的PWM，PWM驱动电机运动。机器 人头部电机通过连接线拉动面部皮肤的运动单元运动，从而产生机械头的面部表情。机械头 颈部电机的运动产生点头摇头等身体语言。PC在经过语音识别和语音合成后通过音响设备输 出具有情感的语音。主要应用了语音识别技术、语音合成技术、图像识别技术、电机控制技 术、计算机通信技术、单片机应用技术、机械设计技术、材料成型技术，涉及到信息、机械、 材料、美学等多个学科。情感机械头的机械设计是参照成年男性头部，以1：1的比例进行设 计，有12个自由度。以Ekman和Friesen的FACS分类方法为理论基础，参考人类面部表情 肌的分布和运动，设计了眉毛、上下眼睑、眼球、嘴、下颚、颈部等六个运动模块。运动模 块参照FACS里面的特征点运动合成机器人的面部表情。
所述具有12个自由度的机械头本体的机械连接部分采用铝合金，面部皮肤采用具有高弹 性的硅胶。机械头本体部分用来模拟人类头部的面部表情。机器人头部里面的空间非常小， 而要求的自由度有12个，所以机器人头部的动力驱动器采用非常小的伺服电机。与同类型的 舵机相比较，GWS扭矩比较大，易于控制，也比较稳定。机器人颈部采用扭矩和体积都大的 HG14-M。机器人动作包括：上下点头、左右摇头。它们各用一台伺服电机带动。其它十台电 机是控制头部的面皮动作的。它包括：下巴(1台)、眼球的上下运动(1台)、眼球的左右运 动(2台)、眨眼(2台)、皱眉(1台)、挑眉(1台)、嘴角(2台)。
机械头本体22包括眼部固定底座1，固定底座1固定在头部骨架17上；眼球上下动驱 动部分2；眼球上下动连杆3；眼球上下动作执行部分4；眼球原地转动基座5固定在眼球上 下动作执行部分4之上；右眼原地转动驱动及执行部分6、左眼原地转动驱动及执行部分7， 两者固定在5之上；右眼眼睑运动固定基座8、左眼眼睑运动固定基座9，各自固定在各侧眼 球原地转动执行件之上；右眼眼睑运动驱动部分10、左眼眼睑运动驱动部分11，各自固定在 对应侧眼睑运动固定基座上；右眼眼睑连杆及执行部分12、左眼眼睑连杆及执行部分13，分 别与相应侧驱动部件连接；头部左右转动驱动及执行部分14固定在基座上，其伸出轴通过连 接件15与低头抬头驱动及执行部分16相连接；头部骨架17通过连接件15固定在14执行部 分的伸出轴之上；嘴张合驱动部分18固定在头部骨架17上，嘴张合执行件20通过嘴张合连 杆19与嘴张合驱动部分18相连接；面部皮肤21通过拉线与右眼眼睑运动驱动部分10、左 眼眼睑运动驱动部分11嘴张合驱动部分18相连接。
下位机系统23由PIC单片机控制器25和红外传感器模块24组成，红外传感器模块24 通过数据线与PIC单片机控制器25相连，PIC单片机控制器25通过数据线与机械头本体22 相连接；下位机系统23与上位机系统26通过串口线相连接。
上位机系统26由PC28、麦克29、摄像头30和音响31组成；麦克29、摄像头30和音 响31分别通过各自的数据线与PC28相连接。
面部表情：心理学研究表明人脸能够产生大约55 000种不同的表情，其中有多种能够用 人类自然语言词汇区别开来。Ekman和Friesen在1978年通过总结过去对面部表情评定工作 的基础上制定出的一个尽最大可能区分面部运动的综合系统，称作面部动作编码系统(facial action coding system，简称FACS)，在制订过程中详细地研究了面部肌肉运动与面容变化 的关系，。它把人的脸部动作分解成44种称为AU(动作单位)的基本动作。各个AU可以根 据脸部的特点予以定义，也可以从解剖学角度考虑系由一个或几个肌肉收缩、松弛所引起的。 于是，所有表情都可以用AU的组合来表示。在心理学领域，把人的基本表情分为惊讶、恐怖、 嫌恶、愤怒、欣喜、悲痛6种。表2列出了六种基本表情与AU的关系。AU1(提升眉毛)、 AU4(下拉眉毛)、AU9(收缩鼻子)、AU12(拉动嘴角)、AU15(嘴角下压)、AU16(提高颧部)、 AU26(下拉下巴)、AU27(张大嘴巴)。表情机器人的表情合成可以通过用VC++编写的调试界 面(GUI)进行表情的调试、保存和调用。
PIC控制器有PIC单片机、电源模块、串口通讯模块、舵机接口、传感器模块等6部分 组成。PIC单片机主要是对头部的12台舵机和传感器模块的进行控制。PIC单片机具有高速 度、实时执行、低功耗、用户可选择振荡器、具有程序代码保护功能、功能强大的I/O性能、 具有PWM、A/D、D/A转换器等多种有点。电源模块采用具有7.4V锂电池进行供电，通过电源 开关进行控制。串口通信模块是整个系统与PC机发送及接受数据和命令的通道，情感机器人 的运动数据以及控制命令均由PC机通过串口通信发送到PIC单片机中。串口通信模块包括有 线通信和无线通信两种，有线通信由MAX232芯片与其外围电路构成，；无线通信则由专门的 无线通信模块完成，无线通信模块共有两个，PC机与机器人各有一个，收发功能由模块内部 命令字控制。舵机接口主要由一个三针插座以及与之相配套的电阻构成，具体实现功能是， 给舵机提供工作电源，发送控制脉冲。传感器模块是利用红外传感器来检测机器人周围的障 碍物，或者是有没有人在靠近机器人。当有人或者机器人周围有障碍物时红外传感器的信号 会出现变化。
以PC为中心的上位机控制系统，就是用PC机发出程序，完成对整个情感机器人的引导 和控制。PC机的功能很强大，不管是硬件资源还是软件资源，嵌入式系统都无法和PC相比。 因此我们设计的PC端的软件必须具备如下功能：语音识别、人脸检测、数据生成、数据通信 和机器人初态补偿。下面分别介绍每一种状态的处理过程和方法。
(1)同步状态处理
所谓的同步状态就是情感机器人根据PC机传输的控制数据，可以实时的进行运动，也就 是PC机传输一组数据，情感机器人就可以马上做出相应的动作，这就为情感机器人的动作微 调打下了基础。
(2)运行状态处理
运行状态就是当情感机器人将数据接收完毕的时候，或者是机器人本身已经预先存储了 运行数据的时候，执行运行程序，情感机器人就可以按照所规定的数据进行动作。
(3)接收数据状态处理
接收数据状态就是当情感机器人处于接收PC机传送过来的数据时所要执行的运动状态， 在这个状态里PIC单片机要将所接收到的数据存储起来，以备其他程序调用。
(4)初始化状态处理
当情感机器人要进行初始化数据设置时，就要调用初始化数据处理状态。在这个处理状 态中，首先要对处于PIC单片机内部EEPROM中指定位置的初始化数据有效标志位进行置位(设 定该指定位置为0X3EE)，然后再在片内EEPROM的指定位置顺次写入所接收到的初始化位置 数据，以备其他程序调用。初始化数据有效标志位主要为了标志当前状态下是否有可用的初 始化数据，以便其他程序调用。
(5)复位状态处理
复位状态也可以说是情感机器人的保持状态，即进入复位状态之后，情感机器人可以保 持现有的运动状态。除了保持的作用之外，复位状态还可以作为其他四种状态相互之间转化 的衔接状态，从而使得状态之间的转化更为可靠、简单。
人脸检测：该表情机器人在Windows平台下进行图像采集是基于VFW(Video for Windows) 进行的，它的特点是播放视频时不需要专用的硬件设备，而且应用灵活，可以满足视频应用 程序开发的需要。Windows操作系统自身就携带了VFW，系统安装时，会自动安装VFW的相关 组件。
目前，大多数的视频采集卡驱动程序都支持VFW接口，它主要包括多个动态连接库，通 过这些组件间的协调合作，来完成视频的捕获、视频压缩及播放功能。VFW以消息驱动方式 对视频设备进行存取，可以很方便地控制设备数据流的工作过程。为了能够实时采集并处理 图像信息，我们在机器人平台中采用VFW作为应用层的图像采集工具，直接对内存中的视频 数据进行操作。
本发明为一种情感机械头，具有惊讶、恐怖、厌恶、愤怒、欣喜、悲痛等6种细微面部 表情；一种具有情感的机器人，通过对伺服电机的PID控制能够实现惊讶、恐怖、厌恶、愤 怒、欣喜、悲痛等6种表情之间的自然过渡；一种具有情感的机器人，该情感机器人的情感 模型与情感表达具有映射关系；一种具有情感的机器人，能够通过表情、计算机视觉、语音 交互等多种交互手段来模拟人类情感的自然交流；一种情感机器人，能够通过语音交互理解 人类的情感；一种情感机器人，能够通过软件设置自动改变中文、英文、男声、女声等四种 方式与人进行语音交互，在交互过程中实现中英文对译提供了完整的解决方案。
附图说明
图1本发明结构示意图
图2本发明功能框图
图3本发明实物图
图4本发明机械原理图
图5本发明面部皮肤
图6本发明语音识别流程图
图7本发明语音合成流程图
图8本发明面部表情图
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
图1本发明结构示意图。如图1所示，本发明包括：一个具有12个自由度的机械头本体 22，机械头由机械部分和面部皮肤21组成，一个以PIC单片机为中心的下位机系统23，下 位机系统有控制器25和红外传感器模块24组成，一个以PC为中心的上位机系统26，上位 机系统有PC28，麦克27，摄像头29，音响30等4部分组成。
图2本发明的功能框图。如图2所示该发明通过机器视觉，语音识别，红外传感器等3 个模块感知外部环境信息。机器视觉通过上位机处理后具有人脸识别的功能。语音识别模块 经过麦克将语音传递给上位机，上位机对语音信号进行语音的情感特征提取，得到输入语音 的情感。红外传感器具有感应在机器人周围是否有障碍或者是否有人员靠近的功能，将探测 到的信号传输给下位机系统，下位机系统经过处理后通过RS232通讯传递给上位机系统。上 位机系统将图像信息，语音信息，下位机信息进行综合处理，得到与机器人交互的人的信息 或者机器人的外部环境信息，然后通过机器人的情感输出模块向下位机系统和语音合成模块 发送指令。下位机系统通过PWM控制电机运动产生身体语音(点头、摇头)和面部表情。上 位机的在经过语音合成后通过音响向人类表达机器人的语言。情感机器人的语音，身体语言 和表情三者共同构成了情感机器人的情感表达。人类可以通过上位机系统的调试界面对机器 人的各个功能模块进行调试。
图3本发明实物图。本发明所采用的各种实物设备和最终实物如图3所示。
图4本发明的机械原理图。如图4所示，表情机器人系统的机械原理图用Pro/E来完成 设计与绘制，机械头本体包括有底座支杆31、底板32、颈部轴承座33、颈部轴承盖34、点 头驱动电机35、点头电机座36、U形架37、下颌柄38、下颌连杆39、眼底板40、左眼皮驱 动电机41、左眼球42、底块下颌驱动电机43、眼球上下驱动电机44、头骨支架45、左眉毛 运动电机46、右眉毛运动电机47、固定支杆48、左眼皮驱动电机固定架49、眼球上下机构 连杆50、右眼皮驱动电机固定架51、动支架52、右眼球底块53、左眼皮54、右眼皮55、右 眼球56、左眼球57、眼球左右运动电机固定架58、右眼球左右运动驱动电机59、上颌片60、 左眼球左右运动驱动电机61、下颌片62、点头电机底支架63、摇头驱动电机64等34个部 分连接构成。
图5本发明的面部皮肤。面部皮肤的制作要经过泥模制作、石膏模制作、硅胶面皮制作、 面皮的固定4步来完成。泥模制作：头部面皮的制作主要靠手工制作，制作前首先要按照人 物的外形做一个泥模型，石膏模制作：由于泥模型会随水分的蒸发而产生收缩、龟裂，所以 泥模型制造完成之后，应及时翻制成石膏模。石膏模不仅可以长久的保留所塑造的产品形态， 同时也可以通过制作石膏模具的方法进行多次复制原型。硅胶面皮制作：利用做好的石膏模 具就可以做硅胶面皮了，用液体状的硅胶加入固化剂，搅拌均匀，根据所需面皮厚度倒入一 定量的硅胶液体于模具中，均匀摇动，一直等到硅胶面皮完全干后面皮就制作完成了。面皮 的固定：在硅胶面皮需要有表情的位置如嘴角和眉头部分，先预先埋置好线，以便拉动面皮 而产生表情。
图6本发明语音识别流程图。语音识别，表情机器人语音识别功能模块利用Pattek ASR SDK在Visual C++6.0环境下进行开发。Pattek ASR具有易用性强、识别率高的特点，用户 无需进行训练，引擎的设计已经保证了非特定人这一重要特点；API提供的管理工具可以使 得用户自如地定义自己所需的词表和语法，以便应付不同的应用需求。机器人语音识别功能 模块的程序流程图如图6所示。
图7本发明语音合成流程图。语音合成，表情机器人语音合成功能模块利用iFly TTS SDK 在Vi sual C++6.0环境下进行开发。本节采用iFly TTS SDK开发语音合成模块具有高质量 的文本语音转换效果，采用了大型语料库合成技术；采用了超大规模的自然语流数据库的制 作，并以此作为数据统计和机器学习的训练数据；依据语言学、语音学、人工智能知识基础， 利用机器学习中的决策树、神经网络系统，分别建立了较为完善的基频、时长、能量、停顿 模型；具有高效的集成策略，系统可以通过边合成边播放的策略，避免了由于合成长文本带 来的较大的延时，系统在分段播放语音时，用户的任何打断都可以中止该次合成任务，免去 了无谓的资源消耗；支持对语速、合成风格、音量等合成参数的调整；能保证合成语音连续、 可懂、自然，相当于普通人说话标准。机器人语音合成模块的程序流程如图7所示。
图8本发明面部表情图。基本表情：以FACS编码为理论依据手动调试各种表情，建立基 本表情库。基本表情库包括惊讶、恐怖、嫌恶、愤怒、欣喜、悲痛等6种基本表情。表情库 里面的六种表情如图8所示。
本发明能够实现惊讶、恐怖、嫌恶、愤怒、欣喜、悲痛等6种人类基本表情，具有非特 定人中英文语音识别语音合成功能，能够进行人脸检测，识别人类情感，通过面部表情、语 音和肢体行为表达机器人自身的情感。