基于虚拟现实的陪护机器控制系统.pdf

《基于虚拟现实的陪护机器控制系统.pdf》由会员分享，可在线阅读，更多相关《基于虚拟现实的陪护机器控制系统.pdf（8页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010112652.X (22)申请日 2020.02.24 (71)申请人 东南大学 地址 211102 江苏省南京市江宁区东南大 学路2号 (72)发明人 宋爱国秦超龙赵玉魏林琥 李会军曾洪 (74)专利代理机构 南京苏高专利商标事务所 (普通合伙) 32204 代理人 柏尚春 (51)Int.Cl. B25J 9/16(2006.01) B25J 11/00(2006.01) G06F 3/01(2006.01) (54)发明名称 基于虚拟现实的陪护机器控制系统 (5。

2、7)摘要 本发明公开了一种基于虚拟现实的陪护机 器控制系统， 其中： 视觉单元， 获取陪护机器周围 的环境信息， 并传递至虚拟场景生成单元和计算 单元； 计算单元， 接收陪护机器控制指令， 并依据 环境信息计算得到陪护机器执行控制指令的动 作序列； 虚拟场景生成单元， 用于将环境信息生 成虚拟现实场景， 并结合动作序列显示于所述触 屏显示屏； 触屏显示屏， 用于接收针对动作序列 的触屏调整指令并反馈至计算单元进行执行， 接 收针对动作序列的确认指令。 采用上述方案， 增 加人机交互， 实现陪护机器和人之间、 陪护机器 和环境之间自然、 有效的交互， 避免未知错误发 生的概率， 降低陪护机器对用。

3、户及所处环境造成 危害的可能性。 权利要求书1页 说明书5页 附图1页 CN 111267099 A 2020.06.12 CN 111267099 A 1.一种基于虚拟现实的陪护机器控制系统， 其特征在于， 包括： 触屏显示屏、 视觉单元、 虚拟场景生成单元和计算单元， 其中： 所述视觉单元， 用于获取陪护机器周围的环境信息， 并传递至虚拟场景生成单元和计 算单元； 所述虚拟场景生成单元， 用于将环境信息生成虚拟现实场景， 并结合动作序列显示于 所述触屏显示屏； 所述计算单元， 用于接收陪护机器控制指令， 并依据环境信息计算得到陪护机器执行 控制指令的动作序列； 所述控制指令用于控制陪护机器。

4、执行陪护目的； 所述触屏显示屏， 用于接收针对动作序列的触屏调整指令并反馈至计算单元进行执 行， 并在接收针对动作序列的确认指令后， 通过所述计算单元依据动作序列控制陪护机器 执行控制指令。 2.根据权利要求1所述的基于虚拟现实的陪护机器控制系统， 其特征在于， 还包括语音 单元， 用于接收针对动作序列的语音调整指令， 并在接收针对动作序列的确认指令后， 通过 所述计算单元依据动作序列控制陪护机器执行控制指令。 3.根据权利要求2所述的基于虚拟现实的陪护机器控制系统， 其特征在于， 所述计算单 元， 还用于依据环境信息对动作序列进行步骤划分并于触屏显示屏展示， 接收针对动作序 列中步骤的触屏调。

5、整指令或/和语音调整指令并反馈至计算单元进行执行。 4.根据权利要求3所述的基于虚拟现实的陪护机器控制系统， 其特征在于， 所述计算单 元还包括训练学习模型， 在所述计算单元依据环境信息计算得到陪护机器执行预演指令的 动作序列后， 将被调整后确认的动作序列作为样本进行训练学习； 所述预演指令用于控制 陪护机器预先演示执行陪护目的。 5.根据权利要求4所述的基于虚拟现实的陪护机器控制系统， 其特征在于， 所述训练学 习模型还用于将陪护机器实际执行的动作序列作为样本进行训练学习。 6.根据权利要求5所述的基于虚拟现实的陪护机器控制系统， 其特征在于， 所述训练学 习模型还用于依据环境信息计算得到陪。

6、护机器执行控制指令的动作序列。 7.根据权利要求5所述的基于虚拟现实的陪护机器控制系统， 其特征在于， 还包括云端 服务器， 用于向计算单元收集确认的动作序列和相应的执行结果， 并处于与通信连接的陪 护机器控制系统分享状态。 8.根据权利要求7所述的基于虚拟现实的陪护机器控制系统， 其特征在于， 所述云端服 务器发送环境信息和训练指令至虚拟场景生成单元和计算单元， 所述计算单元依据环境信 息计算得到陪护机器执行训练指令的动作序列后， 所述训练学习模型将被调整后确认的动 作序列作为样本进行训练学习， 所述云端服务器将被调整后确认的动作序列作为样本发送 至原始陪护机器控制系统。 权利要求书 1/1。

7、 页 2 CN 111267099 A 2 基于虚拟现实的陪护机器控制系统 技术领域 0001 本发明涉及机械控制领域， 尤其涉及一种基于虚拟现实的陪护机器控制系统。 背景技术 0002 近年来， 我国人口老龄化程度不断加深， 卧床老人陪护需求不断增长， 此外， 由于 车祸、 事故等引起的肢体受伤患者的数量也在迅速增加， 社会和家庭需要花费极大的代价 来治疗和陪护这些患者， 给家庭和社会带来了沉重的负担， 为了满足卧床老人、 患者等的基 本生活需要， 提高生活质量， 智能陪护机器人成为当下的研究热点。 0003 而由于陪护机器人的工作环境比较复杂、 操作对象和操作方式等具有不确定性， 机器人与。

8、人之间、 机器人与环境之间的交互复杂、 甚至危险， 容易对用户及所处环境造成危 害； 随着技术的发展， 单一的交互方式已不能满足人们的需求。 0004 现有技术中陪护机器人自主导航、 物品识别、 物品抓取等独立的智能算法还不够 成熟， 难以很好的实现机器人和人之间、 机器人和环境之间自然、 安全、 有效的沟通， 难以实 现对未知的、 变化的居家环境局部区域的详细探索、 抓取未识别物品等多样化、 复杂的陪护 需求。 发明内容 0005 发明目的： 本发明旨在提供一种基于虚拟现实的陪护机器控制系统。 0006 技术方案： 本发明实施例中提供一种基于虚拟现实的陪护机器控制系统， 包括： 触 屏显示屏。

9、、 视觉单元、 虚拟场景生成单元和计算单元， 其中： 0007 所述视觉单元， 用于获取陪护机器周围的环境信息， 并传递至虚拟场景生成单元 和计算单元； 0008 所述计算单元， 用于接收陪护机器控制指令， 并依据环境信息计算得到陪护机器 执行控制指令的动作序列； 所述控制指令用于控制陪护机器执行陪护目的； 0009 所述虚拟场景生成单元， 用于将环境信息生成虚拟现实场景， 并结合动作序列显 示于所述触屏显示屏； 0010 所述触屏显示屏， 用于接收针对动作序列的触屏调整指令并反馈至计算单元进行 执行， 并在接收针对动作序列的确认指令后， 通过所述计算单元依据动作序列控制陪护机 器执行控制指令。

10、。 0011 具体的， 还包括语音单元， 用于接收针对动作序列的语音调整指令， 并在接收针对 动作序列的确认指令后， 通过所述计算单元依据动作序列控制陪护机器执行控制指令。 0012 具体的， 所述计算单元， 还用于依据环境信息对动作序列进行步骤划分并于触屏 显示屏展示， 接收针对动作序列中步骤的触屏调整指令或/和语音调整指令并反馈至计算 单元进行执行。 0013 具体的， 所述计算单元还包括训练学习模型， 在所述计算单元依据环境信息计算 得到陪护机器执行预演指令的动作序列后， 将被调整后确认的动作序列作为样本进行训练 说明书 1/5 页 3 CN 111267099 A 3 学习； 所述预演。

11、指令用于控制陪护机器预先演示执行陪护目的。 0014 具体的， 所述训练学习模型还用于将陪护机器实际执行的动作序列作为样本进行 训练学习。 0015 具体的， 所述训练学习模型还用于依据环境信息计算得到陪护机器执行控制指令 的动作序列。 0016 具体的， 还包括云端服务器， 用于向计算单元收集确认的动作序列和相应的执行 结果， 并处于与通信连接的陪护机器控制系统分享状态。 0017 具体的， 所述云端服务器发送环境信息和训练指令至虚拟场景生成单元和计算单 元， 所述计算单元依据环境信息计算得到陪护机器执行训练指令的动作序列后， 所述训练 学习模型将被调整后确认的动作序列作为样本进行训练学习，。

12、 所述云端服务器将被调整后 确认的动作序列作为样本发送至原始陪护机器控制系统。 0018 有益效果： 与现有技术相比， 本发明具有如下显著优点： 增加人机交互， 实现陪护 机器和人之间、 陪护机器和环境之间自然、 有效的交互， 避免未知错误发生的概率， 降低陪 护机器对用户及所处环境造成危害的可能性， 体现卧床用户的主导地位； 0019 进一步的， 云端共享调整成功的方案、 卧床用户虚拟环境及陪护目标案例， 为卧床 用户提供娱乐、 训练、 互帮互助的平台， 为云端连接的陪护机器控制系统提供学习数据， 有 利于更快地提高陪护机器控制系统服务能力。 附图说明 0020 图1为本发明实施例中提供的基。

13、于虚拟现实的陪护机器控制系统的结构示意图； 0021 1-陪护机器； 2-语音单元； 3-触屏显示屏； 4-视觉单元； 5-用户； 6-可移动支架； 7- 计算单元； 8-云端服务器； 9-云端服务器连接的陪护机器控制系统。 具体实施方式 0022 下面结合附图对本发明的技术方案作进一步说明。 0023 参阅图1， 其为本发明实施例中提供的基于虚拟现实的陪护机器控制系统的结构 示意图， 包括具体结构， 以下结合附图进行详细说明。 0024 本发明实施例中提供一种基于虚拟现实的陪护机器控制系统， 包括： 触屏显示屏、 视觉单元4、 虚拟场景生成单元和计算单元7， 其中： 0025 所述视觉单元4。

14、， 用于获取陪护机器1周围的环境信息， 并传递至虚拟场景生成单 元和计算单元7； 0026 所述计算单元7， 用于接收陪护机器控制指令， 并依据环境信息计算得到陪护机器 1执行控制指令的动作序列； 所述控制指令用于控制陪护机器1执行陪护目的， 通过所述触 屏显示屏3接收； 0027 所述虚拟场景生成单元， 用于将环境信息生成虚拟现实场景， 并结合动作序列显 示于所述触屏显示屏3； 0028 所述触屏显示屏3， 用于接收针对动作序列的触屏调整指令并反馈至计算单元7进 行执行， 并在接收针对动作序列的触屏确认指令后， 通过所述计算单元7依据动作序列控制 陪护机器1执行控制指令。 说明书 2/5 页。

15、 4 CN 111267099 A 4 0029 在具体实施中， 视觉单元4可以包括图像获取装置， 例如摄像机、 照相机、 深度相机 等， 可以用于获取周围的环境信息， 即获取周围的环境图像、 地理状况和各个物件的放置位 置以及相互之间的位置关系等， 并将环境信息传递至与其连接的虚拟场景生成单元和计算 单元7。 0030 在具体实施中， 虚拟场景生成单元可以将环境信息生成虚拟现实场景后， 将虚拟 现实场景单独显示于触屏显示屏3， 在执行控制指令过程中， 生成动作序列后， 可以结合动 作序列显示于所述触屏显示屏3， 也即在触屏显示屏3展示的虚拟现实场景中显示陪护机器 1执行动作序列以完成控制指令。

16、的情形。 0031 在具体实施中， 控制指令可以是用户5通过触屏显示屏3输入， 也可以是通过其他 例如语音的方式输入。 控制指令通常表示为用户5期望陪护机器1执行动作后得到的结果， 例如抓取放置于某处的物品、 挪动某处的物件、 拿取某物移送给用户5等。 0032 在具体实施中， 计算单元7与触屏显示屏3是连接的， 可以从接收从触屏显示屏3传 递来的指令。 计算机单元在接收控制指令后， 计算得到执行完成控制指令的动作序列， 并显 示于所述触屏显示屏3， 用户5可以在触屏显示屏3上观看虚拟的陪护机器1执行控制指令的 情形。 0033 在具体实施中， 通常计算单元7的独立算法还不够成熟， 计算得到的。

17、动作序列通常 不够完善合理， 难以很好的实现机器人和人之间、 机器人和环境之间自然、 安全、 有效的沟 通， 难以实现对未知的、 变化的居家环境局部区域的详细探索、 抓取未识别物品等多样化、 复杂的陪护需求。 因此， 在有需要的情况下， 用户5可以通过触屏显示屏3输入调整指令， 以 在触屏显示屏3展示的虚拟现实场景中调整陪护机器1执行的动作序列， 以达到符合用户5 期望的执行效果， 增加人机交互， 实现陪护机器1和人之间、 陪护机器1和环境之间自然、 有 效的交互， 避免未知错误发生的概率， 降低陪护机器1人对用户5及所处环境造成危害的可 能性， 体现卧床用户5的主导地位。 0034 在具体实。

18、施中， 触屏显示屏3可以由可移动支架6支撑， 触屏显示屏3中展示的虚拟 的陪护机器1执行控制指令的情形中有陪护机器1的导航路径线路、 速度、 抓取位置和力度 等参数， 调整指令通常表现为用户5调整导航路径线路、 速度、 抓取位置和力度等展示的参 数， 例如包括调整陪护机器1的移动路径和移动速度、 机械臂抓取物件的路径和移动速度、 机械臂抓取物件的和位置和力度大小等方面。 0035 在具体实施中， 在用户5输入调整指令后， 计算机计算得到基于调整指令将陪护机 器1执行调整后的动作序列的情形并在触屏显示屏3予以展示， 用户5在觉得合适的情形下， 可以输入确认指令， 计算单元7便控制陪护机器1执行调。

19、整后的动作序列。 0036 在具体实施中， 确认指令可以通过触屏显示屏3输入， 也可以通过例如语音、 按钮 等其他方式输入。 0037 本发明实施例中， 陪护机器控制系统还包括语音单元2， 用于接收针对动作序列的 语音调整指令， 并在接收针对动作序列的确认指令后， 通过所述计算单元7依据动作序列控 制陪护机器1执行控制指令。 0038 在具体实施中， 触屏显示屏3可以展示何种语音指令可以对动作序列产生何种调 整作用， 例如展示 “向左” 是控制陪护机器1的路径向左偏移，“降低” 是控制陪护机器1的抓 取物件的位置降低。 也可以是通过解析语音含义来对动作序列进行调整。 通过语音单元2的 说明书 。

20、3/5 页 5 CN 111267099 A 5 设置， 进一步便捷和加深了身体不便的用户5与机器之间的人机交互， 避免未知错误发生的 概率， 降低陪护机器1人对用户5及所处环境造成危害的可能性， 体现卧床用户5的主导地 位。 0039 在具体实施中， 语音单元2可以由麦克风阵列和开发板组成， 可以用于接收控制指 令和确认指令等其他来自用户5的指令。 0040 本发明实施例中， 所述计算单元7， 还用于依据环境信息对动作序列进行步骤划 分， 接收针对动作序列中步骤的触屏调整指令或/和语音调整指令并反馈至计算单元7进行 执行。 0041 在具体实施中， 计算单元7可以依据环境信息将动作序列划分为。

21、多个步骤。 例如， 绕过障碍物的过程为一个独立步骤， 抓取物件的过程为一个独立步骤等。 将动作序列划分 为多个步骤， 可以更加便于用户5予以调整， 还有重要的优势在于避免用户5在调整动作序 列的过程中导致其他不愿进行调整的动作也被动地被调整， 提升了人机交互的有效性， 补 偿了计算机算法的不足。 0042 本发明实施例中， 所述计算单元7还包括训练学习模型， 在所述计算单元7依据环 境信息计算得到陪护机器1执行预演指令的动作序列后， 将被调整后确认的动作序列作为 样本进行训练学习； 所述预演指令用于控制陪护机器1预先演示执行陪护目的。 0043 本发明实施例中， 所述训练学习模型还用于将陪护机。

22、器1实际执行的动作序列作 为样本进行训练学习。 0044 本发明实施例中， 所述训练学习模型还用于依据环境信息计算得到陪护机器1执 行控制指令的动作序列。 0045 在具体实施中， 预演指令， 即预演控制指令的指令。 0046 在具体实施中， 在用户5未下达控制指令时， 可以进行预演模式， 即在触屏显示屏3 中虚拟预演陪护机器1执行预演指令的情形， 用户5可以调整其中的动作序列。 在用户5确认 动作序列后， 可以将确认的动作序列作为样本对训练学习模型进行训练， 当然， 实际执行控 制指令时的动作序列同样作为样本进行训练学习。 在计算单元7的训练学习模型不断学习 训练后， 可以提升计算单元7依据。

23、环境信息计算得到的动作序列的合理性， 便于后续用户5 使用陪护机器1， 有利于更快地提高陪护机器控制系统的服务能力。 同时， 体现卧床用户5的 主导地位， 提高卧床用户5生活积极性。 0047 本发明实施例中， 还包括云端服务器8， 用于向计算单元7收集确认的动作序列和 相应的执行结果， 并处于与通信连接的陪护机器控制系统9分享状态。 0048 在具体实施中， 云端服务器8可以将收集的确认的动作序列和相应的执行结果存 储为历史记录， 并可以分享给与云端服务器8通信连接的陪护机器控制系统9。 在陪护机器 控制系统9向云端服务器8上传环境信息和相应的控制指令后， 云端服务器8从存储的历史 记录中可。

24、以反馈其他用户5调整成功的动作序列的方案； 或者云端服务器8的训练学习模型 在训练学习历史记录后， 可以对上传的环境信息和相应的控制指令进行计算， 反馈计算得 到的动作序列。 有利于更快地提高陪护机器控制系统的服务能力。 0049 本发明实施例中， 所述云端服务器8发送环境信息和训练指令至虚拟场景生成单 元和计算单元7， 所述计算单元7依据环境信息计算得到陪护机器执行训练指令的动作序列 后， 所述训练学习模型将被调整后确认的动作序列作为样本进行训练学习， 所述云端服务 说明书 4/5 页 6 CN 111267099 A 6 器8将被调整后确认的动作序列作为样本发送至原始陪护机器控制系统。 0。

25、050 在具体实施中， 云端服务器8可以在经其他卧床用户(对应原始陪护控制系统)同 意后， 在原始陪护控制系统上传该原始陪护控制系统的环境信息和与其对应的训练指令 (训练指令包括预演指令和控制指令)， 云端服务器8与当前陪护机器控制系统和原始陪护 控制系统共享环境信息和训练指令， 当前陪护机器控制系统依此进行预演模式， 即在触屏 显示屏3中虚拟预演陪护机器1执行训练指令的情形， 用户5可以调整其中的动作序列。 在用 户5确认动作序列后， 可以将确认的动作序列作为样本对训练学习模型进行训练， 同时云端 服务器8将被调整后确认的动作序列作为样本发送至原始陪护机器控制系统， 供原始陪护 机器控制系统进行学习训练。 说明书 5/5 页 7 CN 111267099 A 7 图1 说明书附图 1/1 页 8 CN 111267099 A 8 。