基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法.pdf

《基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法.pdf》由会员分享，可在线阅读，更多相关《基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910499121.8 (22)申请日 2019.06.10 (71)申请人 北京科技大学 地址 100083 北京市海淀区学院路30号 (72)发明人 贺威田淑芬付强穆新星 黄恺 (74)专利代理机构 北京市广友专利事务所有限 责任公司 11237 代理人 张仲波 (51)Int.Cl. G05D 1/00(2006.01) G05D 1/10(2006.01) G05D 1/08(2006.01) G05D 13/62(2006.01) G06F 3/01(2006.0。

2、1) G06T 19/00(2011.01) B64C 33/00(2006.01) (54)发明名称 基于虚拟现实的仿生扑翼飞行机器人远程 控制系统和方法 (57)摘要 本发明提供一种基于虚拟现实的仿生扑翼 飞行机器人远程控制系统和方法， 属于飞行器控 制技术领域。 该方法首先获取扑翼机姿态和位置 信息， 然后虚拟扑翼机模型根据真实扑翼机的信 息在仿真平台做出对应完全相同的动作； 再根据 GPS定位对应加载扑翼机所在环境场景， 使虚拟 环境与真实场景保持完全一致。 最后， 用户通过 观测虚拟仿真平台画面， 通过遥控器手柄控制飞 行器转向和速度； 虚拟控制平台接收用户遥控信 号并转发至真实扑翼。

3、机， 扑翼机执行控制指令后 的位姿状态再经由无线串口发送给虚拟控制平 台， 实现虚拟控制平台与实物平台的动作统一。 该方法扑翼机模型与环境的相对运动可以直观 地展现， 用户可以多层次， 多角度观察飞行状态。 权利要求书1页 说明书5页 附图4页 CN 110187700 A 2019.08.30 CN 110187700 A 1.一种基于虚拟现实的仿生扑翼飞行机器人远程控制系统， 其特征在于： 包括扑翼机 和虚拟控制平台， 扑翼机设置姿态传感器、 飞控板、 GPS和无线串口模块A， 虚拟控制平台包 括无线串口模块B、 上位机和遥控器； 飞控板上设置姿态传感器和GPS， 飞控板和无线串口模 块A。

4、相连， 遥控器控制上位机， 上位机与无线串口模块B进行数据传输， 无线串口模块A和无 线串口模块B进行数据传输。 2.应用权利要求1所述的基于虚拟现实的仿生扑翼飞行机器人远程控制系统的方法， 其特征在于： 包括步骤如下： S1： 真实扑翼机根据信号飞行； S2： 获取真实扑翼机姿态和位置信息； S3： 虚拟扑翼机模型根据S2中获得的真实扑翼机的信息在虚拟控制平台做出对应完全 相同的动作； S4： 根据GPS定位对应加载扑翼机所在环境场景； S5： 观测虚拟控制平台画面， 通过遥控器手柄控制扑翼机飞行状态， 如果扑翼机继续飞 行， 则返回S1， 如果扑翼机完成飞行任务， 则通过遥控手柄控制扑翼机。

5、降落。 3.根据权利要求2所述的基于虚拟现实的仿生扑翼飞行机器人远程控制方法， 其特征 在于： 所述S2中真实扑翼机的姿态信息包括飞行姿态角和飞行高度。 4.根据权利要求2所述的基于虚拟现实的仿生扑翼飞行机器人远程控制方法， 其特征 在于： 所述S2中真实扑翼机的姿态和位置信息通过无线传输模块传输到虚拟控制平台。 5.根据权利要求2所述的基于虚拟现实的仿生扑翼飞行机器人远程控制方法， 其特征 在于： 所述虚拟控制平台载有物理引擎， 能够检测碰撞， 设置刚体组件。 6.根据权利要求2所述的基于虚拟现实的仿生扑翼飞行机器人远程控制方法， 其特征 在于： 所述虚拟控制平台为unity3D平台。 7.。

6、根据权利要求2所述的基于虚拟现实的仿生扑翼飞行机器人远程控制方法， 其特征 在于： 所述S4具体过程如下： (1)遥测数据回传至地面站虚拟控制平台； (2)地面站虚拟控制平台对回传数据解析处理； (3)虚拟控制平台的仿真界面定位扑翼机当前位置并加载环境模型同时显示扑翼机姿 态， 实现扑翼机当前飞行状态重构与环境模型融合。 8.根据权利要求2所述的基于虚拟现实的仿生扑翼飞行机器人远程控制方法， 其特征 在于： 所述S5中通过遥控器手柄控制的扑翼机飞行状态包括航向左右变化、 俯仰角变化、 飞 行速度高低变化； 所述遥控器手柄能够替换为手机、 键盘任意一种输入设备。 权利要求书 1/1 页 2 CN。

7、 110187700 A 2 基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法 技术领域 0001 本发明涉及飞行器控制技术领域， 特别是指一种基于虚拟现实的仿生扑翼飞行机 器人远程控制系统和方法。 背景技术 0002 扑翼飞行机器人是一种模仿鸟类飞行方式的新型飞行器， 在军事和工业领域具有 广阔的应用前景： 如低空侦察， 城市作战， 环境监测等。 它的隐蔽性和低能耗等优点， 使得它 在军事和民用领域都具有重要的发展潜力。 对于某些隐蔽的飞行任务如敌情检测， 地形勘 察等活动， 如何实现对扑翼机的远程控制就显得尤为重要。 0003 现有的扑翼机控制方法主要采用遥控器控制， 由操作员根据飞行器。

8、的当前位置或 者摄像头传输的图像发送飞行指令， 指导飞行。 然而， 这种方法在扑翼机摄像头存在信号干 扰或照明情况不良的情况下无法正常使用。 为了解决这一问题， 本发明提出一种新型的远 程遥控方法， 通过对扑翼机所处物理环境及机身进行建模， 实时获取扑翼机姿态和位置， 将 真实模型映射到虚拟控制平台， 通过对虚拟平台的观测来发送控制指令。 相比于传统的远 程遥控方法， 本发明方法能更准确地判断周围环境， 规避障碍物， 确保飞行安全。 发明内容 0004 本发明要解决的技术问题是提供一种基于虚拟现实的仿生扑翼飞行机器人远程 控制系统和方法。 0005 该系统包括扑翼机和虚拟控制平台， 扑翼机设置。

9、姿态传感器、 飞控板、 GPS和无线 串口模块A， 虚拟控制平台包括无线串口模块B、 上位机和遥控器； 飞控板上设置姿态传感器 和GPS， 飞控板和无线串口模块A相连， 遥控器控制上位机， 上位机与无线串口模块B进行数 据传输， 无线串口模块A和无线串口模块B进行数据传输。 0006 应用该系统的方法包括步骤如下： 0007 S1： 真实扑翼机根据信号飞行； 0008 S2： 获取真实扑翼机姿态和位置信息； 0009 S3： 虚拟扑翼机模型根据S2中获得的真实扑翼机的信息在虚拟控制平台做出对应 完全相同的动作； 0010 S4： 根据GPS定位对应加载扑翼机所在环境场景， 虚拟环境与真实场景保。

10、持完全一 致； 0011 S5： 观测虚拟控制平台画面， 通过遥控器手柄控制扑翼机飞行状态， 如果扑翼机继 续飞行， 则返回S1， 如果扑翼机完成飞行任务， 则通过遥控手柄控制扑翼机降落。 0012 其中， S2中真实扑翼机的姿态信息包括飞行姿态角和飞行高度。 0013 S2中真实扑翼机的姿态和位置信息通过无线传输模块传输到虚拟控制平台。 0014 虚拟控制平台载有物理引擎， 能够检测碰撞， 设置刚体组件。 0015 虚拟控制平台为unity3D平台。 说明书 1/5 页 3 CN 110187700 A 3 0016 S4具体过程如下： 0017 (1)遥测数据回传至地面站虚拟控制平台； 0。

11、018 (2)地面站虚拟控制平台对回传数据解析处理； 0019 (3)虚拟控制平台的仿真界面定位扑翼机当前位置并加载环境模型同时显示扑翼 机姿态， 实现扑翼机当前飞行状态重构与环境模型融合。 0020 S5中通过遥控器手柄控制的扑翼机飞行状态包括航向左右变化、 俯仰角变化、 飞 行速度高低变化， 所述遥控器手柄可以替换为手机、 键盘等任意一种输入设备。 0021 本发明的上述技术方案的有益效果如下： 0022 (1)上述基于虚拟现实交互技术的扑翼机远程控制方法操作简单， 拓宽用户与扑 翼机飞行视野， 对于执行特定飞行任务的飞行器来说， 具有有效的指导预测作用。 0023 (2)场景和模型皆为三。

12、维显示， 组件之间采用刚体结构， 检测真实碰撞， 还原物理 特性。 可以展现真实视觉效果， 可用于虚拟现实同步。 0024 (3)相较于传统的采用摄像头观测环境， 本发明方法提供了一种观测扑翼机飞行 过程的新方法， 更加直观、 清晰、 有益于指导飞行。 0025 (4)单次飞行过程的数据可以以视频形式留存， 以便后续飞行积累经验。 相较于传 统的数字和曲线等数据留存方式， 飞行器与环境的交互过程都被记录下来， 有利于后期数 据分析。 0026 (5)在夜间或者照明不良的情况下， 或者摄像头无法保证清晰的观测视野的条件 下， 本发明方法也能根据虚拟环境模型判断周围环境， 规避障碍物， 确保飞行安。

13、全。 附图说明 0027 图1为本发明的基于虚拟现实的仿生扑翼飞行机器人远程控制系统结构示意图； 0028 图2为本发明基于虚拟现实的仿生扑翼飞行机器人远程控制方法的逻辑流程图； 0029 图3为本发明远程控制方法的软件流程图； 0030 图4为扑翼机模型姿态重构与环境融合的软件流程图。 具体实施方式 0031 为使本发明要解决的技术问题、 技术方案和优点更加清楚， 下面将结合附图及具 体实施例进行详细描述。 0032 本发明提供一种基于虚拟现实的仿生扑翼飞行机器人远程控制系统和方法。 0033 如图1所示， 该系统扑翼机和虚拟控制平台， 扑翼机设置姿态传感器、 飞控板、 GPS 和无线串口模。

14、块A， 虚拟控制平台包括无线串口模块B、 上位机和遥控器； 飞控板上设置姿态 传感器和GPS， 飞控板和无线串口模块A相连， 遥控器控制上位机， 上位机与无线串口模块B 进行数据传输， 无线串口模块A和无线串口模块B进行数据传输。 0034 应用该系统的方法包括步骤如下： 0035 S1： 真实扑翼机根据信号飞行； 0036 S2： 获取真实扑翼机姿态和位置信息； 0037 S3： 虚拟扑翼机模型根据S1中获得的真实扑翼机的信息在虚拟控制平台做出对应 完全相同的动作； 说明书 2/5 页 4 CN 110187700 A 4 0038 S4： 根据GPS定位对应加载扑翼机所在环境场景； 003。

15、9 S5： 观测虚拟控制平台画面， 通过遥控器手柄控制扑翼机飞行状态(遥控器左侧摇 杆在水平方向的移动对应扑翼机航向的左右变化， 竖直方向对应扑翼机俯仰角变化。 遥控 器右侧摇杆竖直方向的移动对应扑翼机飞行速度的高低变化)， 如果扑翼机继续飞行， 则返 回S1， 如果扑翼机完成飞行任务， 则通过遥控手柄控制扑翼机降落。 0040 本发明方法的被控主体以扑翼飞行器为例， 实际应用过程中也可以有效兼容包括 四旋翼、 固定翼在内的其他小型无人机。 0041 其中扑翼机部分主要用以飞控板为核心的飞行控制系统(以下简称飞控系统)表 示。 飞控板上搭载姿态传感器、 GPS定位系统以及无线传输模块A。 00。

16、42 这里需要做出特殊说明的是： 大部分可操纵的扑翼机都具有飞控系统， 并携带无 线传输模块、 姿态传感器和GPS导航模块， 可以直接移植并应用到本方法的软件上位机。 本 发明方法主要对未搭载以上传感器的扑翼机做出进一步解释： 0043 本方法需要用到的设备包括WT901B姿态传感器模块和AS69-T20无线串口模块以 及GPS导航模块， 其中姿态传感器模块可检测三轴加速度、 三轴陀螺仪、 三轴欧拉角、 三轴磁 力计以及气压和高度信息， 本实施例选择的数据回传内容为三轴欧拉角信息和高度信息， 用于获取扑翼机当前三轴姿态角(俯仰角、 偏航角、 滚转角)和高度； GPS导航模块用于获取 当前扑翼机。

17、的位置信息； 无线串口模块用于实现扑翼机与虚拟控制平台的信息交互。 0044 其中， 以上三个模块分别与飞控板连接， 其中， 数据传输方向为： 姿态传感器模块 和GPS导航模块检测飞行数据， 传递到飞控板， 由飞控板上的串口与无线串口模块A进行数 据交互， 再通过无线串口模块A的发送端将姿态等信息以16进制数发送给无线串口模块B的 接收端。 0045 串口A和串口B使用无线连接， 连接方式为两串口设置同一通信波特率， 根据姿态 传感器模块的串口通信协议进行数据编码和解码， 从而实现扑翼机与虚拟控制平台的数据 传输。 以上模块为了减小体积和重量， 可集成化。 根据飞行需要， 飞控系统还可以增加其。

18、它 传感器如摄像头模块。 0046 虚拟控制平台由无线传输模块B、 上位机软件以及输入设备组成。 无线串口传输模 块和输入设备都是通过USB接口与电脑进行连接， 从而使虚拟控制平台能够获取串口数据 和输入指令。 其中上位机软件是基于unity3D开发的， 可实现如下功能： 接收遥控器操作指 令、 接收无线传输模块数据信息并解码、 通过UI界面与用户进行交互、 实时显示环境模型以 及扑翼机模型运动姿态、 记录和保存飞行过程、 通过串口模块向真实扑翼机发送控制指令 等功能。 0047 本领域技术人员可以理解， 图1中示出的结构， 仅仅是与本申请方案相关的部分结 构的框图， 并不构成对本申请方案所应。

19、用于其上的模块的限定， 具体电子模块可以包括比 图中所示更多或更少的部件， 或者选用其他型号， 或者组合某些部件， 或者具有不同的部件 布置。 0048 参见附图2-4所示， 基于虚拟现实交互技术的扑翼机远程控制方法包括以下步骤： 0049 步骤一： 扑翼机根据遥控信号飞行。 0050 具体地， 用户通过输入设备对虚拟控制平台发出控制指令， 虚拟控制平台接收用 户遥控信号经由无线串口B转发至真实扑翼机。 扑翼机根据遥控信号改变飞行方向或调整 说明书 3/5 页 5 CN 110187700 A 5 飞行速度。 该指令包括但不限于左转， 右转， 上仰， 俯冲、 滑行等。 0051 步骤二： 获取。

20、扑翼机飞行数据。 0052 无线串口模块A将扑翼机姿态传感器的姿态信息和导航模块的位置信息由串口发 送端传输到无线串口模块B。 0053 具体地， 姿态传感器模块通过模块自身携带的传感器获得三轴姿态角和高度， 导 航模块获得当前经纬度信息， 根据串口传输协议， 通过串口模块A， 以16进制数据发送到串 口模块B。 0054 步骤三： 打开unity3D平台， 显示扑翼机位姿信息。 0055 本发明方法的虚拟控制平台基于unity3D软件， 是整个装置的主体部分。 用于处理 收到的数据以及显示扑翼机飞行， 呈现三维物理环境以及发送控制指令。 实例实现过程为： 打开虚拟控制平台， 插入串口模块， 。

21、搜索串口所在的端口号并实现连接。 0056 步骤四： 判断是否正确接收串口数据， 若是， 执行步骤五， 否则， 返回步骤三。 0057 为避免由于飞行环境影响或者偶然因素引起无线串口传输模块无法正确传输数 据， 需要对串口状态进行检测， 具体地， 若正确连接串口， 则虚拟控制平台可即时显示飞行 的三轴姿态角和高度信息以及扑翼机定位(以数据形式)。 相应的， 虚拟扑翼机模型也会实 时呈现飞行姿态。 0058 若未正确连接串口， 则该平台会打印错误提示信息， 显示界面静止， 飞行姿态等数 据栏为空。 0059 步骤五： 定位扑翼机位置， 实时显示当前飞行姿态。 0060 具体地， 若串口A和B正确。

22、连接， 无线传输模块之间实现了数据的正常通信， 即串口 B接收到正确的数据； 串口B与上位机软件正确连接， 则虚拟控制平台可根据传输协议解码 串口B传输回来的16进制数据信息， 并将其转化为扑翼机模型的运动， 同时将定位信息加载 到真实扑翼机所在环境的场景模型， 复现其运动状态。 0061 对应于图3本发明远程控制方法的软件流程图步骤如下： 0062 1.遥测数据回传至地面站虚拟控制平台。 0063 2.地面站虚拟控制平台对回传数据解析处理。 0064 3.虚拟仿真界面定位扑翼机当前位置并加载环境模型同时显示扑翼机姿态， 实现 扑翼机当前飞行状态重构与环境模型融合： 0065 其中参见图4扑翼。

23、机姿态重构与环境融合的具体软件流程如下： 0066 (1)设置unity工作环境， 完成初始化过程。 0067 (2)创建场景导入扑翼机模型。 0068 (3)调用C#脚本， 应用DataReceive函数读取缓冲区中姿态和位置信息。 其中C#为 unity软件指定的编程语言， DataReceive函数主要的功能为将上述串口A、 B传输的16进制 数据包解码成可直观理解的十进制数据。 具体地， 在此得到经纬度和三轴姿态角度。 0069 (4)根据当前回传姿态信息设定三维模型绕unity世界坐标系的旋转角度重构扑 翼机飞行姿态， 使扑翼机模型在unity界面可以呈现与实际扑翼机相同的运动姿态。。

24、 同时， 根据当前回传位置信息加载对应环境模型。 0070 (5)渲染场景实现扑翼机模型和环境模型的融合， 包括检测物理碰撞和相对位置。 0071 (6)定时刷新unity界面窗口， 返回步骤(3)， 再次获取缓冲区信息， 以实现实时交 说明书 4/5 页 6 CN 110187700 A 6 互。 0072 (7)程序退出释放资源。 0073 举例说明， 在某次飞行任务中， 根据GPS模块的信息显示， 扑翼机位于 “北京科技大 学五环广场” 正中央位置， 平稳飞行， 则虚拟控制平台加载出预先构建好的 “北京科技大学 五环广场” 模型， 定位扑翼机的具体位置， 使扑翼机模型与环境模型的相对位置。

25、与真实场景 一致， 飞行姿态也与实物扑翼机一致， 从而复现真实扑翼机的运动姿态。 0074 步骤六： 根据界面， 判断是否发出控制指令。 若仍需扑翼机进一步飞行， 则返回步 骤一； 若已完成飞行任务， 则可平稳降落， 结束。 0075 4.操作虚拟控制平台产生控制指令。 0076 5.最终实现远程遥控扑翼机。 0077 由于扑翼机和环境模型是与真实场景一一对应的， 虚拟扑翼机的飞行状态和与周 遭环境的相对位置都是与真实场景一致的， 因此， 当真实扑翼机远离用户视野时， 我们可以 通过观察上位机界面的虚拟模型飞行情况来给出控制指令。 0078 具体地， 用户通过软件界面窗口观察扑翼机飞行过程， 。

26、给出左右转向， 上仰， 俯冲 等飞行指令； 举例来说， 当上位机界面显示扑翼机左前方出现障碍物， 此时我们可以给出避 障的指令， 该指令可以通过遥控器手柄的左右摇杆给出， 将右侧摇杆下压， 降低飞行速度， 将左侧摇杆右压， 使扑翼机向右方飞行， 躲避障碍物。 0079 此时发出的控制指令给到真实扑翼机身上， 扑翼机根据遥控信号飞行。 即回到步 骤一， 实现了新一轮的运动， 因此， 在此控制过程中， 只要未完成飞行任务， 实物平台和仿真 平台总能完成持续的双向交互， 直至完成飞行任务。 0080 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以 通过计算机程序来指令相关的。

27、硬件来完成， 所述的程序可储存于存储介质中， 该程序在执 行时， 可包括如上述各方法的实施例的流程。 0081 以上所述是本发明的优选实施方式， 应当指出， 对于本技术领域的普通技术人员 来说， 在不脱离本发明所述原理的前提下， 还可以做出若干改进和润饰， 这些改进和润饰也 应视为本发明的保护范围。 说明书 5/5 页 7 CN 110187700 A 7 图1 说明书附图 1/4 页 8 CN 110187700 A 8 图2 说明书附图 2/4 页 9 CN 110187700 A 9 图3 说明书附图 3/4 页 10 CN 110187700 A 10 图4 说明书附图 4/4 页 11 CN 110187700 A 11 。