全息技术下矿井综采工作面的远程干预AR巡检系统.pdf

《全息技术下矿井综采工作面的远程干预AR巡检系统.pdf》由会员分享，可在线阅读，更多相关《全息技术下矿井综采工作面的远程干预AR巡检系统.pdf（8页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010102530.2 (22)申请日 2020.02.19 (71)申请人 太原理工大学 地址 030000 山西省太原市迎泽西大街79 号 (72)发明人 王学文王彬彬李娟莉谢嘉成 孙梦帧崔涛沈宏达温利强 刘怡梦 (74)专利代理机构 太原晋科知识产权代理事务 所(特殊普通合伙) 14110 代理人 任林芳 (51)Int.Cl. E21C 35/24(2006.01) (54)发明名称 一种全息技术下矿井综采工作面的远程干 预AR巡检系统 (57)摘要 本发明公开了一。

2、种全息技术下矿井综采工 作面的远程干预AR巡检系统， 包括物理综采系 统、 图像采集中心、 全息投影中心、 集中控制中心 和AR巡检系统。 利用物理综采系统、 图像采集中 心和集中控制中心进行数据采集和初步处理， 转 化为数字信号数据， 并发送到全息投影中心， 通 过全息投影中心转化为矿井综采工作面和综采 设备结合的三维全息图像， 并通过AR设备进行实 时巡检监控。 通过本发明， 能够采用全息投影技 术对矿井综采工作面实时运行状况进行监测控 制， 并在此基础上使用AR设备进行井下人工巡检 及远程干预。 权利要求书1页 说明书5页 附图1页 CN 111119887 A 2020.05.08 C。

3、N 111119887 A 1.一种全息技术下矿井综采工作面的远程干预AR巡检系统， 其特征在于， 包括物理综 采系统、 图像采集中心、 全息投影中心、 集中控制中心和AR巡检系统； 其中， 物理综采系统用于采集矿井综采工作面的综采装备的实时运行数据及当前矿井 综采工作面的地质煤层数据； 图像采集中心用于接收物理综采系统采集的当前矿井综采工作面的地质煤层数据， 光 学全息术和三维激光扫描技术， 结合高精度GPS定位系统将地质煤层数据转化为数字信号 数据； 集中控制中心， 用于接收物理综采系统采集的综采装备的实时运行数据， 利用全息影 像技术， 将井下综采装备的实时运行数据进行时刻真实记录； 全。

4、息投影中心， 连接图像采集中心和集中控制中心， 将图像采集中心和集中控制中心 的地质煤层数据和实时运行数据的数字信号进行图像处理， 得到三维图像， 在三维图像中 关联综采工作面综采装备、 数字化顶底板和三机装备在一个和多个采煤循环内的连接关 系， 以及三维地理环境的内在动态耦合关系， 呈现在全息投影膜上， 以对矿井综采工作面的 综采装备进行实时监控； AR巡检系统用于在使用AR设备进行井下巡检时， 通过AR设备以第一人称视角将现场画 面实时回传到全息投影膜上， 进行双向音视频、 发送文字、 图片、 标记功能， 实现指导井下工 人完成故障排查， 解决问题。 2.根据权利要求1所述的全息技术下矿井。

5、综采工作面的远程干预AR巡检系统， 其特征 在于， 全息投影膜采用的是一种高性能双面显示幻影成像膜， 使影像产生极大立体纵深感， 用于显示地质煤层模型、 综采装备运行画面和AR画面。 3.根据权利要求1所述的全息技术下矿井综采工作面的远程干预AR巡检系统， 其特征 在于， 全息投影中心包括图像显示区和交互中心； 其中， 图像显示区由交互中心操控， 通过设置全息投影膜， 将采集到的地质煤层数据和 综采装备实时运行数据利用图像处理工作中心转化为三维画面， 同时将综采工作面装备、 数字化顶底板和三机装备在一个和多个采煤循环内的连接关系， 以及三维地理环境的内在 动态耦合关系真实地呈现在全息投影膜上；。

6、 交互中心包括光学传感器、 应用服务器、 PLC控制系统和交互界面； 交互中心通过光学传感器感应到人的手势动作， 在交互界面上触屏按键发布命令控制 图像画面切换， 驱动应用服务器利用PLC控制系统对矿井综采装备进行控制， 交互界面用于 进行人机交互。 4.根据权利要求3所述的全息技术下矿井综采工作面的远程干预AR巡检系统， 其特征 在于， AR巡检系统包括AR设备， AR设备通过无线信号与交互中心建立双向连接， 工人巡检的 时候看到的画面传回交互中心， 交互中心与AR设备建立语音连接， 以实现远程指挥现场人 员进行设备的维修。 权利要求书 1/1 页 2 CN 111119887 A 2 一种。

7、全息技术下矿井综采工作面的远程干预AR巡检系统 技术领域 0001 本发明涉及矿井巡检领域， 具体为一种全息技术下矿井综采工作面的远程干预AR 巡检系统。 背景技术 0002 在工业4.0中， 除了VR技术外， 全息投影技术、 AR （增强现实） 技术作为 “后互联网时 代” 一项革命性的认知工具、 效率工具， 已经成为促进智能制造各方面变革、 工业产业升级 的关键技术之一， 并也已经在智能制造生产系统中进行应用。 目前， 在煤矿领域中争相推出 使用虚拟现实技术进行综采工作面的监测， 全息技术相比于虚拟现实技术的沉浸性， 对还 原井下真实场景更具有优势， 可以360 无死角的在现实世界中把井下。

8、场景还原， 并可以模 拟三维地质煤层构造， 不再局限于视频监控、 二维监控或者是虚拟现实沉浸式监控。 0003 公开论文 “一种基于数字孪生的综采工作面生产系统设计与运行模式” ， 目标是建 立一个在虚拟环境中复现综采工作面生产系统， 使得综采工作面生产系统的虚拟空间模型 和物理空间模型处于实时交互中， 并能及时对彼此的动态变化做出响应， 采用数字孪生技 术对综采装备产品设计、 煤层地质信息条件、 设备选型与工艺流程安排、 设备布局与虚拟运 行和生产系统实时监控等过程进行无缝集成、 改进优化， 进一步为无人化智能化数字化开 采提供理论与技术支撑。 0004 申请号为201811110895 .。

9、9， 名称为 “一种虚拟现实矿井综采工作面的远程巡检干 预方法” ， 该发明是将综采工作面装备实时传回的数据及物探数据构建虚拟软件， 实时数据 驱动虚拟综采工作面并呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心中， 利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作， 虚拟现实硬件与软件 对操作人员位置、 姿态和动作进行捕捉， 并将虚拟操作转化为现实指令并接入集中控制中 心进行真实设备的操作， 指引相对应操作的设备完成调整工作， 进而完成远程人工干预和 人工巡检任务， 并对真实的综采工作面实时运行工况进行真实呈现， 进而进行监控。 0005 但上述方法的缺陷在于： 一是人机交。

10、互步骤过于繁琐， 需要专门的穿戴式设备、 体 感交互设备、 数据手套和数据衣等交互设备； 二是只有操作人员穿戴好交互设备才能看见 沉浸式画面， 这也是虚拟现实技术发展的局限性； 三是虽然人不用去井下巡检， 但需要穿戴 交互设备的人虚拟操作的相当准确才能将维修对应的井下装备， 而且也需要监控准确的前 提， 远不如现场维修方便。 发明内容 0006 本发明要解决的具体技术问题在于如何采用全息投影技术对矿井综采工作面实 时运行状况进行监测控制， 并在此基础上使用AR设备进行井下人工巡检及远程干预。 0007 本发明提供的技术方案为一种全息技术下矿井综采工作面的远程干预AR巡检系 统， 包括物理综采系。

11、统、 图像采集中心、 全息投影中心、 集中控制中心和AR巡检系统； 其中， 物理综采系统用于采集矿井综采工作面的综采装备的实时运行数据及当前矿井 说明书 1/5 页 3 CN 111119887 A 3 综采工作面的地质煤层数据； 图像采集中心用于接收物理综采系统采集的当前矿井综采工作面的地质煤层数据， 光 学全息术和三维激光扫描技术， 结合高精度GPS定位系统将地质煤层数据转化为数字信号 数据； 集中控制中心， 用于接收物理综采系统采集的综采装备的实时运行数据， 利用全息影 像技术， 将井下综采装备的实时运行数据进行时刻真实记录； 全息投影中心， 连接图像采集中心和集中控制中心， 将图像采集。

12、中心和集中控制中心 的地质煤层数据和实时运行数据的数字信号进行图像处理， 得到三维图像， 在三维图像中 关联综采工作面综采装备、 数字化顶底板和三机装备在一个和多个采煤循环内的连接关 系， 以及三维地理环境的内在动态耦合关系， 呈现在全息投影膜上， 以对矿井综采工作面的 综采装备进行实时监控； AR巡检系统用于在使用AR设备进行井下巡检时， 通过AR设备以第一人称视角将现场画 面实时回传到全息投影膜上， 进行双向音视频、 发送文字、 图片、 标记功能， 实现指导井下工 人完成故障排查， 解决问题。 0008 其中， 全息投影膜采用的是一种高性能双面显示幻影成像膜， 使影像产生极大立 体纵深感，。

13、 用于显示地质煤层模型、 综采装备运行画面和AR画面。 0009 其中， 全息投影中心包括图像显示区和交互中心； 其中， 图像显示区由交互中心操控， 通过设置全息投影膜， 将采集到的地质煤层数据和 综采装备实时运行数据利用图像处理工作中心转化为三维画面， 同时将综采工作面装备、 数字化顶底板和三机装备在一个和多个采煤循环内的连接关系， 以及三维地理环境的内在 动态耦合关系真实地呈现在全息投影膜上； 交互中心包括光学传感器、 应用服务器、 PLC控制系统和交互界面； 交互中心通过光学传感器感应到人的手势动作， 在交互界面上触屏按键发布命令控制 图像画面切换， 驱动应用服务器利用PLC控制系统对矿。

14、井综采装备进行控制， 交互界面用于 进行人机交互。 0010 其中， AR巡检系统包括AR设备， AR设备通过无线信号与交互中心建立双向连接， 工 人巡检的时候看到的画面传回交互中心， 交互中心与AR设备建立语音连接， 以实现远程指 挥现场人员进行设备的维修。 0011 本发明的一种全息技术下矿井综采工作面的远程干预AR巡检系统， 其优点和突出 创新点如下： 本方法与现有的井下综采设备的二维视频监控相比， 将全息技术应用在了井下， 对地 质地形扫描并转化为三维模型， 同时对实时运行的综采工作面进行三维立体监控， 真实地 复刻还原了井下场景， 真正实现了透明化开采的目标， 并结合AR技术应用在远。

15、程巡检上。 0012 本方法将解决现有井下人工巡检出现的存在巡检者视角受限、 只能观测到局部较 少信息、 人工主观判断存在局限性和全自动运行模式过程中巡检人员经过易发生危险等问 题， 将AR巡检的视野画面经过图像处理中心处理之后远程呈现在实验室中， 以便现场专家 远程指导工作人员进行设备检查维修。 0013 本方法对于一些虚拟现实技术进行井下监控的问题， 虚拟现实技术停留在VR的动 画展示阶段， 只能在演示中实现简单的人机交互， 被局限在头戴设备中， 本方法将把人从虚 说明书 2/5 页 4 CN 111119887 A 4 拟的世界中解放出来， 将虚拟画面呈现在现实世界中， 并可以实现人机交。

16、互， 远程端控制综 采设备； 本方法将全息技术与煤矿领域结合， 这对煤矿领域的透明化无人化发展具有重要意 义。 附图说明 0014 图1 是本发明提供的一种全息技术下矿井综采工作面的远程干预AR巡检系统的 结构示意图。 0015 图2是本发明提供的一种全息技术下矿井综采工作面的远程干预AR巡检系统中佩 戴AR设备进行巡检的示意图。 具体实施方式 0016 下面结合具体实施方式对本发明的技术方案作进一步更详细的描述。 显然， 所描 述的实施例仅仅是本发明的一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例， 都应属于。

17、 本发明保护的范围。 0017 附图1为本发明的主要内容和流程。 该系统包括： 物理综采系统、 图像采集中心、 全息投影中心、 集中控制中心和AR巡检系统； 其中， 物理综采系统用于采集矿井综采工作面的综采装备的实时运行数据及当前矿井 综采工作面的地质煤层数据； 图像采集中心用于接收物理综采系统采集的当前矿井综采工作面的地质煤层数据， 光 学全息术和三维激光扫描技术， 结合高精度GPS定位系统将地质煤层数据转化为数字信号 数据； 其中， 实现数据转化可利用全息扫描设备， 全息扫描设备是一种集光学全息术和三维 激光扫描技术为一体的设备， 再加上高精度GPS定位系统将探测到的矿山地质煤层数据转 化。

18、为可以直接处理的数字信号； 集中控制中心， 用于接收物理综采系统采集的综采装备的实时运行数据， 利用全息影 像技术， 将井下综采装备的实时运行数据进行时刻真实记录； 其中， 实现数据转化可利用全 息影像设备， 全息影像设备是一种利用全息影像技术， 即干涉和衍射原理， 将井下综采装备 的实时运行状况进行时刻真实记录的一种监控设备； 全息投影中心， 连接图像采集中心和集中控制中心， 将图像采集中心和集中控制中心 的地质煤层数据和实时运行数据的数字信号进行图像处理， 得到三维图像， 在三维图像中 关联综采工作面综采装备、 数字化顶底板和三机装备在一个和多个采煤循环内的连接关 系， 以及三维地理环境的。

19、内在动态耦合关系， 呈现在全息投影膜上， 以对矿井综采工作面的 综采装备进行实时监控； 在具体实施过程中， 全息投影中心是一个实验室， 创建有图像显示区和交互中心两个 工作平台， 图像显示区由交互中心操控， 在工作台上搭建有全息投影膜， 全息扫描设备采集 到的物理综采系统的地质煤层数据和全息影像设备采集到的综采装备实时运行数据利用 图像处理工作中心转化为三维画面， 经过图像显示系统处理后， 最后经过全息投影设备将 综采工作面装备、 数字化顶底板和三机装备在一个和多个采煤循环内的连接关系， 以及三 说明书 3/5 页 5 CN 111119887 A 5 维地理环境的内在动态耦合关系真实地呈现在。

20、全息投影膜上， 在实验室中还原修补了井下 场景， 将地质煤层、 综采工作面及三机等装备全部展示出来， 操作人员在交互界面上发布指 令， 光学感应器接受到信号并驱动服务器利用PLC控制系统对井下综采装备进行控制。 0018 图像处理工作中心是将全息扫描设备与全息影像设备采集到的数字信号转化为 三维模型的一个数据处理中心； 图像显示系统是将图像处理工作中心的三维模型选择性的 进行关联处理的一个系统。 0019 所述交互中心包括光学传感器、 应用服务器、 控制系统和交互界面， 光学传感器可 以感应到人的手势动作， 在交互界面上触屏按键发布命令控制图像画面切换来实现以下功 能：（1） 给集中控制中心发。

21、布命令通过PLC直接控制综采装备的启停、 运转、 截割路径、 运输 量；（2） 预估三机动向， 以防出现危机， 如： 单独调出正在运转的采煤机， 投影膜上会呈现出 采煤机下一步将要进行的的截割速度、 方向等各数据和运行的真实画面， 然后自动判别是 否在预计轨道、 方位上运行， 如果出现错误， 交互中心向集控中心发出指令， PLC控制真实场 景自动矫正；（3） 远程操作AR系统， 使用AR设备进行井下巡检时， 交互中心用无线信号控制 AR巡检系统， 可以远程语音指导现场人员操作。 0020 AR巡检系统用于在使用AR设备进行井下巡检时， 通过AR设备以第一人称视角将现 场画面实时回传到全息投影膜。

22、上， 进行双向音视频、 发送文字、 图片、 标记功能， 实现指导井 下工人完成故障排查， 解决问题。 0021 其中， 全息投影膜采用的是一种高性能双面显示幻影成像膜， 使影像产生极大立 体纵深感， 用于显示地质煤层模型、 综采装备运行画面和AR画面。 0022 其中， 全息投影中心包括图像显示区和交互中心； 其中， 图像显示区由交互中心操控， 通过设置全息投影膜， 将采集到的地质煤层数据和 综采装备实时运行数据利用图像处理工作中心转化为三维画面， 同时将综采工作面装备、 数字化顶底板和三机装备在一个和多个采煤循环内的连接关系， 以及三维地理环境的内在 动态耦合关系真实地呈现在全息投影膜上； 。

23、交互中心包括光学传感器、 应用服务器、 PLC控制系统和交互界面； 交互中心通过光学传感器感应到人的手势动作， 在交互界面上触屏按键发布命令控制 图像画面切换， 驱动应用服务器利用PLC控制系统对矿井综采装备进行控制， 交互界面用于 进行人机交互。 0023 其中， AR巡检系统包括AR设备， AR设备通过无线信号与交互中心建立双向连接， 工 人巡检的时候看到的画面传回交互中心， 交互中心与AR设备建立语音连接， 以实现远程指 挥现场人员进行设备的维修。 0024 下面通过实施例对本发明的具体实施方式做出进一步的说明。 0025 工作人员在矿井下佩戴AR设备进行巡检， 如附图2所示， 专家在全。

24、息投影中心实验 室中进行指导， AR技术基于真实的图像的装备状态的识别， 为巡检者提供高精度导航地图 和参考， AR设备与交互中心联网后， 里面包含了综采设备的全部信息， 当工作人员正在检查 一台采煤机的时候， 语音输入该采煤机的型号， AR眼镜对该采煤机进行全面扫描分析， 判断 哪部分出现故障， 视野自动拉到相应部分上， 并通过无线信号将画面传递给图像处理中心， 经过全息投影设备投影到全息投影膜上， 专家在实验室进行仔细判断， 确定好修改方案后 与工作人员建立远程视频对话， 指导工人按步骤处理故障。 说明书 4/5 页 6 CN 111119887 A 6 0026 以上仅为本发明的实施方式， 并非因此限制本发明的专利范围， 凡是利用本发明 说明书及附图内容所作的等效结构或等效流程变换， 或直接或间接运用在其他相关的技术 领域， 均同理包括在本发明的专利保护范围内。 说明书 5/5 页 7 CN 111119887 A 7 图1 图2 说明书附图 1/1 页 8 CN 111119887 A 8 。