一种头戴式智能眼镜显示控制方法及装置技术领域
本发明涉及虚拟现实技术领域,具体涉及一种基于虚拟现实的头戴式智能
眼镜控制方法及控制装置,特别是头戴式智能眼镜屏幕显示和操作的控制方法
及控制装置。
背景技术
虚拟现实(Virtual Reality,简称VR)是近年来出现的高新技术,也称人工
环境。虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界,提供使用者关
于视觉、听觉、触觉等感官的模拟,让使用者如同身临其境一般,可以及时、
没有限制地观察三度空间内的事物。头戴式可视设备(Head Mounted Display)
是人类实现虚拟现实技术的装备之一,又称头戴式智能眼镜。
现在的全沉浸头戴式智能眼镜均为采用与电脑相连,数据同步;当头戴式
智能眼镜与电脑链接成功后,电脑的显示屏及桌面显示,将同步直接显示在头
戴式智能眼镜内置的显示屏上;由于头戴式智能眼镜光学系统中左右眼光路都
是独立,即人左眼通过头戴式智能眼镜仅能看到头戴式智能眼镜的内置屏幕的
左半部分显示,人右眼通过头戴式智能眼镜仅能看到头戴式智能眼镜的内置屏
幕的右半部分显示,因此,在现有技术操作下,当头戴式智能眼镜与电脑联通
之后,人左右眼通过头戴式智能眼镜所看到不是完整的电脑屏幕桌面显示;人
无法通过戴上头戴式智能眼镜后与电脑进行同步操作控制,这样操作十分不方
便。因此,如何提高头戴式智能眼镜操控便捷性,成为一个有待进一步解决的
问题。
发明内容
本发明提供一种基于虚拟现实的头戴式智能眼镜显示控制方法及装置,利
用图像复制、缩放、SDK处理及合成等技术,用以解决现有虚拟现实技术中头戴
式智能眼镜存在操控不方便,影响用户体验效果的问题。
为了实现上述发明目的,本发明提供了一种头戴式智能眼镜显示控制方法,
包括:
复制计算机屏幕显示图像;
针对所述复制图像进行缩放处理;
通过软件开发工具包SDK,将所述缩放后的图像进行处理;
针对所述处理后的图像,进行复制合成;
输出显示所述复制合成后的图像。
优选的,上述方法中,
所述复制计算机屏幕显示图像,进一步包括:通过图形设备接口GDI复制
或多媒体编程接口DIRECT X复制。
优选的,上述方法中,
所述GDI复制,进一步包括:
获取屏幕显示图像所对应的显示上下文DC;
创建和目标图像关联的显示上下文DC;
通过调用BitBlt应用程序编程接口API复制所述获取屏幕显示图像所对应
的显示上下文DC到所述创建和目标图像关联的显示上下文DC中;
获取内存目标图像,输出内存目标图像。
优选的,上述方法中,
所述DIRECT X复制,进一步包括:
将执行复制功能的动态链接库DLL远程注入目标进程;
初始化复制功能的动态链接库DLL,并通过HOOK技术HOOK DIRECT X相关
API;
在HOOK的函数中复制显示图片到共享内存;
获取内存目标图像,输出内存目标图像。
优选的,上述方法中,
所述HOOK技术HOOK DIRECT X相关API步骤所述的API,进一步包括:帧切
换和位切换传递操作相关API或用呈现Present更新接口相关API。
优选的,上述方法中,
针对所述复制图像进行缩放处理缩放处理,进一步包括:
将所述复制图像缩小至二分之一或预先设定大小。
优选的,上述方法中,
所述针对所述处理后的图像,进行复制合成;进一步是指:
以所述处理后的图像为标准,复制一幅相同图像;
将处理后的图像和所述复制的图像,拼接合成一幅图像。
优选的,上述方法中,
在所述复制计算机屏幕显示图像前,所述智能眼镜接入计算机。
优选的,上述方法中,
所述智能眼镜与计算机之间的连接,进一步可以为有线连接和无线连接;
所述有线连接,进一步包括但不限于,视频通过高清晰度多媒体接口HDMI
传输,数据反馈通过通用串行总线USB传输;
所述无线连接,进一步包括但不限于,视频通过无线家庭数字接口WHDI或
无线高清协议WIRELESSHD传输,数据反馈通过蓝牙或工业科学媒体ISM频段传
输。
相应的,本发明还提供了一种头戴式智能眼镜显示控制装置,包括:
复制模块,用于复制计算机屏幕显示图像;
缩放模块,用于针对所述复制图像进行缩放处理;
SDK处理模块,用于通过软件开发工具包SDK,将所述缩放后的图像进行处
理;
复制合成模块,用于针对所述处理后的图像,进行复制合成;
输出模块,用于输出显示所述复制合成后的图像。
通过使用本发明所提供的头戴式智能眼镜显示控制方法及装置,可以极大
提高通过头戴式智能眼镜体验虚拟现实技术的操控准确性及方便度,提高了人
参与虚拟现实世界的体验效果。
附图说明
图1为本发明实施例所述的显示控制方法的流程示意图;
图2为本发明实施例所述的显示控制装置的结构示意图。
具体实施方式
在陈述本发明实施例之前,先行说明下立体成像一般原理:人的视觉之所
以能分辨远近,是靠两只眼睛的差距。人的两眼分开约5公分,两只眼睛除了
瞄准正前方以外,看任何一样东西,两眼的角度都不会相同。虽然差距很小,
但经视网膜传到大脑里,脑子就用这微小的差距,产生远近的深度,从而产生
立体感。一只眼睛虽然能看到物体,但对物体远近的距离却不易分辨。根据这
一原理,如果把同一图像,用两只眼睛视角的差距制造出两个影像,然后让两
只眼睛一边一个,各自眼球看到自己一边的影像,透过视网膜就可以使大脑产
生景深的立体感了。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清
楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全
部的实施例。基于本发明的实施例,本领域普通技术人员在没有创造性劳动下
所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例所述的一种头戴式智能眼镜显示控制方法,应
用于一电子设备。该电子设备优选为虚拟现实设备即头戴式智能眼镜、智能头
盔和头戴显示器等。所述屏幕控制方法包括以下步骤:
步骤11,复制计算机屏幕显示图像;
步骤12,针对所述复制图像进行缩放处理;
步骤13,通过软件开发工具包SDK,将所述缩放后的图像进行处理;
步骤14,针对所述处理后的图像,进行复制合成;
步骤15,输出显示所述复制合成后的图像。
以上步骤11中,所述复制计算机屏幕显示图像,是指将计算机屏幕显示的
图像复制到内存中。
所述复制计算机屏幕显示图像,进一步包括:通过图形设备接口GDI复制
或多媒体编程接口DIRECT X复制。
所述GDI复制,进一步包括:获取屏幕显示图像所对应的显示上下文DC
(display context);创建和目标图像关联的显示上下文DC;通过调用BitBlt
应用程序编程接口API复制所述获取屏幕显示图像所对应的显示上下文DC到所
述创建和目标图像关联的显示上下文DC中;获取内存目标图像,输出内存目标
图像。
所述DIRECT X复制,进一步包括:将执行复制功能的动态链接库DLL远程
注入目标进程;初始化复制功能的动态链接库DLL,并通过HOOK技术HOOK DIRECT
X相关API;在HOOK的函数中复制显示图片到共享内存;获取内存目标图像,
输出内存目标图像。上述所述HOOK技术HOOK DIRECT X相关API步骤所述的API,
进一步包括:帧切换和位切换传递操作相关API或用呈现Present更新接口相
关API。
以上步骤12中,针对所述复制图像进行缩放处理,是指针对计算机屏幕显
示的图像复制到内存中所生产的目标图像,进行缩放处理。针对所述复制图像
进行缩放处理缩放处理,进一步包括:将所述复制图像缩小至二分之一或预先
设定大小。
关于图像缩放方面的操作方法通常是,首先设置缩放参数,然后对每一个
要绘制的像素,做坐标缩放。比方原坐标(200,100),缩放参数是0.5,则坐标
变为(100,50)。
以上步骤13中,所述缩放后的图像进行SDK处理,是指通过软件开发工具
包SDK,将所述缩放后的图像进行处理;所述SDK处理包括对缩放后的图像进行
畸变校正,以保证图像通过头戴式智能眼镜进入人眼后无畸变,画面沉浸感好,
图像显示质量高。
以上步骤14中,针对所述SDK处理后的图像,进行复制合成;进一步是指:
以所述SDK处理后的图像为标准,复制一幅相同图像;将SDK处理后的图像和
所述复制的图像,拼接合成一幅图像。即一幅图像以中间线为分界线,左右两
部门为大小完全相同的图像或画面,以适合头戴式智能眼镜显示;所述图像复
制合成过程通常又称之为图像分屏操作。
各种图片的分屏操作是通过使用开放图形库OpenGL(全写Open Graphics
Library)进行操作实现。OpenGL是个定义了一个跨编程语言、跨平台的编程接
口规格的专业的图形程序接口。它用于三维图像(二维的亦可),是一个功能强
大,调用方便的底层图形库。OpenGL按照流水线型设计的,和硬件无关,这让
它能够运行于各种各样的图形硬件上。同时它也是软件无关的,可以运行于不
同的操作系统,而只需操作系统只需提供一个让OpenGL运行的图形用户界面
(Graphical User Interface,简称GUI)库,同样的OpenGL也还会提供描述
三维模型或者读取图片文件的方法,所需要做的是将一系列三维图元(比如点,
线,三角形),来组成三维物体。
本实施例中的上述14步骤中的分屏操作就是通过使用开放图形库OpenGL
(全写Open Graphics Library)进行操作实现。在分屏的技术操作中,将会用
到Shader和Fragment Shaders;Shader是着色器,它的工作就是读取你的网
格并渲染在屏幕上;Fragment Shaders片段着色器,把一系列几何图形变成2D
屏幕上的像素颜色,允许你一次修改一个像素点的颜色以及纹理贴图的坐标位
置。一般情况下分为两个步骤,首先判断某一像素点是否在绘图范围内;然后
根据判断结果进行对应操作,即若某一像素点在绘图范围内,则使用视频帧来
填充,否则,则填充背景色。
上述步骤15,输出显示所述复制合成后的图像;进一步是指,在步骤14中
完成图像复制合成后,将所述复制合成后的一张图像输出显示到头戴式智能眼
镜中。即头戴式智能眼镜显示屏中,能显示出与计算机屏幕内容一致的左右分
屏图像,即此时戴上智能眼镜,人体左眼能看到的图像为左显示屏或显示屏左
半部分显示的图像,该图像与计算机所显示的屏幕图像内容一致;人体右眼能
看到的图像为右显示屏或显示屏右半部分显示的图像,该图像与计算机所显示
的屏幕图像内容一致;因此,人体双眼戴上智能眼镜后,通过左右眼所看的完
整立体影像能和计算机屏幕显示保持一致;极大方便了智能眼镜的使用者操控
智能眼镜。
在进行上述步骤11之前,即在所述复制计算机屏幕显示图像前,所述智能
眼镜接入计算机。所述智能眼镜与计算机之间的连接,进一步可以为有线连接
和无线连接;所述有线连接,进一步包括但不限于,视频通过高清晰度多媒体
接口HDMI传输,数据反馈通过通用串行总线USB传输;所述无线连接,进一步
包括但不限于,视频通过无线家庭数字接口WHDI或无线高清协议WIRELESSHD
传输,数据反馈通过蓝牙或工业科学媒体ISM频段传输。
本发明实施例,还提供了一种头戴式智能眼镜屏幕控制装置,如图2所示,
该装置包括:
复制模块,用于复制计算机屏幕显示图像;
缩放模块,用于针对所述复制图像进行缩放处理;
SDK处理模块,用于通过软件开发工具包SDK,将所述缩放后的图像进行处
理;
复制合成模块,用于针对所述处理后的图像,进行复制合成;
输出模块,用于输出显示所述复制合成后的图像。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发
明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及
其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。