虚拟内容显示方法、装置、终端设备及存储介质.pdf

《虚拟内容显示方法、装置、终端设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《虚拟内容显示方法、装置、终端设备及存储介质.pdf（35页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910005848.6 (22)申请日 2019.01.03 (71)申请人 广东虚拟现实科技有限公司 地址 510335 广东省广州市海珠区琶洲大 道83号5层自编504房 (72)发明人 胡永涛戴景文贺杰 (74)专利代理机构 深圳市智圈知识产权代理事 务所(普通合伙) 44351 代理人 苗燕 (51)Int.Cl. G06F 3/01(2006.01) G06F 3/0481(2013.01) G06T 19/00(2011.01) (54)发明名称 虚拟内容显示方。

2、法、 装置、 终端设备及存储 介质 (57)摘要 本申请实施例公开了一种虚拟内容显示方 法、 装置、 终端设备及存储介质， 该虚拟内容显示 方法包括： 获取所述第一终端与所述第二终端之 间的第一相对空间位置信息； 从所述第二终端获 取显示内容数据， 其中， 所述显示内容数据至少 包括所述第二终端当前显示的显示内容的数据； 根据所述第一相对空间位置信息以及所述显示 内容数据， 对虚拟内容进行显示， 其中， 所述虚拟 内容包括所述第二终端显示的显示内容以及与 所述显示内容对应的扩展内容。 该虚拟内容显示 方法可以在实现终端的显示内容的增强现实显 示的同时， 也能实现与终端的显示内容对应的扩 展内容。

3、的增强现实显示， 提升终端的显示内容的 显示效果。 权利要求书2页 说明书18页 附图14页 CN 111399631 A 2020.07.10 CN 111399631 A 1.一种虚拟内容显示方法， 其特征在于， 应用于第一终端， 所述第一终端与第二终端通 信连接， 所述方法包括： 获取所述第一终端与所述第二终端之间的第一相对空间位置信息； 从所述第二终端获取显示内容数据， 其中， 所述显示内容数据至少包括所述第二终端 当前显示的显示内容的数据； 根据所述第一相对空间位置信息以及所述显示内容数据， 对虚拟内容进行显示， 其中， 所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对。

4、应的扩展内容。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第一相对空间位置信息以及 所述显示内容数据， 对虚拟内容进行显示， 包括： 获取虚拟内容与所述第二终端之间的第二相对空间位置信息； 根据所述第一相对空间位置信息以及所述第二相对空间位置信息， 确定所述虚拟内容 的显示位置； 将所述虚拟内容显示于所述显示位置。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述虚拟内容显示于所述显示位 置， 包括： 当所述虚拟内容的显示位置与所述第二终端存在重叠时， 确定所述虚拟内容包含的所 述第二终端显示的显示内容的第一显示区域； 对所述第一显示区域进行指定显示处理， 所述指定显示。

5、处理用于所述虚拟内容显示 时， 所述第二终端显示的显示内容对所述虚拟内容中的显示内容进行遮挡。 4.根据权利要求2所述的方法， 其特征在于， 在所述将所述虚拟内容显示于所述显示位 置之后， 所述方法还包括： 在检测到所述第二终端当前显示的显示内容发生变化时， 根据变化后的显示内容， 对 所述虚拟内容的显示位置进行更新； 将所述虚拟内容显示于更新后的显示位置。 5.根据权利要求4所述的方法， 其特征在于， 所述根据变化后的显示内容， 对所述虚拟 内容的显示位置进行更新， 包括： 根据变化后的显示内容， 确定变化后的显示内容在虚拟内容中的第二显示区域； 根据所述第二显示区域， 确定虚拟内容的更新后。

6、的显示位置。 6.根据权利要求1所述的方法， 其特征在于， 在所述根据所述第一相对空间位置信息以 及所述显示内容数据， 对虚拟内容进行显示之后， 所述方法还包括： 在接收到对所述虚拟内容的控制操作时， 根据所述控制操作生成控制指令； 向所述第二终端发送所述控制指令， 所述控制指令用于指示所述第二终端控制所述显 示内容的显示。 7.根据权利要求1所述的方法， 其特征在于， 所述显示内容数据还包括所述显示内容对 应的扩展内容的数据， 所述根据所述第一相对空间位置信息以及所述显示内容数据， 对虚 拟内容进行显示， 包括： 根据所述扩展内容的数据以及所述显示内容的数据， 生成包括所述扩展内容以及所述 。

7、显示内容的虚拟内容； 根据所述第一相对空间位置信息， 对所述虚拟内容进行显示。 权利要求书 1/2 页 2 CN 111399631 A 2 8.根据权利要求1所述的方法， 其特征在于， 所述根据所述第一相对空间位置信息以及 所述显示内容数据， 对虚拟内容进行显示， 包括： 从服务器获取与所述显示内容对应的扩展内容的数据； 根据所述扩展内容的数据以及所述显示内容数据， 生成包括所述扩展内容以及所述显 示内容的虚拟内容； 根据所述第一相对空间位置信息， 对所述虚拟内容进行显示。 9.根据权利要求1-8任一项所述的方法， 其特征在于， 所述获取所述第一终端与所述第 二终端之间的第一相对空间位置信息。

8、， 包括： 获取包含有所述第二终端上的标记物的标记物图像； 识别所述标记物图像中的标记物， 并获取所述第一终端与所述第二终端之间的第一相 对空间位置信息。 10.一种虚拟内容显示装置， 其特征在于， 应用于第一终端， 所述第一终端与第二终端 通信连接， 所述装置包括： 位置获取模块， 用于获取所述第一终端与所述第二终端之间的第一相对空间位置信 息； 数据获取模块， 用于从所述第二终端获取显示内容数据， 其中， 所述显示内容数据至少 包括所述第二终端当前显示的第一显示内容的数据； 显示模块， 用于根据所述第一相对空间位置信息以及所述显示内容数据， 对虚拟内容 进行显示， 其中， 所述虚拟内容包括。

9、所述第二终端显示的显示内容以及与所述显示内容对 应的扩展内容。 11.一种显示系统， 其特征在于， 所述显示系统包括第一终端以及第二终端， 所述第一 终端与所述第二终端通信连接， 其中： 所述第二终端， 用于发送显示内容数据至所述第一终端， 其中， 所述显示内容数据至少 包括所述第二终端当前显示的显示内容的数据； 所述第一终端， 用于获取所述第一终端与所述第二终端之间的第一相对空间位置信 息， 并根据所述第一相对空间位置信息以及所述显示内容数据， 对虚拟内容进行显示， 其 中， 所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内 容。 12.一种终端设备， 其特征在于， 。

10、包括： 一个或多个处理器； 存储器； 一个或多个应用程序， 其中所述一个或多个应用程序被存储在所述存储器中并被配置 为由所述一个或多个处理器执行， 所述一个或多个程序配置用于执行如权利要求1-9任一 项所述的方法。 13.一种计算机可读取存储介质， 其特征在于， 所述计算机可读取存储介质中存储有程 序代码， 所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。 权利要求书 2/2 页 3 CN 111399631 A 3 虚拟内容显示方法、 装置、 终端设备及存储介质 技术领域 0001 本申请涉及显示技术领域， 更具体地， 涉及一种虚拟内容显示方法、 装置、 终端设 备及存储介质。

11、。 背景技术 0002 随着科技的发展， 机器智能化及信息智能化日益普及， 通过机器视觉或者虚拟视 觉等图像采集装置来识别用户影像以实现人机交互的技术越来越重要。 增强现实技术 (Augmented Reality， AR)借助计算机图形技术和可视化技术构建现实环境中不存在的虚 拟内容， 并通过图像识别定位技术将虚拟内容准确地融合到真实环境中， 借助显示设备将 虚拟内容与真实环境融为一体， 并显示给使用者真实的感观体验。 增强现实技术要解决的 首要技术难题是如何将虚拟内容准确地融合到真实世界中， 也就是要使虚拟内容以正确的 角度姿态出现在真实场景的正确位置上， 从而产生强烈的视觉真实感。 因此。

12、， 如何提升虚拟 内容的显示效果是增强现实或混合现实的重要研究方向。 发明内容 0003 本申请实施例提出了一种虚拟内容显示方法、 装置、 终端设备及存储介质， 能够提 升终端的显示内容的显示效果。 0004 第一方面， 本申请实施例提供了一种虚拟内容显示方法， 应用于第一终端， 所述第 一终端与第二终端通信连接， 所述方法包括： 获取所述第一终端与所述第二终端之间的第 一相对空间位置信息； 从所述第二终端获取显示内容数据， 其中， 所述显示内容数据至少包 括所述第二终端当前显示的显示内容的数据； 根据所述第一相对空间位置信息以及所述显 示内容数据， 对虚拟内容进行显示， 其中， 所述虚拟内容。

13、包括所述第二终端显示的显示内容 以及与所述显示内容对应的扩展内容。 0005 第二方面， 本申请实施例提供了一种虚拟内容显示装置， 应用于第一终端， 所述第 一终端与第二终端通信连接， 所述装置包括： 位置获取模块、 数据获取模块以及显示模块， 其中， 所述位置获取模块用于获取所述第一终端与所述第二终端之间的第一相对空间位置 信息； 所述数据获取模块用于从所述第二终端获取显示内容数据， 其中， 所述显示内容数据 至少包括所述第二终端当前显示的第一显示内容的数据； 所述显示模块用于根据所述第一 相对空间位置信息以及所述显示内容数据， 对虚拟内容进行显示， 其中， 所述虚拟内容包括 所述第二终端显。

14、示的显示内容以及与所述显示内容对应的扩展内容。 0006 第三方面， 本申请实施例提供了一种显示系统， 所述显示系统包括第一终端以及 第二终端， 所述第一终端与所述第二终端通信连接， 其中， 所述第二终端用于发送显示内容 数据至所述第一终端， 其中， 所述显示内容数据至少包括所述第二终端当前显示的显示内 容的数据； 所述第一终端用于获取所述第一终端与所述第二终端之间的第一相对空间位置 信息， 并根据所述第一相对空间位置信息以及所述显示内容数据， 对虚拟内容进行显示， 其 中， 所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内 说明书 1/18 页 4 CN 111399。

15、631 A 4 容。 0007 第四方面， 本申请实施例提供了一种终端设备， 包括： 一个或多个处理器； 存储器； 一个或多个应用程序， 其中所述一个或多个应用程序被存储在所述存储器中并被配置为由 所述一个或多个处理器执行， 所述一个或多个程序配置用于执行上述第一方面提供的虚拟 内容显示方法。 0008 第五方面， 本申请实施例提供了一种计算机可读取存储介质， 所述计算机可读取 存储介质中存储有程序代码， 所述程序代码可被处理器调用执行上述第一方面提供的虚拟 内容显示方法。 0009 本申请提供的方案， 通过获取到的第一终端与第二终端之间的第一相对空间位置 信息， 以及从第二终端获取到的显示内。

16、容数据， 来对虚拟内容进行显示， 其中， 该显示内容 数据至少包括第二终端当前显示的显示内容的数据， 该虚拟内容包括第二终端显示的显示 内容以及与该显示内容对应的扩展内容， 从而实现根据终端的空间位置， 将终端的显示内 容以及与终端的显示内容对应的扩展内容显示于虚拟空间， 使用户可以观察到终端的显示 内容以及与终端的显示内容对应的扩展内容叠加于真实世界的效果， 实现终端的显示内容 以及扩展内容的增强现实的显示， 提升了终端的显示内容的显示效果。 附图说明 0010 为了更清楚地说明本申请实施例中的技术方案， 下面将对实施例描述中所需要使 用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅。

17、仅是本申请的一些实施例， 对于 本领域技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附 图。 0011 图1示出了一种适用于本申请实施例的一种应用场景的示意图。 0012 图2示出了一种适用于本申请实施例的另一种应用场景的示意图。 0013 图3示出了一种适用于本申请实施例的又一种应用场景的示意图。 0014 图4示出了根据本申请一个实施例的虚拟内容显示方法流程图。 0015 图5示出了根据本申请实施例的一种显示效果示意图。 0016 图6示出了根据本申请另一个实施例的虚拟内容显示方法流程图。 0017 图7示出了根据本申请实施例的虚拟内容显示方法中步骤S210的流。

18、程图。 0018 图8示出了根据本申请实施例的虚拟内容显示方法中步骤S230的流程图。 0019 图9示出了根据本申请实施例的一种显示效果示意图。 0020 图10示出了根据本申请实施例的另一种显示效果示意图。 0021 图11示出了根据本申请实施例的虚拟内容显示方法中步骤S233的流程图。 0022 图12A-12B示出了根据本申请实施例的又一种显示效果示意图。 0023 图13A-13C示出了根据本申请实施例的操控区滑动的示意图。 0024 图14A-14B示出了根据本申请实施例的再一种显示效果示意图。 0025 图15示出了根据本申请实施例的还一种显示效果示意图。 0026 图16示出了。

19、根据本申请实施例的又另一种显示效果示意图。 0027 图17示出了根据本申请实施例的又再一种显示效果示意图。 0028 图18示出了根据本申请一个实施例的虚拟内容显示装置的框图。 说明书 2/18 页 5 CN 111399631 A 5 0029 图19示出了根据本申请一个实施例的显示系统的框图。 0030 图20是本申请实施例的用于执行根据本申请实施例的虚拟内容显示方法的终端 设备的框图。 0031 图21是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容显 示方法的程序代码的存储单元。 具体实施方式 0032 为了使本技术领域的人员更好地理解本申请方案， 下面将结合本申请实施。

20、例中的 附图， 对本申请实施例中的技术方案进行清楚、 完整地描述。 0033 目前， 随着多媒体技术的快速发展， 越来越多的智能移动终端(如掌上电脑、 智能 手机、 智能手表等)进入了人们的生活， 又由于体积小、 方便携带等特点， 深受人们喜爱。 但 是上述智能移动终端在使用时， 显示的内容往往受限于移动终端的屏幕大小， 使得显示的 内容不够丰富， 不够完整。 虽然可以通过缩小画面、 拖动画面来进行查看， 但是缩小画面就 无法显示出细节， 拖动画面就无法对之前的显示内容进行显示， 影响了用户的观看效果。 例 如， 手机屏幕上显示的是游戏地图中的一角， 用户可以通过在手机上拖动显示的画面， 来显。

21、 示到游戏地图中的其他内容， 却无法显示到之前显示的内容， 用户也可以通过在手机上缩 小游戏地图， 来查看完整的游戏地图， 却无法显示处地图的细节内容， 如草丛、 石头等。 0034 针对上述问题， 发明人经过研究， 提出了本申请实施例中的虚拟内容显示方法、 装 置、 终端设备及存储介质， 对终端显示的内容进行增强现实的显示， 还对与终端显示的内容 对应的扩展内容也进行增强现实的显示， 以扩展终端显示的内容的同时， 提升终端的显示 内容的显示效果。 其中， 增强现实(AR， Augmented Reality)是通过计算机系统提供的信息 增加用户对现实世界感知的技术， 其将计算机生成的虚拟对象。

22、、 场景或系统提示信息等内 容对象叠加到真实场景中， 来增强或修改对现实世界环境或表示现实世界环境的数据的感 知。 0035 下面对本申请实施例提供的虚拟内容显示方法的应用场景进行介绍。 0036 请参见图1， 示出了本申请实施例提供的虚拟内容显示方法的应用场景的示意图， 该应用场景包括显示系统10。 该显示系统10包括： 第一终端100以及与第一终端100连接的 第二终端200。 0037 在本申请实施例中， 第一终端100为头戴显示装置， 头戴显示装置可以是一体式头 戴显示装， 也可以是外接式头戴显示装置。 第一终端100为外接式头戴显示装置时， 可仅包 含用于显示的显示模组、 通信模块和。

23、摄像头等， 依靠与第一终端100连接的手机等智能终端 (即第二终端200)的处理器、 存储器等对显示的虚拟内容进行控制。 其中， 显示模组可以包 括显示屏(或投影装置)和显示镜片， 以对虚拟内容进行显示。 0038 在本申请实施例中， 第二终端200可以被用户手持并进行操控， 可以是手机、 智能 手表、 平板等智能移动终端设备。 与第一终端100连接的第二终端200， 可以与第一终端100 之间进行信息以及指令的交互。 第一终端100与第二终端200可以通过蓝牙、 WiFi (Wireless-Fidelity， 无线保真)、 ZigBee(紫峰技术)等无线通信方式连接， 也可通过USB接 口。

24、进行有线通信连接， 例如， 请参见图2， 第一终端100为头戴显示装置， 第二终端200为手机 终端或平板电脑时， 头戴显示装置通过USB接口与平板电脑与手机终端进行有线通信连接。 说明书 3/18 页 6 CN 111399631 A 6 当然， 第一终端100与第二终端200的连接方式在本申请实施例中可以不作为限定。 0039 在一些实施例中， 第二终端200上设置有标记物201。 其中， 该标记物201可以包括 至少一个具有一个或者多个特征点的子标记物。 当标记物201处于第一终端100的视野范围 内时， 第一终端100可将上述处于视野范围内的标记物201作为目标标记物， 并可以识别该 。

25、目标标记物的图像， 得到第一终端100相对该目标标记物的位置、 朝向等空间位置信息， 从 而得到第一终端100与第二终端200之间的相对空间位置信息。 第一终端100可基于目标标 记物相对第一终端100的空间位置信息显示相应的虚拟对象， 同时可根据该目标标记物实 现对第二终端200的定位及追踪。 可以理解地， 具体的标记物201在本申请实施例中并不作 为限定， 仅需可以被第一终端100识别追踪即可。 0040 在一些实施方式中， 第一终端100还可以追踪第二终端200的形状， 确定第一终端 100与第二终端200之间的相对空间位置关系。 0041 在一些实施方式中， 第一终端100还可以根据设。

26、置在第二终端200上的光点， 确定 第一终端100与第二终端200之间的相对空间位置关系。 0042 例如， 请再次参阅图1， 第一终端100为头戴显示装置， 第二终端200为手机终端， 第 二终端200将显示的太空场景的显示内容传输给第一终端100， 用户可以通过佩戴的头戴显 示装置， 扫描手机终端上的标记物201， 可以看到包含有多个虚拟星球的虚拟太空场景与现 实空间的叠加显示， 其中， 虚拟太空场景与手机终端显示的太空场景对应； 又例如， 请参阅 图3， 第一终端100为头戴显示装置， 第二终端200为平板电脑， 平板电脑与头戴显示装置有 线通信连接， 用户可以通过佩戴的头戴显示装置， 。

27、扫描平板电脑上的标记物201， 可以看到 虚拟的医学人体模型叠加显示在现实空间的平板电脑上方， 其中， 虚拟的医学人体模型与 平板电脑显示的医学人体模型对应， 体现了虚拟内容的增强现实的显示效果， 提升了虚拟 内容的显示效果， 体现了头戴显示装置与手机终端之间的信息交互。 0043 基于上述显示系统， 本申请实施例提供了一种虚拟内容显示方法， 应用于上述显 示系统的第一终端。 下面对具体的虚拟内容显示方法进行介绍。 0044 请参阅图4， 本申请实施例提供了一种虚拟内容显示方法， 应用于第一终端， 第一 终端与第二终端通信连接， 其中， 该第一终端与第二终端可以是上述显示系统中的第一终 端与第。

28、二终端， 该虚拟内容显示方法可以包括： 0045 步骤S110： 获取第一终端与第二终端之间的第一相对空间位置信息。 0046 传统的移动终端在使用时， 显示的内容会受限于终端的屏幕大小， 导致终端显示 的内容显示效果不佳， 因此可以使终端显示的内容以及与终端显示的内容对应的扩展内容 达到增强现实的显示效果， 以提升终端显示的内容显示效果。 0047 在本申请实施例中， 需要实现第二终端显示的内容以及扩展内容显示于虚拟空间 时， 第一终端可以获取第一终端与第二终端之间的第一相对空间位置信息， 以得到第二终 端显示的内容以及扩展内容在虚拟空间中的显示位置。 其中， 该第一相对空间位置信息可 以包。

29、括第一终端与第二终端之间的相对位置信息以及姿态信息等， 姿态信息为第二终端相 对第一终端的朝向及旋转角度。 0048 其中， 上述第一终端是一种能够实现增强现实显示的终端设备， 如上述头戴显示 装置， 上述第二终端是一种具有显示屏幕的智能移动终端， 如智能手机、 智能手表、 平板电 脑等。 说明书 4/18 页 7 CN 111399631 A 7 0049 可以理解的是， 当上述第一终端为头戴显示装置， 上述第二终端为智能手机时， 如 果需要实现手机显示的内容以及与手机显示的内容对应的扩展内容显示于虚拟空间， 则头 戴显示装置需要获取头戴显示装置与手机之间的第一相对空间位置信息， 以得到手机。

30、显示 的内容以及扩展内容在虚拟空间中的显示位置。 0050 在一些实施方式中， 第二终端包括惯性测量单元(Inertial measurement unit， IMU)， 因此， 第一终端获取第一终端与第二终端之间的第一相对空间位置信息， 可以是先获 取第二终端的惯性测量单元的测量数据， 然后根据该测量数据， 来确定第一终端与第二终 端之间的第一相对空间位置信息。 其中， 获取第二终端的惯性测量单元的测量数据， 可以是 第二终端实时将该测量数据传输至第一终端， 以使第一终端可以实时得到第二终端的惯性 测量单元的测量数据。 0051 在另一些实施方式中， 第二终端上还可设置有光点， 第一终端通过。

31、图像采集装置 采集第二终端上的光点图像， 并对光点图像中的光点进行识别， 根据该光点图像确定第一 终端与第二终端之间的第一相对空间位置信息。 其中， 第二终端上设置的光点可以是可见 光点， 也可以是红外光点等， 当光点为红外光点时， 第一终端上可设置有红外摄像头， 用于 采集该红外光点的光点图像。 第二终端上设置的光点可以是一个， 也可以是由多个光点组 成的光点序列。 0052 在一个实施例中， 光点可设置在第二终端的外壳上， 例如可设置在第二终端的屏 幕的周围。 光点也可以设置在第二终端的保护套上， 第二终端进行使用时， 可套上包含光点 的保护套， 从而可实现对第二终端的定位及追踪。 光点的。

32、设置方式可以是多种的， 在此并不 作限定。 例如， 为了可以实时获取第二终端的姿态信息， 可以是第二终端的屏幕四周分别设 置不同的光点， 比如可以在四周设置不同数量的光点， 或是不同颜色的光点等， 从而使得第 一终端可以根据光点图像中各个光点的分布， 确定与第二终端的相对空间位置。 0053 另外， 作为一种实施方式， 也可以是第一终端通过图像采集装置采集第二终端上 的光点图像， 并将光点图像发送给第二终端， 第二终端可对光点图像中的光点进行识别， 并 根据该光点图像确定第一终端与第二终端之间的第一相对空间位置信息。 0054 当然， 获取第一终端与第二终端之间的第一相对空间位置信息的方式在本。

33、申请实 施例中可以不作为限定。 例如， 也还可以是通过识别第二终端上的标记物来获取上述第一 相对空间位置信息。 0055 步骤S120： 从第二终端获取显示内容数据， 其中， 显示内容数据至少包括第二终端 当前显示的显示内容的数据。 0056 在需要实现第二终端显示的内容以及扩展内容显示于虚拟空间时， 第一终端可以 从第二终端处获取显示内容数据， 其中， 显示内容数据至少包括第二终端当前显示的显示 内容的数据， 以便第一终端可以根据该显示内容数据， 实现第二终端当前显示的显示内容 的增强现实的显示。 0057 在一些实施方式中， 上述从第二终端获取显示内容数据， 可以是获取第二终端当 前屏幕上。

34、显示的显示内容的数据， 其中， 第二终端当前屏幕上显示的显示内容的数据为显 示内容的图像数据， 图像数据可包括显示内容的顶点数据、 颜色数据、 纹理数据等。 因此， 作 为一种方式， 第一终端获取第二终端当前屏幕上显示的显示内容的数据， 可以是第二终端 在进行内容显示时， 将当前屏幕上显示的显示内容的数据传输至第一终端， 使第一终端得 说明书 5/18 页 8 CN 111399631 A 8 到显示内容数据。 当然， 上述从第二终端获取的显示内容数据的具体数据在本申请实施例 中不作为限定， 也还可以包括其他， 例如， 与第二终端当前显示的显示内容对应的扩展内容 的数据。 0058 例如， 在。

35、查看手机通讯录场景中， 手机终端当前屏幕上显示的显示内容为多个联 系人的联系方式时， 头戴显示装置可以仅获取手机终端当前屏幕上显示的多个联系人的联 系方式数据， 也可以获取多个联系人的联系方式数据以及对应的联系人头像的图像数据。 0059 步骤S130： 根据第一相对空间位置信息以及显示内容数据， 对虚拟内容进行显示， 其中， 虚拟内容包括第二终端显示的显示内容以及与显示内容对应的扩展内容。 0060 在得到上述第一相对空间位置信息以及上述显示内容数据之后， 第一终端可以根 据第一相对空间位置信息以及显示内容数据， 对虚拟内容进行显示， 其中， 该虚拟内容包括 第二终端当前屏幕上显示的显示内容。

36、以及与显示内容对应的扩展内容。 这样， 通过从第二 终端处获取第二终端当前显示的显示内容的数据， 实现将第二终端的显示的内容以及扩展 内容以虚拟的形式显示于虚拟空间， 使用户可以观察到包含有第二终端的显示的内容以及 扩展内容的虚拟内容叠加于真实世界的效果。 0061 在一些实施方式中， 上述与显示内容对应的扩展内容可以是第一终端从第二终端 获取得到的， 也可是第一终端从服务器下载得到的， 还可以是从其他终端处获取得到的。 0062 由于第一终端得到的第一相对空间位置信息包括第一终端与第二终端之间的相 对位置信息以及姿态信息等， 因此第一终端可以获取到现实空间中的第二终端的空间位置 坐标， 然后。

37、可以将该空间位置坐标转换为虚拟空间中的空间坐标， 根据虚拟空间中需要显 示的虚拟内容与第二终端的位置关系， 得到用于虚拟空间中渲染虚拟内容的渲染坐标， 以 便根据渲染坐标渲染虚拟内容， 从而显示出虚拟内容， 其中， 该渲染坐标指的是虚拟内容在 虚拟空间中以头戴显示装置为原点(也可看作是以人眼为原点)的三维空间坐标。 0063 可以理解的是， 在得到用于虚拟空间中渲染虚拟内容的渲染坐标之后， 第一终端 可以获取待显示的虚拟内容的数据， 然后根据虚拟内容的数据构建虚拟内容， 以及根据上 述渲染坐标渲染并显示该虚拟内容， 其中， 渲染虚拟内容， 可以得到虚拟内容中各个像素点 的RGB值及对应的像素点。

38、坐标等。 其中， 上述待显示的虚拟内容对应的数据， 可以包括虚拟 内容的模型数据， 模型数据为用于渲染虚拟内容的数据。 例如， 模型数据可以包括用于建立 虚拟内容对应的颜色数据、 顶点坐标数据、 轮廓数据等。 在本申请实施例中， 该模型数据包 括上述显示内容数据， 也就是说， 第一终端可以根据获取到的上述显示内容数据构建虚拟 内容， 以及根据上述渲染坐标渲染并显示该虚拟内容。 0064 例如， 在虚拟地图场景中， 请参见图5， 第一终端100为头戴显示装置， 第二终端200 为手机终端， 手机终端当前显示的显示内容为中国地图的部分地图时， 用户可以通过佩戴 的头戴显示装置看到的虚拟内容300与。

39、现实空间叠加进行显示， 其中， 虚拟内容300为完整 的中国地图， 该中国地图包含了手机终端当前显示的中国地图的部分地图， 以及与该部分 地图对应的扩展地图内容， 体现了终端的显示内容以及扩展内容的增强现实的显示效果， 提升了终端的显示内容的显示效果， 解决了显示内容被终端的屏幕所限制的问题。 0065 本申请实施例提供的虚拟内容显示方法， 通过获取第一终端与第二终端之间的第 一相对空间位置信息， 以及从第二终端获取显示内容数据， 来对虚拟内容进行显示， 其中， 该显示内容数据至少包括第二终端当前显示的显示内容的数据， 该虚拟内容包括第二终端 说明书 6/18 页 9 CN 111399631。

40、 A 9 显示的显示内容以及与该显示内容对应的扩展内容， 从而实现根据终端的空间位置， 将终 端的显示内容以及与终端的显示内容对应的扩展内容显示于虚拟空间， 使用户可以观察到 终端的显示内容以及与终端的显示内容对应的扩展内容叠加于真实世界的效果， 实现了终 端的显示内容以及扩展内容的增强现实的显示， 解决了显示内容被终端的屏幕所限制的问 题的同时， 提升了终端的显示内容的显示效果。 0066 请参阅图6， 本申请又一实施例提供了一种虚拟内容显示方法， 应用于第一终端， 第一终端与第二终端通信连接， 其中， 该第一终端与第二终端可以是上述显示系统中的第 一终端与第二终端， 该虚拟内容显示方法可以。

41、包括： 0067 步骤S210： 获取第一终端与第二终端之间的第一相对空间位置信息。 0068 在一些实施方式中， 第二终端上设置有标记物， 因此， 在需要获取第一终端与第二 终端之间的第一相对空间位置信息时， 第一终端可以通过识别第二终端上的标记物， 来得 到第一终端与第二终端之间的第一相对空间位置信息。 标记物可以设置在第二终端的外壳 上， 也可以采用图像的形式显示在第二终端的屏幕上， 标记物还可以是外接式标记物， 在使 用时可以通过USB或耳机孔等插入第二终端， 从而实现对第二终端进行定位及追踪。 0069 具体地， 请参见图7， 上述获取第一终端与第二终端之间的第一相对空间位置信 息，。

42、 包括： 0070 步骤S211： 获取包含有第二终端上的标记物的标记物图像。 0071 可以理解的是， 第一终端需要获取包含有第二终端上的标记物的标记物图像， 以 通过识别该标记物图像， 来得到第一终端与第二终端之间的第一相对空间位置信息。 0072 在一些实施方式中， 第一终端获取上述标记物图像， 可以是通过第一终端的图像 采集装置， 来采集包含第二终端上的标记物的标记物图像。 可以理解的是， 在需要采集该标 记物图像时， 可以通过调整第二终端的空间位置， 以使第二终端上的标记物处于第一终端 的图像采集装置的视野范围内， 从而使第一终端获取到包含有第二终端上的标记物的标记 物图像。 其中，。

43、 图像采集装置的视野范围可以由视场角的大小决定。 进一步的， 作为一种方 式， 该标记物图像经图像采集装置采集后可存储于第一终端中， 以便后续确定第一终端与 第二终端之间的相对位置或姿态等信息。 0073 在一些实施方式中， 上述标记物可以包括至少一个子标记物， 子标记物可以是具 有一定形状的图案。 在一个实施例中， 每个子标记物可具有一个或多个特征点， 其中， 特征 点的形状不做限定， 可以是圆点、 圆环， 也可以是三角形、 其他形状。 另外， 不同标记物内的 子标记物的分布规则不同， 因此， 每个标记物可具备不同的身份信息。 第一终端通过识别标 记物中包含的子标记物， 可以获取与标记物对应。

44、的身份信息， 该身份信息可以是编码等可 用于唯一标识标记物的信息， 但不限于此。 0074 作为一种实施方式， 标记物的轮廓可以为矩形， 当然， 标记物的形状也可以是其他 形状， 在此不做限定， 矩形的区域以及该区域内的多个子标记物构成一个标记物。 当然， 上 述标记物也可以为由光点构成的自身可以发光的物体等， 光点标记物可以发射不同波段或 不同颜色的光， 第一终端通过识别光点标记物发出的光的波段或颜色等信息获取与标记物 对应的身份信息。 当然， 具体的标记物在本申请实施例中并不作为限定， 标记物仅需要能被 第一终端识别即可。 0075 步骤S212： 识别标记物图像中的标记物， 并获取第一终。

45、端与第二终端之间的第一 说明书 7/18 页 10 CN 111399631 A 10 相对空间位置信息。 0076 第一终端在得到上述标记物图像之后， 则可以对该标记物图像中的标记物进行识 别， 以获取到第一终端与第二终端之间的第一相对空间位置信息。 0077 在一些实施方式中， 第一终端在识别标记物图像中的标记物之后， 可以获取标记 物与第二终端之间的相对位置信息， 从而得到第一终端与第二终端之间的第一相对空间位 置信息。 可以理解的是， 第一终端识别标记物图像中的标记物， 可以得到标记物与第一终端 之间的相对空间位置信息， 该相对空间位置信息可包括位置信息和姿态信息等， 该姿态信 息可包。

46、括标记物相对第一终端的旋转方向、 旋转角度等。 因此， 可根据标记物与第二终端之 间的相对位置信息， 以及标记物与第一终端之间的相对空间位置信息， 得到第一终端与第 二终端之间的第一相对空间位置信息。 0078 步骤S220： 从第二终端获取显示内容数据， 其中， 显示内容数据至少包括第二终端 当前显示的显示内容的数据。 0079 在一些实施方式中， 上述显示内容数据还可以包括第二终端当前显示的显示内容 对应的扩展内容的数据， 也就是说， 第一终端从第二终端处获取到的显示内容数据， 包括第 二终端当前显示的显示内容的数据， 以及与第二终端当前显示的显示内容对应的扩展内容 的数据。 因此， 作为。

47、一种方式， 第一终端从第二终端获取显示内容数据， 可以是第二终端在 进行内容显示时， 将完整的显示内容的数据传输至第一终端， 其中， 完整的显示内容包括第 二终端当前显示的显示内容以及与第二终端当前显示的显示内容对应的扩展内容， 该扩展 内容为完整的显示内容中除去当前显示的显示内容后的内容， 从而使第一终端得到显示内 容数据。 这样， 第一终端可以根据该显示内容数据， 实现第二终端当前显示的显示内容以及 扩展内容的增强现实的显示。 0080 例如， 在游戏场景中， 手机当前显示的显示内容仅有游戏地图的一角时， 头戴显示 装置可以仅获取手机当前显示的游戏地图的一角的图像数据， 也可以获取整个游戏。

48、地图的 图像数据。 0081 步骤S230： 根据第一相对空间位置信息以及显示内容数据， 对虚拟内容进行显示， 其中， 虚拟内容包括第二终端显示的显示内容以及与显示内容对应的扩展内容。 0082 在一些实施方式中， 当上述显示内容数据还包括第二终端当前显示的显示内容对 应的扩展内容的数据时， 上述根据所述第一相对空间位置信息以及所述显示内容数据， 对 虚拟内容进行显示， 包括： 根据扩展内容的数据以及显示内容的数据， 生成包括扩展内容以 及显示内容的虚拟内容； 根据第一相对空间位置信息， 对虚拟内容进行显示。 0083 可以理解的是， 第一终端可以根据从第二终端处获取到的扩展内容的数据以及显 。

49、示内容的数据， 生成包括扩展内容以及显示内容的虚拟内容， 然后根据第一相对空间位置 信息， 对该虚拟内容进行显示。 例如， 头戴显示装置根据手机当前显示的部分游戏地图的图 像数据以及手机未显示的剩余部分游戏地图的图像数据， 生成完整的虚拟游戏地图， 并根 据手机的空间位置， 对虚拟游戏地图进行显示。 0084 在一些实施方式中， 上述根据所述第一相对空间位置信息以及所述显示内容数 据， 对虚拟内容进行显示， 包括： 从服务器获取与显示内容对应的扩展内容的数据， 根据扩 展内容的数据以及显示内容数据， 生成包括扩展内容以及显示内容的虚拟内容； 根据第一 相对空间位置信息， 对虚拟内容进行显示。 。

50、说明书 8/18 页 11 CN 111399631 A 11 0085 可以理解的是， 第一终端从第二终端处获取到第二终端当前显示的显示内容的数 据之后， 可以从服务器获取与显示内容对应的扩展内容的数据， 然后根据第二终端当前显 示的显示内容的数据以及扩展内容的数据， 生成包括扩展内容以及显示内容的虚拟内容， 最后根据第一相对空间位置信息， 对虚拟内容进行显示。 0086 在一些实施方式中， 上述从服务器获取与显示内容对应的扩展内容的数据， 可以 是第一终端将第二终端当前显示的显示内容的数据发送至服务器， 服务器根据该显示内容 的数据， 查找与该显示内容的数据相匹配的扩展内容的数据， 然后服。