Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020114395 - VIRTUAL PICTURE CONTROL METHOD, TERMINAL DEVICE AND STORAGE MEDIUM

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32  

附图

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15A   15B   16   17   18   19   20   21   22   23   24   25   26A   26B   27A   27B  

说明书

发明名称 : 虚拟画面的控制方法、终端设备及存储介质

技术领域

[0001]
本申请涉及计算机领域,尤其涉及一种虚拟画面的控制方法、终端设备及存储介质。

背景技术

[0002]
随着科技水平和生活水平的进步,增强现实技术已成为研究的热点,也逐渐出现在日常生活中。在增强现实领域,通常使用一些交互设备来进行虚拟画面的显示和控制,一些控制方案需要用户频繁的旋转头部或其他繁琐操作,以控制虚拟画面中不同的内容,造成诸多不便。
[0003]
发明内容
[0004]
本申请实施例提出一种虚拟画面的控制方法、终端设备及存储介质。
[0005]
第一方面,本申请实施例提供了一种虚拟画面的控制方法,包括:获取终端设备与交互设备之间的相对空间位置信息;根据所述相对空间位置信息,生成虚拟画面,所述虚拟画面包括一个或多个用户界面元素,所述用户界面元素在现实空间的叠加位置与所述交互设备对应;获取预先建立的与所述交互设备对应的旋转向量,并根据所述相对空间位置信息确定所述旋转向量于虚拟空间中的空间位置,所述旋转向量的指向方向固定不变;及当所述空间位置处于所述虚拟空间中任一所述用户界面元素对应的位置区域时,根据所处位置区域对应的用户界面元素执行相应的控制操作。
[0006]
第二方面,本申请实施例提供了一种虚拟内容的交互方法,包括:获取包含目标标记物的图像;根据所述图像,获取所述终端设备与所述目标标记物之间的相对空间位置;根据所述相对空间位置获取至少一个虚拟选项的显示位置,并根据所述显示位置对所述至少一个虚拟选项进行显示;及确定处于选中状态的虚拟选项,并进行与所述处于选中状态的虚拟选项对应的处理。
[0007]
第三方面,本申请实施例提供了虚拟内容显示方法,包括:采集包含实体对象的图像,所述实体对象包括至少一个标记物;识别所述图像中的标记物,并获取所述终端设备与所述实体对象之间的相对空间位置信息;根据所述相对空间位置信息,显示包含至少一个第一虚拟选项的第一虚拟画面,其中,所述第一虚拟选项对应至少一个第二虚拟选项;及根据对所述第一虚拟选项的第一指令,将所述第一虚拟画面切换显示为包含所述第二虚拟选项的第二虚拟画面。
[0008]
第四方面,本申请实施例提供了一种终端设备一个或多个处理器;存储器,所述存储器存储有一个或多个计算机程序,所述计算机程序用于被所述一个或多个处理器执行,使得所述处理器执行上述实施例提供的方法。
[0009]
第五方面,本申请实施例提供了一种计算机可读介质,所述计算机可读取存储介质中存储有计算机程序,所述计算机程序可被处理器调用,以执行上述实施例提供的方法。

附图说明

[0010]
图1为一个实施例中增强现实系统的示意图。
[0011]
图2为一个实施例中终端设备的结构框图。
[0012]
图3为一个实施例中增强现实显示方法的流程图。
[0013]
图4为另一个实施例中增强现实显示方法的流程图。
[0014]
图5为一个实施例中虚拟选项的示意图。
[0015]
图6为另一个实施例中的虚拟选项示意图。
[0016]
图7为图5的虚拟选项的另一示意图。
[0017]
图8为图7的虚拟选项被选中的示意图。
[0018]
图9为图8中被选中虚拟选项的虚拟对象示意图。
[0019]
图10为另一个被选中虚拟选项的虚拟对象示意图。
[0020]
图11为另一个实施例的增强现实显示系统的示意图。
[0021]
图12为一个实施例中虚拟内容显示方法的流程图。
[0022]
图13为一个实施例中虚拟内容显示的场景示意图。
[0023]
图14为图13相关联的虚拟内容的场景示意图。
[0024]
图15a-15b为另一个实施例中虚拟内容显示的场景示意图。
[0025]
图16为图12中步骤1230的进一步流程图。
[0026]
图17为图13相关联的虚拟内容的场景示意图。
[0027]
图18为图13相关联的虚拟内容的场景示意图。
[0028]
图19为图12中步骤1240的进一步流程图。
[0029]
图20为一个实施例中虚拟画面的控制方法的流程图。
[0030]
图21为另一个实施例中虚拟画面的控制方法的流程图。
[0031]
图22为一个实施例的三维旋转坐标系的示意图。
[0032]
图23为一个实施例的一种显示效果示意图。
[0033]
图24为一个实施例的另一种显示效果示意图。
[0034]
图25为一个实施例的旋转向量的示意图。
[0035]
图26a、26b为一个实施例的显示效果示意图。
[0036]
图27a、27b为另一个实施例的显示效果示意图。

具体实施方式

[0037]
请参图1,本申请实施例提供的增强现实系统10,包括终端设备100及至少一个标记物200。终端设备100可为头戴显示装置,也可为手机、平板等移动设备。终端设备100可为一体式头戴显示装置,也可为外接有电子处理装置的头戴显示装置。终端设备100也可为与外接式头戴显示装置连接的手机等智能终端,即终端设备100作为头戴显示装置的处理和存储设备,插入或接入外接式头戴显示装置,在头戴显示装置中显示虚拟对象。
[0038]
请参图2,终端设备100包括处理器110、存储器120,其中,存储器120存储有一个或多个应用程序,可被配置为由一个或多个处理器110执行,一个或多个程序用于执行本申请所描述的方法。处理器110包括一个或者多个处理核,其利用各种接口和线路连接整个终端设备100内的各个部分,通过运行 或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行终端设备100的各种功能和处理数据。处理器110可采用数字信号处理、现场可编程门阵列、可编程逻辑阵列中的至少一种硬件形式来实现。处理器110可集成中央处理器、图像处理器和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。其中,上述调制解调器也可不集成到处理器110中,单独通过一块通信芯片进行实现。存储器120可包括随机存储器,也可包括只读存储器。存储器120用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、实现至少一个功能的指令(如触控功能、声音播放功能、图像播放功能等)、实现下述各个方法实施例的指令等。存储数据区还可存储终端设备100在使用中所创建的数据等。
[0039]
在一些实施例中,终端设备100还包括相机130,用于采集现实物体及目标场景的图像。相机130可为红外相机,也可为可见光相机,具体不限定。
[0040]
在一些实施例中,终端设备100还包括如下一个或多个部件:显示模组、光学模组、通信模块及电源。显示模组包括显示控制单元,其用于接收处理器渲染后的虚拟内容的显示图像,将图像投射至光学模组上,使得用户通过光学模组可观看到三维虚拟内容。其中,显示模组可为显示屏或投射装置等,用于显示图像。光学模组可采用离轴光学系统或波导光学系统,显示图像经光学模组后,能够被投射至用户的眼睛。用户通过光学模组可看到显示模组投射的显示图像。在一些实施方式中,用户还能够透过光学模组观察到现实环境,感受虚拟内容与现实环境叠加后的视觉效果。通信模块可是蓝牙、WiFi、ZigBee等模块,终端设备可通过通信模块与交互设备通信连接,进行信息及指令的交互。电源为整个终端设备进行供电,保证终端设备各个部件的正常运行。
[0041]
在一些实施例中,标记物200为具有可识别特征标记的图形或物体,例如,标记物200具有拓扑结构的图案,拓扑结构是指标记物中的子标记物和特征点等之间连通关系。作为一种实施方式,标记物200上覆盖有红外滤光片,标记物200对用户不可见,相机为红外相机,通过发射的红外光线照射标记物,红外相机可采集到包括标记物的图像,以降低可见光对标记物的图像的影响,提高定位的准确性。
[0042]
当标记物200在相机的视觉范围内时,终端设备100可采集到包含有标记物200的图像。处理器获取到包含标记物的图像信息,可识别该图像中包含的标记物200,获取到标记物200与终端设备100之间的相对位置与姿态关系。
[0043]
请参图3,本申请实施例提供一种实现虚拟选项的增强现实显示方法,可被终端设备执行,该方法包括如下步骤。
[0044]
步骤310:获取包含目标标记物的图像。
[0045]
终端设备的相机可对位于视觉范围内的目标标记物进行图像采集,得到包含目标标记物的图像,以确定目标标记物的空间位置,用户通过终端设备可观察到虚拟选项叠加显示在真实场景中。其中,虚拟选项指用于用户进行选择或确定等相关操作的虚拟内容,虚拟选项可采用按钮、列表、文本框、对话框等用户界面控件的表现形式。终端设备可根据用户对虚拟选项的操作,进行相关的数据处理,以达到用户的目的。例如,在点餐场景中,虚拟选项为菜品名的选项,在选项被操作时,可展示选项对应的菜品 的虚拟内容(例如菜品的3D模型等);在点歌场景中,虚拟选项可为歌曲名的选项,在选项被操作时,可展示选项对应的歌曲的虚拟内容,例如歌曲信息、音乐短片。上述场景及虚拟选项仅为举例,并不限定。
[0046]
步骤320:根据包含目标标记物的图像,获取终端设备与目标标记物之间的相对空间位置。
[0047]
终端设备可对包含目标标记物的图像进行识别,得到终端设备与目标标记物之间的相对空间位置,及目标标记物的身份信息。其中,相对空间位置包括终端设备相对目标标记物的位置及姿态信息,姿态信息为目标标记物相对终端设备的朝向及旋转角度。
[0048]
步骤330:根据相对空间位置获取至少一个虚拟选项的显示位置,并根据显示位置渲染至少一个虚拟选项。
[0049]
在一些实施方式中,可根据目标标记物与终端设备之间的相对空间位置,获取至少一个虚拟选项的显示位置,并渲染虚拟选项。其中,显示位置是指虚拟选项叠加在现实空间的位置,可用虚拟选项在虚拟空间的渲染坐标表示。
[0050]
终端设备可根据至少一个虚拟选项与目标标记物的位置相对关系,及终端设备与目标标记物之间的相对空间位置,获得至少一个虚拟内容的显示位置。
[0051]
具体地,终端设备获得目标标记物在现实空间的第一空间坐标,将该第一空间坐标转换为目标标记物在虚拟空间的第二空间坐标,再根据虚拟选项与目标标记物的位置相对关系及该第二空间坐标,得到虚拟选项在虚拟空间中的渲染坐标,即得到虚拟内容的显示位置。用户通过终端设备可观看到虚拟选项叠加在真实世界中,且虚拟选项与目标标记物的关系满足该相对位置关系。
[0052]
步骤S340:当任意一个虚拟选项处于选中状态时,执行与处于选中状态的虚拟选项对应的操作。
[0053]
在一些实施方式中,终端设备可检测显示的虚拟选项的状态,当虚拟选项处于选中状态时,进行相应的处理。其中,选中状态是指虚拟选项被选取或被操作的状态,在虚拟选项处于选中状态时,终端设备可响应该选中状态,执行相关操作。
[0054]
在一个实施例中,可检测虚拟选项的显示位置是否满足设定的规则,以确定虚拟内容处于选中状态,或检测到对虚拟选项的选取操作时,可确定虚拟选项处于选中状态。具体确定虚拟选项是否处于选中状态的方式,可不限定。
[0055]
在检测到任意一个虚拟选项处于选中状态时,可执行与处于选中状态的虚拟选项对应的操作。例如,虚拟选项“查看菜品”处于选中状态,可执行展示菜品的处理;虚拟选项“添加商品至清单”处于选中状态,可执行将当前商品添加于清单的处理;虚拟选项“从清单中删除商品”处于选中状态,可执行将当前商品从清单中删除的处理。
[0056]
上述实施例提供的增强现实显示方法,通过识别目标标记物显示相对应的至少一个虚拟选项,当任意一个虚拟选项处于选中状态时,执行与处于选中状态的虚拟选项对应的操作,提升虚拟选项的展示效果,提高交互性。
[0057]
请参图4,本申请另一实施例提供一种增强现实显示方法,可被终端设备执行,该方法包括如下步骤。
[0058]
步骤410:获取包含目标标记物的图像。
[0059]
步骤420:根据包含目标标记物的图像,获取终端设备与目标标记物之间的相对空间位置,及目标标记物的身份信息。
[0060]
终端设备识别图像中的目标标记物,可获取目标标记物的身份信息。在一些实施方式中,可获取身份信息对应的至少一个虚拟选项。不同的目标标记物具有不同的身份信息,并对应不同的虚拟选项。目标标记物的身份信息与虚拟选项的对应关系可预先存储于终端设备中,根据该对应关系,可获取目标标记物的身份信息对应的虚拟选项。
[0061]
在一些实施方式中,可存在多个应用场景,不同身份的标记物可对应不同的场景,可根据比较污获取对应场景下的虚拟选项。例如,包括点餐场景、点歌场景、商品购买场景、游戏场景及视频选择场景等应用场景。通过标记物可显示不同场景下的虚拟选项;在点餐场景下,虚拟选项包括不同菜品的选项、不同饮料的选项及确定选取的选项;在点歌场景下,虚拟选项包括不同歌曲的歌名的选项及确定选取的选项等。
[0062]
步骤430:获取预先设置的虚拟选项与目标标记物之间的位置相对关系。
[0063]
虚拟选项与目标标记物的位置相对关系可预先存储于终端设备中。在一些实施方式中,虚拟选项可按照预设排布的方式叠加在目标标记物上,也可处于目标标记物的边缘或者周围,该位置相对关系即为设定的虚拟选项与目标标记物之间的位置关系。其中,预设排布方式可为直线型排布的方式、多边形排布的方式、曲线型排布等方式,并不限定。
[0064]
在一些实施例中,为保证虚拟选项整齐的显示于虚拟空间,所有虚拟选项可处于同一平面,该平面可与目标标记物所在平面平行,也可与目标标记物所在的平面不平行。
[0065]
步骤440:根据位置相对关系及相对空间位置,得到至少一个虚拟选项的显示位置。
[0066]
以终端设备为参照,可将目标标记物在现实空间的第一坐标,进行坐标转换,得到目标标记物在虚拟空间中的第二坐标,根据虚拟选项与目标标记物之间的位置相对关系,得到虚拟选项的渲染坐标,即显示位置。
[0067]
步骤450:根据显示位置对至少一个虚拟选项进行渲染。
[0068]
在一些实施方式中,可根据虚拟选项的数据及渲染坐标渲染并显示虚拟选项,用户通过终端设备可观看到虚拟选项按照预设排布方式叠加显示在现实空间。显示的虚拟选项与目标标记物的关系即为设定的位置相对关系,例如图5中,虚拟选项500叠加显示于目标标记物200的周围,又例如图6中,虚拟选项600按照直线排布方式叠加显示在现实空间的目标标记物200上。
[0069]
在一些实施方式中,用户可改变终端设备与目标标记物之间的相对空间位置,以对虚拟选项的显示位置进行调整。例如,图5中的目标标记物200进行旋转后,其位置旋转至图7中的位置时,虚拟选项也随目标标记物200的位置的旋转而移动。
[0070]
步骤460:当任意一个虚拟选项处于选中状态时,获取处于选中状态的虚拟选项对应的虚拟对象。
[0071]
在一些实施例中,虚拟选项处于选中状态可包括虚拟选项处于预设显示范围内、获取到对虚拟选项的选取操作及虚拟选项的显示位置相对终端设备的距离小于预设距离等中的至少一种。
[0072]
在一个实施方式中,可检测是否存在处于预设显示范围内的虚拟选项,当存在时,确定处于预设范围内的虚拟选项处于选中状态。具体地,可预先设定显示范围在虚拟空间中对应的坐标区域,当虚拟选 项的渲染坐标在该坐标区域内时,确定虚拟选项处于选中状态。如图8,虚拟选项500在预设显示范围80内,其处于选中状态。
[0073]
终端设备可通过调整虚拟选项的显示位置,使虚拟选项处于预设显示范围,以使虚拟选项处于选中状态。作为一种方式,可调整目标标记物相对的位置或姿态,例如旋转目标标记物,也可通过调整终端设备相对的姿态或位置,使虚拟选项的显示位置改变。作为另一种方式,可通过控制器调整虚拟选项的显示位置。
[0074]
在一个实施方式中,可检测是否获取到对虚拟选项的选取操作,当获取到对虚拟选项的选取操作时,确定虚拟选项处于选中状态。该选取操作可由与终端设备连接的控制器触发,用户可在控制器进行操作,使得终端设备生成赌赢的操作指令,对虚拟选项进行选取。控制器可为手柄,也可为带有触摸屏的移动设备。终端设备也可通过识别用户的手势获取对虚拟选项的选取操作。
[0075]
在一个实施方式中,可检测是否存在虚拟选项的显示位置相对终端设备的距离小于预设距离,小于预设距离的虚拟选项可被确定处于选中状态。具体地,可通过调整虚拟选项的显示位置,使得虚拟选项距离终端设备的距离小于预设距离,以选中相应的虚拟选项。
[0076]
在一些实施例中,可采用设定方式显示处于选中状态的虚拟选项,例如,提高选中的虚拟选项的亮度、放大选中的虚拟选项、改变选中的虚拟选项的颜色、显示指向处于选中状态的虚拟选项的箭头等,便于用户辨认处于选中的虚拟选项。
[0077]
在一些实施方式中,在检测到任意一个虚拟选项处于选中状态时,可显示对应的虚拟对象。不同的应用场景中,不同的虚拟选项可对应不同的虚拟对象。例如,在点餐场景中,包括多个与不同菜品对应的虚拟选项,各个菜品的虚拟选项对应的虚拟对象包括菜品模型及菜品的基本信息等;在点歌场景中,包括多个与不同歌曲对应的虚拟选项,各个歌曲的虚拟选项对应的虚拟对象可包括歌曲的视频动画及歌曲信息等。
[0078]
步骤470:将虚拟对象叠加显示在预设位置。
[0079]
可将获取的虚拟对象叠加显示在现实空间的预设位置处,使虚拟对象具有较好的显示效果。其中,预设位置可为与目标标记物的某一区域重叠的位置,例如,预设位置与目标标记物中心位置重叠,也可与目标标记物的边缘区域重叠。对处于选中状态的虚拟选项的相关内容进行显示,便于用户了解该虚拟选项对相应的信息。如图9,处于选中状态的虚拟选项对应的虚拟对象901为饮料1时,可显示饮料1及相应的价格等。用户通过终端设备可观看到与虚拟选项对应的虚拟对象以增强现实的方式叠加在现实空间中,直观地了解虚拟选项的具体信息,非常便捷。
[0080]
在一些实施方式中,终端设备还可根据处于选中状态的虚拟选项的变化,即处于选中状态的虚拟选项由此前的虚拟选项变为另外的虚拟选项,更新显示的虚拟对象。当检测到选中的虚拟选项发生变化时,获取新选中的虚拟选项对应的虚拟对象,并将当前显示的虚拟对象切换为新选中的虚拟选项对应的虚拟对象。例如,在点餐场景中,选中的虚拟选项由菜品1的虚拟选项变为菜品2的虚拟选项,可将菜品1对应的虚拟对象变为菜品2对应的虚拟对象。请参图9及图10,在处于选中状态的虚拟选项500发生变化时,显示的虚拟对象可由饮料1更新为饮料2。通过简单的位置调整即可切换显示不同虚拟选项对应的虚拟对象,方便用户直观、快速地获取各个虚拟选项的具体内容,提高交互性。
[0081]
在一些实施方式中,还可根据对处于选中状态的虚拟选项的操作,进行相关处理。在检测到对处于选中状态的虚拟选项的目标操作时,将处于选中状态的虚拟选项对应的选项数据添加到选择清单中;将选择清单中包含的选项数据发送至其他设备。
[0082]
在一些场景中,用户需要对处于选中状态的虚拟选项进行相关操作,以达到选择该虚拟选项对应的选项数据的目的。具体地,可检测对处于选中状态的虚拟选项的添加操作,该添加操作用于将该虚拟选项的选项数据添加到选择清单,其中,选项数据指虚拟选项对应的选项内容的数据,例如,虚拟选项为菜品对应的虚拟选项时,选项数据即为该菜品的数据。在检测到对处于选中状态的虚拟选项的添加操作时,可将该虚拟选项的选项数据添加于选择清单,并且后续可以将选择清单中的选项数据,发送至其他设备,以使其他设备对选择清单中的选择数据进行处理。例如,在点餐场景中,可将选择的虚拟选项对应的菜品数据加入至选择清单,并且可将选择清单中的菜品数据发送至服务器,对菜品进行下单;在点歌场景中,可将选择的虚拟选项对应的歌曲数据加入至选择清单,并且可将选择清单中的歌曲数据发送至服务器,以从服务器获取选择清单对应的音频数据。
[0083]
本申请实施例提供的显示方法,根据对处于选中状态的虚拟选项的操作,将虚拟选项的选项数据发送至其他设备,以使其他设备对选项数据进行相关处理,满足不同场景下的数据处理需求,提高处理效率。
[0084]
请参图11,本申请另一实施例提供的增强现实显示系统10a,包括终端设备100a及交互设备200a。在一些实施方式中,交互设备200a为多面体标记物,其包括多个标记面,其中至少两个不共面的标记面上设置有标记物。交互设备200a的具体形态结构不受限制,可为平面与曲面相结合的多面体,也可为曲面与曲面相结合的多面体。交互设备200a可为以下结构中的任意一种或多种的组合:棱锥、棱柱、棱台、多面体、球体,其中球体可理解为由无数个面形成的多面体。
[0085]
在终端设备100a与交互设备200a被共同使用时,可使标记物位于终端设备100a的视觉范围内,进而使得终端设备100a可采集到包含标记物的图像,以对标记物进行识别追踪,得到标记物相对终端设备100a的位置、姿态等空间位置信息,以及标记物的身份信息等识别结果,进而得到交互设备200a相对终端设备100a的位置、姿态等空间位置信息,实现对交互设备200a的定位追踪。终端设备100a可根据与交互设备200a之间的相对位置及姿态信息,显示相应的虚拟内容。
[0086]
在一些实施方式中,标记物为具有拓扑结构的图案。在另一些实施方式中,标记物可为光点式的标记,终端设备通过追踪光点以获取相对位置、姿态等空间位置信息。在一个实施方式中,可在交互设备200a上设置光点和惯性测量单元,终端设备可通过相机采集交互设备200a的光点图像,并通过惯性测量单元获取测量数据,根据该光点图像和测量数据即可确定交互设备200a与终端设备100a之间的相对空间位置信息,实现对交互设备200a的定位及追踪。其中,交互设备200a上设置的光点可为可见光点或者红外光点,光点的数量可为一个或者由多个光点组成的光点序列。
[0087]
在一些实施方式中,可以通过交互设备200a上的不同标记物在终端设备100a的视野范围内发生旋转或/及位移,使得终端设备100a可实时采集交互设备200a上的标记物信息,进而获取交互设备200a的空间位置信息,以便终端设备100a根据该空间位置信息显示相应的虚拟内容。
[0088]
请参图12,本申请实施例提供了一种虚拟内容显示方法,应用于终端设备,该方法包括如下步骤。
[0089]
步骤1210:采集包含实体对象的图像,实体对象包括至少一个标记物。
[0090]
在一些实施例中,实体对象包括至少两个不共面的不同标记物。作为一种实施方式,实体对象可为一种具有多面体结构的多面体标记物,可以为四面体标记物、六面体标记物、二十六面体标记物等,当前还可以是其他面数的多面体标记物,在此不一一列举。作为一种方式,该多面体标记物包括多个标记面,且其中至少两个不共面的标记面上设置有不同的标记物。
[0091]
实体对象可以设置于终端设备的相机的视觉范围内的位置。终端设备可通过相机对位于视觉范围内的实体对象进行图像采集,相机的视觉范围可以由视场角的大小决定。实体对象包括至少一个标记物,实体对象的部分或所有标记物可处于相机的视觉范围内,则采集的图像中可包含该处于视觉范围内的实体对象的标记物。
[0092]
在一些实施方式中,实体对象可以包括至少两个不共面的不同标记物。用户可通过旋转实体对象来改变实体对象相对终端设备的朝向及旋转角度,以使终端设备可以采集到实体对象的某个面上的标记物。同样的,通过旋转实体对象,也可以采集到实体对象的多个面上的标记物。
[0093]
步骤1220:识别图像中的标记物,并获取终端设备与实体对象之间的相对空间位置信息。
[0094]
终端设备可对采集的图像中包含的标记物进行识别,以获取终端设备与实体对象之间的相对空间位置信息。其中,该相对空间位置信息可以包括终端设备相对实体对象的位置及姿态信息等,姿态信息为终端设备相对实体对象的朝向及旋转角度。图像中的标记物的个数可为一个,可获取图像中该标记物相对终端设备的空间位置信息,并根据预先存储的该标记物在实体对象的实际物理位置、该标记物与其他标记物的相对位置关系等,得到终端设备相对实体对象的空间位置信息。
[0095]
在另一些实施方式中,图像中的标记物的个数可为多个。可获取图像中的每个标记物相对终端设备的空间位置信息,并根据每个标记物相对终端设备的空间位置信息,得到终端设备相对实体对象的空间位置信息。例如,终端设备识别的图像中的标记物包括第一标记物以及第二标记物,第二标记物区别于第一标记物,终端设备可以分别计算第一标记物以及第二标记物与终端设备之间的相对位置及旋转关系,以确定终端设备相对实体对象的空间位置信息。
[0096]
在一些实施方式中,终端设备识别图像包含的标记物,还可获取该标记物的身份信息。可获取该身份信息对应的至少一个虚拟选项。标记物的身份信息与虚拟选项的对应关系存储于终端设备中,可根据标记物的身份信息以及该对应关系,获取标记物的身份信息对应的虚拟选项。
[0097]
在一些实施方式中,不同的标记物可以对应同一场景下的不同虚拟选项,例如,在虚拟动物园场景下,标记物1对应海豚,标记物2对应章鱼。同一标记物在不同场景下也可对应不同的虚拟选项,例如,在虚拟游戏场景下,标记物1对应游戏下载选项,标记物2对应游戏视频选项,在购物场景下,标记物1对应上衣选项,标记物2对应休闲裤选项。不同的标记物在不同层级中可对应不同的虚拟选项,例如,游戏类别层级中,标记物1对应连连看选项,标记物2对应坦克大战选项,在连连看层级中,标记物1对应连连看介绍选项,标记物2对应连连看下载选项,但不限于此。
[0098]
在一些实施方式中,一个标记物可对应多个不同的虚拟选项。
[0099]
在一些实施方式中,终端设备可存储不同应用场景的APP、网址链接等,例如购物、游戏、新闻、娱乐、教育等应用场景的APP、网络连接等,以实现不同场景下的虚拟选项显示。
[0100]
步骤1230:根据相对空间位置信息,显示包含至少一个第一虚拟选项的第一虚拟画面,其中,第一虚拟选项对应至少一个第二虚拟选项。
[0101]
第一虚拟选项可以为多层级选项中的任一层级中的任一选项。例如,在虚拟游戏场景中,多层级选项的第一层级为游戏类别,第一层级的选项包括射击类、益智类,第二层级为游戏应用,第二层级的选项包括五子棋、坦克大战,则第一虚拟选项可以是第一层级游戏类别的选项,也可以是第二层级的游戏应用选项。当然,以上场景以及第一虚拟选项仅为举例,并不代表对本申请实施例中第一虚拟选项的限定。
[0102]
在一些实施方式中,获取终端设备相对实体对象的空间位置信息之后,可以根据该空间位置信息,在虚拟空间中对需要显示的第一虚拟画面进行渲染,并通过显示单元进行显示,其中,第一虚拟画面包含一个或多个属于同一层级的第一虚拟选项。
[0103]
可根据终端设备相对实体对象的空间位置信息获取实体对象在现实空间的第一空间坐标,将该第一空间坐标转换为虚拟空间中的第二空间坐标。根据待显示的各个第一虚拟选项与实体对象的预设位置关系,及第二空间坐标,得到每个第一虚拟选项在虚拟空间的渲染坐标,以便根据每个第一虚拟选项的渲染坐标渲染相应的第一虚拟选项,从而生成并显示包含各个第一虚拟选项的第一虚拟画面。
[0104]
终端设备可获取待显示的第一虚拟选项的数据,可根据第一虚拟选项的数据及渲染坐标构建并渲染第一虚拟选项。其中,第一虚拟选项的数据,可包括模型数据,模型数据用于构建三维虚拟内容的模型,如用于建模的颜色数据、顶点数据、轮廓数据等。其中,第一虚拟选项的模型数据可预存在终端设备中,也可从服务器下载或从其他终端获取。
[0105]
用户通过终端设备可观察到包含有至少一个第一虚拟选项的第一虚拟画面叠加显示在现实空间中。例如,请参图13,用户通过佩戴的头戴显示装置100a扫描实体对象200a,可观看到第一虚拟画面300a与现实空间叠加进行显示,其中,第一虚拟画面300a包含有海豚301a、章鱼302a以及金鱼303a等多个第一虚拟选项。
[0106]
在一些实施方式中,显示的第一虚拟画面还可以包括场景图像。该场景图像可以是与第一虚拟选项对应的场景图像,例如,第一虚拟选项为虚拟水母,场景图像可为虚拟海洋,则显示的第一虚拟画面为虚拟水母在虚拟的海洋中。
[0107]
在一些实施方式中,终端设备可采用以下一种或多种方式显示第一虚拟选项:控制第一虚拟选项以预定的静止姿态显示;控制第一虚拟选项以预定的运动姿态显示;控制第一虚拟选项以三维形象显示;控制第一虚拟选项放大显示或缩小显示;控制第一虚拟选项以预定的显示位置显示。
[0108]
不同第一虚拟选项的显示位置可分别与实体对象的不同面的一一对应。例如,显示的熊猫对应实体对象的一个面,显示的猴子对应实体对象的另一个面。多个第一虚拟选项也可均匀排列地显示在实体对象的周围等。
[0109]
第二虚拟选项可为多层级选项中的任一层级中的任一选项,且第二虚拟选项所处的层级区别于第一虚拟选项所处的层级。在一个实施例中,第二虚拟选项与第一虚拟选项处于相邻的层级,该相邻的层级可以是第一虚拟选项的父层级(即上一层级),也可以是第一虚拟选项的子层级(即下一层级)。第一虚拟选项对应至少一个第二虚拟选项。其中,第二虚拟选项为多个时,多个第二虚拟选项为同一层级的 选项。每个第一虚拟选项对应的第二虚拟选项可不同,可根据预先存储的对应关系获取第一虚拟选项对应的第二虚拟选项。
[0110]
作为一种方式,第一虚拟选项为第二虚拟选项的父选项,第二虚拟选项所处的层级从属于第一虚拟选项所处的层级。例如,第一虚拟选项为海洋生物园,则该第一虚拟选项对应的第二虚拟选项可以为一个或多个虚拟海洋动物,如虚拟水母、虚拟鲸鱼等,但不限于此。
[0111]
作为一种方式,第一虚拟选项所处的层级从属于第二虚拟选项所处的层级,第一虚拟选项对应的第二虚拟选项可以是第一虚拟选项的父层级的选项。其中,对应的第二虚拟选项中存在一个第二虚拟选项是第一虚拟选项的父选项。例如,第一虚拟选项处于海洋生物园的动物层级,第一虚拟选项可为虚拟水母、虚拟鲸鱼等,第二虚拟选项处于虚拟动物园的园区层级,第二虚拟选项可包括鸟园、熊猫园、海洋生物园等,其中,第二虚拟选项为海洋生物园,是第一虚拟选项的父选项。
[0112]
步骤1240:根据对第一虚拟选项的第一指令,将第一虚拟画面切换显示为包含第二虚拟选项的第二虚拟画面。
[0113]
用户可对多层级虚拟选项进行切换,以将当前显示的第一虚拟面画切换到上一层级或下一层级的虚拟画面。终端设备接收对第一虚拟选项的选择操作,可根据选择操作获取对第一虚拟选项的第一指令,并根据第一指令将第一虚拟画面切换为第二虚拟画面进行显示,该第二虚拟画面可包含与第一虚拟选项对应的第二虚拟选项。
[0114]
第二虚拟画面的生成及显示步骤可参考上述第一虚拟画面的介绍,在此不再一一赘述。
[0115]
在一个实施例中,第一指令可为进入下一层级的指令,可确定被选择的第一虚拟选项,再根据第一指令对该第一虚拟选项的子层级选项进行显示。例如,第一虚拟选项为动物园,可根据第一指令显示动物园的各个园区选项(如海洋生物园、鸟园等)。第一指令也可为进入上一层级的指令,可根据第一指令获取第一虚拟选项对应的父选项,再对父选项所处层级中的一个或多个选项进行显示。例如,第一虚拟选项为熊猫,熊猫的父选项为熊猫馆,则可对熊猫馆所处层级的选项(如熊猫馆、海洋馆、企鹅馆等)进行显示。
[0116]
如图13及图14,在虚拟动物园场景下,图14为虚拟动物园的不同园区,图13为某个园区下的不同虚拟动物。若图14的内容为当前显示的第一虚拟画面,当终端设备100a接收到进入下一层级的第一指令时,可将图14的当前显示的虚拟画面切换为图13的虚拟画面;若图13的内容为当前显示的第一虚拟画面,当终端设备100a接收到进入上一层级的第一指令时,也可将当前显示的图13的当前显示的虚拟画面切换为图14的虚拟画面。
[0117]
作为一种方式,可以通过采集实体对象上的用户操作,生成第一指令。其中,实体对象包括至少一个操控区,该操控区可以包括触摸屏、按键中的至少一种。在一些实施方式中,用户在实体对象上的操作可以包括但不限于作用于实体对象的操控区的单指滑动、点击、按压、多指配合滑动等,以控制虚拟画面的切换显示效果。例如,二十六面体的实体对象200中的八个三角形面皆为操控区。
[0118]
作为另一种方式,还可根据用户的手势生成第一指令,终端设备对用户的手势进行识别,并生成该第一指令,用户的手势可包括上升、落下、左右挥手等。
[0119]
在一个实施例中,终端设备在显示第二虚拟画面时,还可播放相应的音频。例如,显示的第二虚拟 选项为鸟,终端设备能够播放出鸟的叫声。
[0120]
在一些实施方式中,第二虚拟画面还可以包括第一虚拟选项。如参图15a,在医学场景中,用户通过移动设备100b可观看到显示的第二虚拟画面400b仅包括心脏模型402b;作为另一种方式,如图15b,用户通过移动设备100b可观看到显示的第二虚拟画面400b包括医用人体模型401b,以及心脏模型402b,其中,医用人体模型401b为第一虚拟选项,心脏模型402b为第二虚拟选项。
[0121]
上述实施例提供的虚拟内容显示方法,通过识别实体对象上的标记物,得到终端设备相对实体对象的空间位置信息,并根据相对空间位置信息,显示包含至少一个第一虚拟选项的第一虚拟画面,其中,第一虚拟选项对应至少一个第二虚拟选项,并根据对第一虚拟选项的第一指令,将第一虚拟画面切换显示为包含第二虚拟选项的第二虚拟画面,方便在不同层级之间进行切换,且提升了多层级选项的显示效果。
[0122]
在一些实施例中,在需要显示的第一虚拟选项的数目比较多时,可以对显示的第一虚拟选项进行限定。请参图16,步骤根据相对空间位置信息,显示包含至少一个第一虚拟选项的第一虚拟画面,包括:
[0123]
步骤1602:当需要显示的第一虚拟选项的数目大于预设阈值时,从需要显示的第一虚拟选项中选取与预设阈值对应的第一虚拟选项。
[0124]
终端设备可判断需要显示的第一虚拟选项的数目是否大于预设阈值,以确定终端设备是否能够完整显示所有选项信息。其中,预设阈值可以为终端设备一次能够显示的第一虚拟选项的最大个数。该预设阈值可以预先存储于终端设备,可以根据第一虚拟选项的具体情况以及用户需求进行合理设定。可以理解的是,预设阈值设定得越大,第一虚拟选项显示的形态越小。
[0125]
当确定需要显示的第一虚拟选项的数目大于预设阈值时,可以从需要显示的第一虚拟选项中选取与预设阈值对应的第一虚拟选项,再生成包含选取的第一虚拟选项的第一虚拟画面,并进行显示。当确定需要显示的第一虚拟选项的数目小于或等于预设阈值,可以直接将第一虚拟选项进行显示。
[0126]
例如,设定预设阈值为2,若仅需显示熊猫选项,终端设备可确定需要显示的第一虚拟选项的数目小于预设阈值,可直接将熊猫动物选项进行显示;若需要显示的第一虚拟选项包括熊猫,猴子,老虎等选项,则终端设备可确定需要显示的第一虚拟选项的数目大于预设阈值,可选取其中的任意两个第一虚拟选项进行显示,如显示熊猫选项及猴子选项。
[0127]
在一些实施例中,可根据第一虚拟选项的优先级选取第一虚拟选项。其中,优先级可以是重要程度的优先级、被选中的频率优先级、用户的喜好优先级等,具体的优先级在此不作限定。可更加智能化,满足用户需求。
[0128]
在一些实施例中,可根据第一虚拟选项的更新时间选取第一虚拟选项,更新时间最新的第一虚拟选项优先进行选取。
[0129]
步骤1604:根据相对空间位置信息,显示包含预设阈值对应的第一虚拟选项的第一虚拟画面。
[0130]
终端设备选取预设阈值对应的第一虚拟选项,可根据与实体对象之间的相对空间位置信息,对包含有选取的第一虚拟选项的第一虚拟画面进行显示。
[0131]
在一些实施例中,终端设备可对其他未被选取的第一虚拟选项进行显示。终端设备在检测到切换指令时,可以将当前显示的第一虚拟选项中的至少一个切换为其他第一虚拟选项,其中,其他第一虚拟选 项为需要显示的所有第一虚拟选项中除当前显示的第一虚拟选项以外的第一虚拟选项。
[0132]
在一些实施例中,终端设备可将当前显示的部分第一虚拟选项切换为其他第一虚拟选项,第一虚拟画面中既包括原来显示的第一虚拟选项,也包括新的第一虚拟选项。例如,在虚拟游戏场景下,第一虚拟画面中包括连连看选项和推箱子选项,终端设备在检测到切换指令时,可以将连连看选项切换为贪吃蛇选项,则第一虚拟画面中包括贪吃蛇选项和推箱子选项。
[0133]
在一些实施例中,终端设备可将当前显示的全部第一虚拟选项切换为其他第一虚拟选项。作为一种方式,可对需要显示的第一虚拟选项进行分组,每组第一虚拟选项的个数可为预设阈值,当检测到切换指令时,可将当前显示的第一虚拟选项切换为其他组的第一虚拟选项。
[0134]
作为另一种方式,终端设备在检测到切换指令时,也可从未被选取的第一虚拟项选项中继续选取预设阈值对应的第一虚拟选项,从而对当前显示的第一虚拟选项进行切换。例如,在虚拟游戏场景下,设定的预设阈值为2,若需要显示的第一虚拟选项包括连连看,推箱子,贪吃蛇,坦克大战等选项时,终端设备可以先对连连看选项及推箱子选项进行显示,然后在检测到切换指令时将连连看选项及推箱子选项切换为贪吃蛇选项及坦克大战选项。
[0135]
在一些实施方式中,终端设备可通过检测实体对象的空间位置信息,确定是否检测到切换指令。具体地,终端设备可检测实体对象的空间位置变化是否满足设定变化,若满足,则可接收到切换指令。其中,空间位置变化包括实体对象相对终端设备的朝向变化及旋转角度变化。作为一种方式,可以通过旋转实体对象来改变实体对象的空间位置。
[0136]
设定变化可为实体对象的空间位置变化的变化区间,该设定变化可以预先存储于终端设备,可以根据第一虚拟选项的具体情况进行合理设定。在一些实施方式中,该设定变化可以是旋转度数的变化区间,如旋转大于90°。也可以是旋转方向的变化,如向右旋转、向左旋转等,但不限于此。
[0137]
进一步的,可以根据旋转方向确定向前切换或者向后切换,其中,向前切换为将当前显示的第一虚拟选项切换为前一次显示的第一虚拟选项,向后切换则可以是按照上述实施例描述的几种方式进行切换。例如,向左旋转实体对象实现向前切换,向右旋转实体对象实现向后切换。
[0138]
如图13和图17,用户向右旋转实体对象200a,可看到图13中当前显示的海豚301a、章鱼302a、金鱼303a切换为图17中的海星304a、海螺305a、乌龟306a。又如图13和图18,用户通过向右旋转实体对象200a,可看到当前显示的海豚301a、章鱼302a、金鱼303a切换为图18中的章鱼302a、金鱼303a、海星304a。
[0139]
在一些实施方式中,终端设备在检测到实体对象的操控区的用户操作(如检测到用户按压、单指滑动等)时,确定检测到切换指令。同样的,可根据具体用户操作确定向前切换以及向后切换(如按压次数、滑动方向等)。
[0140]
在一些实施例中,请参图19,步骤根据对第一虚拟选项的第一指令,将第一虚拟画面切换显示为包含第二虚拟选项的第二虚拟画面,包括:
[0141]
步骤1902:根据对第一虚拟选项的第一指令,从至少一个第一虚拟选项中获取目标第一虚拟选项。
[0142]
终端设备可根据第一指令确定目标第一虚拟选项,并对目标第一虚拟选项对应的第二虚拟选项的显示。作为一种实施方式,可获取处于选中状态的第一虚拟选项,在获取到第一指令时,将处于选中状态 的第一虚拟选项作为目标第一虚拟选项。
[0143]
在一些实施方式中,第一虚拟选项处于选中状态可包括第一虚拟选项处于预设显示范围内、获取到对第一虚拟选项的选取操作和第一虚拟选项的显示位置相对终端设备的距离小于预设距离时中的一种或多种。关于处于选中状态的第一虚拟选项可参考上述的实施例描述,在此不再一一赘述。
[0144]
步骤1904:获取与目标第一虚拟选项对应的至少一个第二虚拟选项。
[0145]
步骤1906:将第一虚拟画面切换显示为包含第二虚拟选项的第二虚拟画面。
[0146]
终端设备获取目标第一虚拟选项对应的至少一个第二虚拟选项,可对获取的第二虚拟选项进行显示。作为一种方式,第二虚拟选项可按照预设显示状态、预设显示位置、预设排布方式等进行显示,来提升第二虚拟选项的显示效果。其中,对第二虚拟选项的显示方式可以参考上述第一虚拟选项的显示方式,此处不再赘述。
[0147]
在一些实施例中,终端设备可接收对第二虚拟选项的第二指令,并根据第二指令将当前显示的第二虚拟画面切换回第一虚拟画面进行显示,从而实现相邻层级间的虚拟选项的随意切换。作为一种方式,终端设备在将第一虚拟画面切换为第二虚拟画面之前,可以将当前显示的第一虚拟画面进行存储,以便在显示切换后的第二虚拟画面时,能直接切换回第一虚拟画面,避免重复获取数据的操作。
[0148]
可以理解的是,本申请实施例中多层级选项的层级数并不作限定,比如可以是二层级、三层级、五层级等,上述第一虚拟选项及第二虚拟选项并不特指哪一层级的选项,可将当前显示的虚拟选项确定为第一虚拟选项,将切换显示的虚拟选项确定为第二虚拟选项,第一虚拟选项和第二虚拟选项所处的层级在此不作限定。
[0149]
上述实施例提供的虚拟内容显示方法,将多层级虚拟选项显示于虚拟空间,实现了多层级虚拟选项之间的切换,操作简便,且使用户可以观察到多层级虚拟选项叠加于真实世界的效果,提升了多层级选项的显示效果。
[0150]
请参图20,本申请一个实施例提供了一种虚拟画面的控制方法,可应用于终端设备,该方法包括如下步骤。
[0151]
步骤2010:获取终端设备与交互设备之间的相对空间位置信息。
[0152]
步骤2020:根据相对空间位置信息,生成虚拟画面,虚拟画面包括一个或多个用户界面元素,用户界面元素在现实空间的叠加位置与交互设备对应。
[0153]
在一些实施方式中,终端设备可获取虚拟画面的画面数据,该画面数据可包括虚拟画面的三维模型数据。终端设备可根据相对空间位置信息及虚拟画面在现实空间的叠加位置,获取叠加位置的空间位置坐标,再将该空间位置坐标转换为虚拟空间中的空间坐标,即获取虚拟画面的渲染坐标,然后根据画面数据以及渲染坐标,渲染虚拟画面。其中,渲染坐标指的是虚拟画面在虚拟空间中以预设原点(例如世界坐标原点、虚拟摄像头原点等)的三维空间坐标。
[0154]
作为一种实施方式,虚拟画面可以包括一个或多个用户界面元素。用户界面元素用于实现交互需求,例如,窗口、对话框、菜单、滚动条、图形选项等,具体的用户界面元素可以不作为限定。
[0155]
其中,虚拟画面中的用户界面元素在现实空间中的叠加位置与交互设备对应。例如,叠加位置可以为交互设备的表面,又例如,叠加位置可以为距离交互设备的表面一定距离的位置,具体的叠加位置可 以不做限定。在一种具体的实施方式中,虚拟画面中包括多个用户界面元素时,不同的用户界面元素的叠加位置可以与交互设备的不同位置对应。例如,交互设备为多面体时,叠加位置可以为多面体的不同面上。
[0156]
在一些实施方式中,终端设备生成虚拟画面后,可以对虚拟画面进行显示。具体地,终端设备构建并渲染出虚拟画面后,可以获取虚拟画面的显示数据,该显示数据可以包括显示画面中各个像素点的RGB值及对应的像素点坐标等,终端设备可根据该显示数据生成虚拟画面,并将虚拟画面通过显示屏或投射模组投射到显示镜片上,从而显示出虚拟画面,用户通过头戴显示装置的显示镜片,可以看到虚拟画面叠加显示在与交互设备对应的叠加位置处,实现增强现实的显示效果。
[0157]
步骤2030:获取预先建立的与交互设备对应的旋转向量,并根据相对空间位置信息确定旋转向量于虚拟空间中的空间位置,旋转向量的指向方向固定不变。
[0158]
在一些实施方式中,可以预先建立与交互设备对应的旋转向量,该旋转向量可以与交互设备的姿态、位置等对应。交互设备对应的旋转向量可用于对虚拟内容进行选取。旋转向量在虚拟空间中的指向方向可预先设定,旋转向量在虚拟空间中的指向方向可固定不变。作为一种方式,旋转向量的指向方向在虚拟空间中以终端设备为原点的第一空间坐标系中固定不变。也就是说,在第一空间坐标系中,交互设备对应的旋转向量的指向方向相对终端设备是保持不变的。当交互设备发生旋转时,该旋转向量在第一空间坐标系中的指向方向也不会发生变化。例如,在以终端设备为原点的空间坐标系中,旋转向量的指向方向始终为自交互设备的中心指向终端设备镜片中间的方向,但不限于此,旋转向量的指向方向也可以根据用户的设置操作而设定。
[0159]
在一些实施方式中,终端设备可获取交互设备的姿态,并根据交互设备的姿态,确定旋转向量在虚拟空间中以交互设备为原点的第二空间坐标系中的空间位置。由于旋转向量的指向方向在第一空间坐标系中固定不变,当交互设备的姿态发生变化时,旋转向量在第二空间坐标系中的空间位置会相应发生变化。而用户界面元素在现实空间中的叠加位置与交互设备对应,用户界面元素在第二空间坐标系中的位置是不变的,因此,可通过改变交互设备相对终端设备的位置和/或姿态,控制旋转向量与不同的用户界面元素进行交互。
[0160]
步骤2040:当空间位置处于虚拟空间中任一用户界面元素对应的位置区域时,根据所处位置区域对应的用户界面元素执行相应的控制操作。
[0161]
在一些实施方式中,当交互设备相对终端设备的位置和/或姿态发生变化时,终端设备可以根据旋转向量在虚拟空间中第二空间坐标系的空间位置以及用户界面元素在虚拟空间中第二空间坐标系的位置,确定旋转向量的空间位置是否处于虚拟空间中任一用户界面元素对应的位置区域。当确定旋转向量的空间位置处于任一用户界面元素对应的位置区域时,可确定选中所处位置区域对应的用户界面元素,并与选中的用户界面元素进行交互。终端设备可根据该选中的用户界面元素执行相应的控制操作。作为一种方式,该控制操作可包括控制该用户界面元素处于选中状态、显示与该用户界面元素对应的虚拟内容、移动该用户界面元素、或者调整该用户界面元素的显示状态等,但不限于此。
[0162]
上述实施例提供的虚拟画面的控制方法,通过获取终端设备与交互设备之间的相对空间位置信息,根据相对空间位置信息,生成包括用户界面元素的虚拟画面,并且用户界面元素在现实空间中的叠加位 置与交互设备对应,获取预先建立的与交互设备对应的旋转向量,并根据相对空间位置信息确定旋转向量于虚拟空间中的空间信息,当空间位置处于虚拟空间中任一用户界面元素对应的位置区域时,根据所处位置区域对应的用户界面元素执行相应的控制操作,从而可以实现通过旋转交互设备,使交互设备对应的旋转向量处于不同的用户界面元素对应的位置区域中,而实现快捷方便地与不同用户界面元素的交互。
[0163]
请参图21,本申请另一个实施例提供了一种虚拟画面的控制方法,应用于终端设备,该方法包括如下步骤。
[0164]
步骤2110:以交互设备上的预设点作为原点,建立交互设备对应的三维旋转坐标系。
[0165]
在虚拟空间中,终端设备可以交互设备上的预设点,预先建立交互设备对应的三维旋转坐标系,即建立上述的第二空间坐标系。其中,预设点可以为交互设备的任意点,例如预设点可以为交互设备的任一顶点,也可以为交互设备的中心点,在此不做限定。
[0166]
在一个实施例中,请参图22,可以设置交互设备上的任一点(例如中心点等)作为原点,以竖直方向为Y轴,X轴和Z轴所在的平面为水平面,从而建立三维旋转坐标系。其中,X轴以及Z轴可以通过以下方式确定:可以根据终端设备与交互设备之间的相对空间位置信息,确定终端设备相对交互设备的朝向方向,再设置该朝向方向作为第一向量所在方向,设第一向量在水平面上的分量为Z轴,然后可以根据左手坐标系原理确定X轴的位置。而Y轴在竖直方向上,基于原点即可确定Y轴,从而确定出了X轴,Y轴和Z轴,即建立交互设备对应的三维旋转坐标系。
[0167]
在一些实施方式中,交互设备对应的三维旋转坐标系可以为角坐标系,可利用欧拉角、夹角等表示点在三维旋转坐标系的位置。
[0168]
步骤2120:根据一个或多个用户界面元素对三维旋转坐标系进行区域划分,并确定每个用户界面元素在三维旋转坐标系对应的空间区域。
[0169]
在一些实施方式中,终端设备可获取待显示的用户界面元素,并根据待显示的用户界面元素对三维旋转坐标系进行区域划分,确定每个用户界面元素在该三维旋转坐标系中对应的空间区域。
[0170]
在一些实施方式中,终端设备可根据用户界面元素在现实空间中与交互设备对应的叠加位置将三维旋转坐标系划分为多个空间区域,每个用户界面元素对应有一个空间区域。用户界面元素对应的空间区域的大小可与用户界面元素的大小相同,也可以与用户界面元素的大小不同,例如用户界面元素对应的空间区域的大小可大于用户界面元素的大小。
[0171]
在一些实施方式中,用户界面元素可以为单行或单列的方式进行排布,也可以按照多行且多列的方式(网格状)排布。终端设备可根据用户界面元素的空间排布方式,对三维旋转坐标系进行区域划分。终端设备可获取用户界面元素的空间排布方式,例如,如图23所示,用户界面元素的空间排布方式为网格状排布,可将三维旋转坐标系按照多行及多列划分为多个空间区域。终端设备可根据每个用户界面元素的排布位置,确定用户界面元素对应的空间区域。又如图24所示,用户界面元素的空间排布方式为单行或者单列排布,可将用户界面元素所在平面划分为多个平面区域。终端设备可以根据每个用户界面元素的排布位置,确定排布位置对应的平面区域,然后将平面区域映射至旋转坐标系中,获得用户界面元素在该三维旋转坐标系中对应的空间区域。可以理解地,三维旋转坐标系的区域划分方式并不限于 上述几种。
[0172]
步骤2130:获取终端设备与交互设备之间的相对空间位置信息。
[0173]
步骤2140:根据相对空间位置信息,生成虚拟画面,虚拟画面包括一个或多个用户界面元素,用户界面元素在现实空间的叠加位置与交互设备对应。
[0174]
步骤2150:获取预先建立的与交互设备对应的旋转向量,旋转向量的指向方向固定不变。
[0175]
步骤2160:根据相对空间位置信息,获取交互设备的旋转信息,并根据旋转信息确定三维旋转坐标系的姿态。
[0176]
步骤2170:根据三维旋转坐标系的姿态获取旋转向量于三维旋转坐标系中的空间坐标。
[0177]
在一些实施方式中,由于三维旋转坐标系是以交互设备而建立的,三维旋转坐标系的姿态会随交互设备的旋转而变化。终端设备可确定交互设备的旋转信息,并根据旋转信息确定三维旋转坐标系的姿态。可根据三维旋转坐标系的姿态,确定旋转向量与三维旋转坐标系中各个坐标轴之间的角度,并根据确定的角度,获得旋转向量于三维旋转坐标系中的空间坐标,该空间坐标能表示出旋转向量在三维旋转坐标系中的位置及指向方向。
[0178]
步骤2180:当旋转向量的空间坐标处于任一用户界面元素对应的空间区域时,根据所处空间区域对应的用户界面元素执行相应的控制操作。
[0179]
在一些实施方式中,终端设备可确定旋转向量的空间坐标是否处于三维旋转坐标系中任一用户界面元素对应的空间区域。当该空间坐标处于三维旋转坐标系中任一用户界面元素对应的空间区域,则可以根据该空间区域对应的用户界面元素,进行相应的控制操作。
[0180]
请同时参图23及图25,以图23中的三维旋转坐标系为例,旋转向量可以为Vd,Vd的方向可以为第一向量Vh的反方向,图23中的空间区域T可以为当前旋转向量Vd所处的用户界面元素对应的空间区域。由于旋转向量的指向方向在虚拟空间中以终端设备为原点的空间坐标系中固定不变,因此,当交互设备发生旋转时,则旋转向量在三维旋转坐标系中的空间坐标也会发生变化。在交互设备的姿态发生变化时,用户界面元素在三维旋转坐标系中对应的空间区域是不会发生变化的,因此可以通过确定旋转向量在三维旋转坐标系中处于不同用户界面元素对应的空间区域,而根据不同的用户界面元素进行相应的控制操作。
[0181]
在一些实施方式中,用户界面元素按单行或者单列的排布方式进行排布,由于仅在三维旋转坐标系中将用户界面元素所在平面划分为多个平面区域,因此仅需要考虑旋转向量在用户界面元素所在平面上的投影,使得用户操作交互设备时,只需考虑交互设备的旋转信息的一个自由度,减少误操作的可能性。
[0182]
在一些实施方式中,虚拟画面中用户界面元素在现实空间中的叠加位置会随着交互设备位置及姿态的变化而变化。这样就可能使得用户旋转交互设备后,用户界面元素无法正常被用户观察到的情况,例如,显示的用户界面元素被交互设备遮挡,甚至出现在交互设备背离终端设备的一面。
[0183]
终端设备可对虚拟画面中的用户界面元素进行调整整。作为一种方式,当旋转向量的空间坐标处于预设空间区域时,调整一个或多个用户界面元素在三维旋转坐标系中对应的空间区域,调整后的用户界面元素在现实空间的叠加位置正对终端设备。其中,预设空间区域可为用户界面元素对应的空间区域的边界外的空间区域、与用户界面元素对应的空间区域相背的空间区域中的至少一种。当旋转向量的空间 坐标处于预设空间区域时,可能出现用户界面元素在视野范围之外或者处于交互设备背离终端设备的一面(即交互设备的背面)的情况。用户界面元素在被调整后,在现实空间中的叠加位置正对终端设备,从而用户可以看到用户界面元素重新出现视野范围内,便于用户查看用户界面元素并进行选择。请同时参图26a、26b,图26a中用户界面元素501即将出视野范围,在经过对用户界面元素501调整后,用户界面元素501可以重新出现正对终端设备的位置,使用户可以看到处于中间区域的用户界面元素501。
[0184]
在该实施方式下,终端设备还可以生成反馈信息,以提示用户该用户界面元素的位置被调整。
[0185]
上述实施例提供的虚拟画面的控制方法,通过预先建立交互设备对应的三维旋转坐标系,对三维旋转坐标系进行区域划分,确定每个用户界面元素对应的空间区域,当旋转向量在三维旋转坐标系的空间坐标处于任一用户界面元素对应的空间区域时,根据该空间区域对应的用户界面元素,进行相应的控制操作,从而可以实现用户对交互设备进行旋转,即可与不同的用户界面元素交互,简化了用户的操作,并提高交互性。
[0186]
在一些实施方式中,当旋转向量在虚拟空间中的空间位置处于任一用户界面元素对应的位置区域时,可生成反馈提示信息,以提示用户该用户界面元素处于选中状态,便于用户确定是否根据该用户界面元素执行相应的控制操作。
[0187]
作为一种实施方式,终端设备可生成虚拟的提示框,该提示框的形式可以不作为限定,例如,可以为具有指定颜色的框体。作为另一种实施方式,终端设备可以生成提示声,例如振动声等,以提示用户该用户界面元素处于选中状态。作为又一种实施方式,终端设备可控制该用户界面元素的颜色、大小等发生变化,例如,将该用户界面元素的颜色变为指定颜色,将该用户界面元素的大小增大等。
[0188]
在一些实施方式中,当旋转向量的空间位置所处的空间区域对应的用户界面元素发生变化,也可以生成反馈提示信息,提示用户。
[0189]
在一些实施方式中,还可以通过设定的方式,来确认根据所处位置区域的用户界面元素进行控制操作。具体地,可以通过获取到确认指令,而确认根据所处位置区域的用户界面元素进行控制操作;也可以在旋转向量的空间位置处于位置区域的持续时长大于预设时长时,确认根据所处位置区域的用户界面元素进行控制操作等。
[0190]
在一些实施方式中,终端设备可通过设置的按钮检测的按压操作获得确认指令,也可接收交互设备在设置的按钮检测到按压操作时发送的确认指令。
[0191]
在一些实施方式中,终端设备可根据检测到按压操作的不同按钮、检测到按压操作的按钮的不同数量、或者检测到按压操作的不同力度,执行不同的操作。例如,第一按钮检测到按压操作时,可将用户界面元素移动至第一位置,第二按钮检测到按压操作时,可将该用户界面元素移动至第二位置;检测到按压操作的按钮的数量为1时,将用户界面元素的尺寸增至第一数值,检测到按压操作的按钮的数量为2时,将该用户界面元素的尺寸增至第二数值,第二大小可大于第一大小。
[0192]
在一些实施方式中,终端设备可获取与所处位置区域的用户界面元素对应的一个或多个子层级用户界面元素,根据一个或多个子层级用户界面元素重新对三维旋转坐标系进行区域划分,并确定每个子层级用户界面元素在三维旋转坐标系对应的空间区域。在该实施方式下,可以实现多层级用户界面元素的层级跳转,并且在跳转后,能实现子层级用户界面元素与三维旋转坐标系中空间区域的对应,便于后续 与子层级用户界面元素进行交互。
[0193]
在一些实施方式中,终端设备可获取与所处位置区域的用户界面元素对应的一个或多个子层级用户界面元素,可将当前三维旋转坐标系划分的空间区域与子层级用户界面元素对应,并显示子层级用户界面元素。
[0194]
在一种应用场景中,用户界面元素以行方式或者列方式进行排布,且用户界面元素较多时,则可以通过横向或者纵向旋转交互设备,实现对不同用户界面元素的选择。例如,请参阅图27a,在选择日期的场景中,同一列上可以显示不同的年份,通过纵向旋转交互设备,实现对不同年份的选择。
[0195]
在一种应用场景中,用户界面元素以多行多列的方式进行排布,且用户界面元素较多时,则可以通过横向及纵向旋转交互设备,实现对不同用户界面元素的选择。例如,请参阅图27b,在选择日期的场景中,不同列分别对应年、月和日,初始时,旋转向量的空间位置可以处于年份中任一年份对应的空间区域,可以通过纵向旋转交互设备而选取年份后,再横向旋转交互设备,使旋转向量的空间位置处于月份中任一月份对应的空间区域,然后通过纵向旋转交互设备而选取月份。当横向或者纵向旋转交互设备后,若旋转向量的空间位置处于行方向上的末尾的空间区域,或者处于列方向上末尾的空间区域,终端设备还可以生成反馈信息,以提示用户。其中,反馈信息的形式可不限定,例如,可为慢回弹的形式,也可为显示渐变的颜色,也可显示相应的图案等。
[0196]
在一些场景中,用户界面元素可以以随机排布的形式排布,可通过按任意方向旋转交互设备,实现对不同用户界面元素的选择。例如,交互设备为球体时,显示的虚拟画面可以为地球模型,不同国家的选项作为用户界面元素,可以旋转交互设备,而使旋转向量的空间位置处于不同国家的选项对应的空间区域,而实现对不同国家的选项的选择。
[0197]
上述实施例提供的虚拟画面的控制方法,根据不同排布的用户界面元素划分三维旋转坐标系的空间区域,用户通过简单的旋转操作即可与用户界面元素进行交互,提高操作简便性及交互性。
[0198]
在一个实施例中,提供一种计算机可读存储介质,该计算机可读介质中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
[0199]
计算机可读存储介质800可以是诸如闪存、EEPROM、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以适当形式进行压缩。
[0200]
最后应说明的是,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

权利要求书

[权利要求 1]
一种虚拟画面的控制方法,其特征在于,包括: 获取终端设备与交互设备之间的相对空间位置信息; 根据所述相对空间位置信息,生成虚拟画面,所述虚拟画面包括一个或多个用户界面元素,所述用户界面元素在现实空间的叠加位置与所述交互设备对应; 获取预先建立的与所述交互设备对应的旋转向量,并根据所述相对空间位置信息确定所述旋转向量于虚拟空间中的空间位置,所述旋转向量的指向方向固定不变;及 当所述空间位置处于所述虚拟空间中任一所述用户界面元素对应的位置区域时,根据所处位置区域对应的用户界面元素执行相应的控制操作。
[权利要求 2]
根据权利要求1所述的方法,其特征在于,在所述获取所述终端设备与交互设备之间的相对空间位置信息之前,所述方法还包括: 以所述交互设备上的预设点作为原点,建立所述交互设备对应的三维旋转坐标系; 根据一个或多个用户界面元素对所述三维旋转坐标系进行区域划分;及 确定每个所述用户界面元素在所述三维旋转坐标系对应的空间区域。
[权利要求 3]
根据权利要求2所述的方法,其特征在于,所述根据所述相对空间位置信息确定所述旋转向量于虚拟空间中的空间位置,包括: 根据所述相对空间位置信息,获取所述交互设备的旋转信息,并根据所述旋转信息确定所述三维旋转坐标系的姿态;及 根据所述三维旋转坐标系的姿态获取所述旋转向量于所述三维旋转坐标系中的空间坐标; 所述当所述空间位置处于所述虚拟空间中任一所述用户界面元素对应的位置区域时,根据所处位置区域对应的用户界面元素执行相应的控制操作,包括: 当所述旋转向量的空间坐标处于任一用户界面元素对应的空间区域时,根据所处空间区域对应的用户界面元素执行相应的控制操作。
[权利要求 4]
根据权利要求3所述的方法,其特征在于,所述方法还包括: 当所述旋转向量的空间坐标处于预设空间区域时,调整所述一个或多个用户界面元素在所述三维旋转坐标系中对应的空间区域,调整后的所述用户界面元素在现实空间的叠加位置正对所述终端设备,其中,所述预设空间区域包括所述用户界面元素对应的空间区域的边界外的空间区域及与所述用户界面元素对应的空间区域相背的空间区域中的至少一种。
[权利要求 5]
根据权利要求2所述的方法,其特征在于,所述根据一个或多个用户界面元素对所述三维旋转坐标系进行区域划分,并确定每个所述用户界面元素在所述三维旋转坐标系对应的空间区域,包括: 获取一个或多个用户界面元素的空间排布方式; 确定所述空间排布方式为网格状排布;及 将所述三维旋转坐标系按照多行及多列划分为多个空间区域,并根据每个所述用户界面元素的排布 位置确定对应的空间区域。
[权利要求 6]
根据权利要求2所述的方法,其特征在于,所述根据所处位置区域对应的用户界面元素执行相应的控制操作,包括: 获取与所处位置区域的用户界面元素对应的一个或多个子层级用户界面元素;及 根据所述一个或多个子层级用户界面元素重新对所述三维旋转坐标系进行区域划分,并确定每个所述子层级用户界面元素在所述三维旋转坐标系对应的空间区域。
[权利要求 7]
根据权利要求1任一项所述的方法,其特征在于,所述根据所处位置区域对应的用户界面元素执行相应的控制操作,包括: 接收确认指令;及 响应所述确认指令,根据所处位置区域对应的用户界面元素执行相应的控制操作。
[权利要求 8]
根据权利要求1任一项所述的方法,其特征在于,所述根据所处位置区域对应的用户界面元素执行相应的控制操作,包括: 计算所述旋转向量的空间位置处于所述位置区域的持续时长;及 当所述持续时长大于预设时长,根据所处位置区域对应的用户界面元素执行相应的控制操作。
[权利要求 9]
根据权利要求1任一项所述的方法,其特征在于,所述方法还包括: 生成反馈提示信息,所述反馈提示信息用于提示所述所处位置区域对应的用户界面元素处于选中状态。
[权利要求 10]
根据权利要求1所述的方法,其特征在于,所述根据所述相对空间位置信息,生成虚拟画面,包括: 确定待显示的用户界面元素的总数量; 当所述总数量大于预设阈值时,选取数量为所述预设阈值的待显示的用户界面元素; 根据所述相对空间位置信息,生成虚拟画面,所述虚拟画面包含选取的数量为所述预设阈值的用户界面元素; 接收切换指令;及 基于所述切换指令,将所述虚拟画面中包含的至少一个用户界面元素切换为其他用户界面元素,所述其他用户界面元素为所述待显示的用户界面元素中未被选取的用户界面元素。
[权利要求 11]
一种终端设备,包括: 一个或多个处理器; 存储器,所述存储器存储有一个或多个计算机程序,所述计算机程序用于被所述一个或多个处理器执行,使得所述处理器执行如下步骤: 获取终端设备与交互设备之间的相对空间位置信息; 根据所述相对空间位置信息,生成虚拟画面,所述虚拟画面包括一个或多个用户界面元素,所述用户界面元素在现实空间的叠加位置与所述交互设备对应; 获取预先建立的与所述交互设备对应的旋转向量,并根据所述相对空间位置信息确定所述旋转向量于虚拟空间中的空间位置,所述旋转向量的指向方向固定不变;及 当所述空间位置处于所述虚拟空间中任一所述用户界面元素对应的位置区域时,根据所处位置区域对应的用户界面元素执行相应的控制操作。
[权利要求 12]
根据权利要求11所述的终端设备,其特征在于,所述处理器在执行所述获取所述终端设备与交互设备之间的相对空间位置信息的步骤之前,还执行如下步骤: 以所述交互设备上的预设点作为原点,建立所述交互设备对应的三维旋转坐标系; 根据一个或多个用户界面元素对所述三维旋转坐标系进行区域划分;及 确定每个所述用户界面元素在所述三维旋转坐标系对应的空间区域。
[权利要求 13]
根据权利要求12所述的终端设备,其特征在于,所述根据所述相对空间位置信息确定所述旋转向量于虚拟空间中的空间位置,包括: 根据所述相对空间位置信息,获取所述交互设备的旋转信息,并根据所述旋转信息确定所述三维旋转坐标系的姿态;及 根据所述三维旋转坐标系的姿态获取所述旋转向量于所述三维旋转坐标系中的空间坐标; 所述当所述空间位置处于所述虚拟空间中任一所述用户界面元素对应的位置区域时,根据所处位置区域对应的用户界面元素执行相应的控制操作,包括: 当所述旋转向量的空间坐标处于任一用户界面元素对应的空间区域时,根据所处空间区域对应的用户界面元素执行相应的控制操作。
[权利要求 14]
根据权利要求13所述的终端设备,其特征在于,所述处理器还执行以下步骤: 当所述旋转向量的空间坐标处于预设空间区域时,调整所述一个或多个用户界面元素在所述三维旋转坐标系中对应的空间区域,调整后的所述用户界面元素在现实空间的叠加位置正对所述终端设备,其中,所述预设空间区域包括所述用户界面元素对应的空间区域的边界外的空间区域及与所述用户界面元素对应的空间区域相背的空间区域中的至少一种。
[权利要求 15]
根据权利要求12所述的终端设备,其特征在于,所述根据一个或多个用户界面元素对所述三维旋转坐标系进行区域划分,并确定每个所述用户界面元素在所述三维旋转坐标系对应的空间区域,包括: 获取一个或多个用户界面元素的空间排布方式; 确定所述空间排布方式为网格状排布;及 将所述三维旋转坐标系按照多行及多列划分为多个空间区域,并根据每个所述用户界面元素的排布位置确定对应的空间区域。
[权利要求 16]
根据权利要求12所述的终端设备,其特征在于,所述根据所处位置区域对应的用户界面元素执行相应的控制操作,包括: 获取与所处位置区域的用户界面元素对应的一个或多个子层级用户界面元素;及 根据所述一个或多个子层级用户界面元素重新对所述三维旋转坐标系进行区域划分,并确定每个所述子层级用户界面元素在所述三维旋转坐标系对应的空间区域。
[权利要求 17]
一种计算机可读介质,其特征在于,所述计算机可读取存储介质中存储有计算机程序,所述计算机程序可被处理器调用,以执行以下步骤: 获取终端设备与交互设备之间的相对空间位置信息; 根据所述相对空间位置信息,生成虚拟画面,所述虚拟画面包括一个或多个用户界面元素,所述用户界面元素在现实空间的叠加位置与所述交互设备对应; 获取预先建立的与所述交互设备对应的旋转向量,并根据所述相对空间位置信息确定所述旋转向量于虚拟空间中的空间位置,所述旋转向量的指向方向固定不变;及 当所述空间位置处于所述虚拟空间中任一所述用户界面元素对应的位置区域时,根据所处位置区域对应的用户界面元素执行相应的控制操作。
[权利要求 18]
根据权利要求17所述的计算机可读介质,其特征在于,在所述计算机程序被处理器调用以执行所述获取所述终端设备与交互设备之间的相对空间位置信息的步骤之前,还执行以下步骤: 以所述交互设备上的预设点作为原点,建立所述交互设备对应的三维旋转坐标系; 根据一个或多个用户界面元素对所述三维旋转坐标系进行区域划分;及 确定每个所述用户界面元素在所述三维旋转坐标系对应的空间区域。
[权利要求 19]
根据权利要求18所述的计算机可读介质,其特征在于,所述根据所述相对空间位置信息确定所述旋转向量于虚拟空间中的空间位置,包括: 根据所述相对空间位置信息,获取所述交互设备的旋转信息,并根据所述旋转信息确定所述三维旋转坐标系的姿态;及 根据所述三维旋转坐标系的姿态获取所述旋转向量于所述三维旋转坐标系中的空间坐标; 所述当所述空间位置处于所述虚拟空间中任一所述用户界面元素对应的位置区域时,根据所处位置区域对应的用户界面元素执行相应的控制操作,包括: 当所述旋转向量的空间坐标处于任一用户界面元素对应的空间区域时,根据所处空间区域对应的用户界面元素执行相应的控制操作。
[权利要求 20]
根据权利要求19所述的计算机可读介质,其特征在于,所述计算机程序被处理器调用,还执行以下步骤: 当所述旋转向量的空间坐标处于预设空间区域时,调整所述一个或多个用户界面元素在所述三维旋转坐标系中对应的空间区域,调整后的所述用户界面元素在现实空间的叠加位置正对所述终端设备,其中,所述预设空间区域包括所述用户界面元素对应的空间区域的边界外的空间区域及与所述用户界面元素对应的空间区域相背的空间区域中的至少一种。
[权利要求 21]
一种虚拟内容的交互方法,其特征在于,包括: 获取包含目标标记物的图像; 根据所述图像,获取所述终端设备与所述目标标记物之间的相对空间位置; 根据所述相对空间位置获取至少一个虚拟选项的显示位置,并根据所述显示位置对所述至少一个虚拟选项进行显示;及 确定处于选中状态的虚拟选项,并进行与所述处于选中状态的虚拟选项对应的处理。
[权利要求 22]
根据权利要求21所述的方法,其特征在于,所述根据所述空间位置获取至少一个虚拟选项的显示位置,包括: 获取预先设置的虚拟选项与目标标记物之间的位置相对关系;及 根据所述位置相对关系以及所述相对空间位置,获取至少一个虚拟选项的显示位置。
[权利要求 23]
根据权利要求21所述的方法,其特征在于,在所述根据所述相对空间位置获取至少一个虚拟选项的显示位置之前,所述方法还包括: 根据所述图像,获取所述目标标记物的身份信息;及 获取所述身份信息对应的至少一个虚拟选项。
[权利要求 24]
根据权利要求21任一项所述的方法,其特征在于,在所述根据所述显示位置对所述至少一个虚拟选项进行显示之后,所述方法还包括: 在检测到所述终端设备与所述目标标记物之间的相对空间位置发生变化时,根据变化后的相对空间位置对所述至少一个虚拟选项的显示位置进行更新。
[权利要求 25]
根据权利要求21任一项所述的方法,其特征在于,所述进行与所述处于选中状态的虚拟选项对应的处理,包括: 生成所述处于选中状态的虚拟选项所对应的虚拟对象;及 渲染所述虚拟对象,所述虚拟对象叠加显示在预设位置。
[权利要求 26]
根据权利要求25所述的方法,其特征在于,所述方法还包括: 当检测到所述处于选中状态的虚拟选项发生变化时,获取新的处于选中状态的虚拟选项对应的虚拟对象,并将当前显示的虚拟对象切换为所述新的处于选中状态的虚拟选项对应的虚拟对象。
[权利要求 27]
根据权利要求21任一项所述的方法,其特征在于,所述方法还包括: 接收对所述处于选中状态的虚拟选项执行的目标操作; 基于所述目标操作,将所述处于选中状态的虚拟选项对应的选项数据添加于选择清单;及 将所述选择清单中包含的选项数据发送至其他设备。
[权利要求 28]
根据权利要求21任一项所述的方法,其特征在于,所述虚拟选项处于选中状态,包括虚拟选项处于预设显示范围内、获取到对虚拟选项的选取操作以及虚拟选项的显示位置相对所述终端设备的距离小于预设距离中的至少一种。
[权利要求 29]
一种终端设备,包括: 相机,用于采集包含目标标记物的图像; 一个或多个处理器; 存储器,所述存储器存储有一个或多个计算机程序,所述计算机程序用于被所述一个或多个处理器执行,使得所述处理器执行如下步骤: 获取包含目标标记物的图像; 根据所述图像,获取所述终端设备与所述目标标记物之间的相对空间位置; 根据所述相对空间位置获取至少一个虚拟选项的显示位置,并根据所述显示位置对所述至少一个虚拟选项进行渲染;及 确定处于选中状态的虚拟选项,并进行与所述处于选中状态的虚拟选项对应的处理。
[权利要求 30]
一种计算机可读介质,其特征在于,所述计算机可读取存储介质中存储有计算机程序,所述计算机程序可被处理器调用,以执行以下步骤: 获取包含目标标记物的图像; 根据所述图像,获取所述终端设备与所述目标标记物之间的相对空间位置; 根据所述相对空间位置获取至少一个虚拟选项的显示位置,并根据所述显示位置对所述至少一个虚拟选项进行渲染;及 确定处于选中状态的虚拟选项,并进行与所述处于选中状态的虚拟选项对应的处理。
[权利要求 31]
一种虚拟内容显示方法,其特征在于,包括: 采集包含实体对象的图像,所述实体对象包括至少一个标记物; 识别所述图像中的标记物,并获取所述终端设备与所述实体对象之间的相对空间位置信息; 根据所述相对空间位置信息,显示包含至少一个第一虚拟选项的第一虚拟画面,其中,所述第一虚拟选项对应至少一个第二虚拟选项;及 根据对所述第一虚拟选项的第一指令,将所述第一虚拟画面切换显示为包含所述第二虚拟选项的第二虚拟画面。
[权利要求 32]
一种终端设备,包括: 相机,用于采集包含实体对象的图像,所述实体对象包括至少一个标记物; 一个或多个处理器; 存储器,所述存储器存储有一个或多个计算机程序,所述计算机程序用于被所述一个或多个处理器执行,使得所述处理器执行如下步骤: 识别所述图像中的标记物,并获取所述终端设备与所述实体对象之间的相对空间位置信息; 根据所述相对空间位置信息,生成包含至少一个第一虚拟选项的第一虚拟画面,其中,所述第一虚拟选项对应至少一个第二虚拟选项;及 根据对所述第一虚拟选项的第一指令,将所述第一虚拟画面切换为包含所述第二虚拟选项的第二虚拟画面。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6]  
[ 图 7]  
[ 图 8]  
[ 图 9]  
[ 图 10]  
[ 图 11]  
[ 图 12]  
[ 图 13]  
[ 图 14]  
[ 图 15A]  
[ 图 15B]  
[ 图 16]  
[ 图 17]  
[ 图 18]  
[ 图 19]  
[ 图 20]  
[ 图 21]  
[ 图 22]  
[ 图 23]  
[ 图 24]  
[ 图 25]  
[ 图 26A]  
[ 图 26B]  
[ 图 27A]  
[ 图 27B]