Processing

Please wait...

Settings

Settings

Goto Application

1. WO2021142890 - SYSTEM AND METHOD FOR GENERATING THREE-DIMENSIONAL PANORAMIC ROAMING MODEL

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112  

权利要求书

1   2   3   4   5   6   7   8   9   10  

附图

1   2   3   4   5  

说明书

发明名称 : 一种三维全景漫游模型的生成系统及方法

技术领域

[0001]
本发明涉及虚拟现实技术领域,尤其是涉及一种三维全景漫游模型的生成系统及方法。

背景技术

[0002]
VR全景是采用实地取景并以后期拼接建模的方式制作出来的,相较于图片、视频,更具真实感,能提升用户体验。VR全景具有如下优势:
[0003]
展示——真实、直观、精准、身临其境,全面形象、生动展示商家硬件环境;
[0004]
功能——添加视频、图片、一键导航、在线消费、特效、红包、活动方案等等;
[0005]
传播——线上百度地图、携程、口碑、飞猪、艺龙、小程序、朋友圈、社交工具、线下各种物料、易拉宝、宣传页、DM单、名片、台牌、订单条等等;
[0006]
持续——持续曝光、持续引流、口碑相传;
[0007]
省心——一次制作终身使用,找到自身营销爆点,随时做营销方案推广。
[0008]
因此,VR全景的应用范围非常广阔,可以说只要有需要展示的地方就有VR全景的存在,大到企业小到个体商户都可以使用VR全景展示、推广。
[0009]
现有的VR全景实现方案是以720云平台为首,先将全景图片从网站上传到服务器,再通过人工编辑的方式将每张全景图连接起来得到一个完整的漫游模型,由于技术手段的局限性,对于单独生成单张的720全景照片,并未能做到每张照片做空间上的定位,只能生成一张张的全景图片,缺少了每张全景图片之间的空间相对位置,这种方式导致整体空间逻辑感容易有缺失,无法形成任意的漫游,只能根据人工标记好的点进行图片的切换,底层并无三维模型支持。
[0010]
发明内容
[0011]
本发明提供一种三维全景漫游模型的生成系统及方法,以解决现有的VR全景生成技术需通过人工制作编辑的技术问题,本发明能够快速地生成一个可全方 位交互的VR全景漫游模型,打破空间局限性和提高VR全景制作速度,以利于提升用户体验。
[0012]
为了解决上述技术问题,本发明实施例提供了一种三维全景漫游模型的生成系统,包括:
[0013]
拍摄装置,用于拍摄获取包含有GPS信息的N张图像,并分别在所述N张图像的每一图像上标注标签,将标注标签后的图像上传至图像处理装置,其中,N为大于1的整数;
[0014]
图像处理装置,用于对接收到的所有图像依次进行自动补地、方向纠正、位置解算和脱密处理,生成三维全景漫游模型。
[0015]
作为优选方案,所述拍摄装置,包括:
[0016]
相机定位模块,用于通过GPS技术进行图像拍摄的定位;
[0017]
相机控制模块,用于通过相机控制协议对相机发出请求以控制相机快门;
[0018]
参数控制模块,用于对相机的拍摄参数进行设置。
[0019]
作为优选方案,所述拍摄装置,还包括:
[0020]
图像定点模块,用于根据用户输入的照片点位记录每一图像的选定集合,所述选定集合表示为P={(w,h)1,(w,h)2,(w,h)3…},其中,w指选点距离照片左边界的水平距离,h指选点距离照片上边界的垂直距离;
[0021]
热点编辑模块,用于对所述N张图像的每一图像的场景的热点进行编辑,并标识场景标签;
[0022]
数据上传模块,用于通过5G通信网络或4G通信网络将标注标签后的图像上传至图像处理装置。
[0023]
作为优选方案,所述图像处理装置,包括:
[0024]
自动补地模块,用于将预设的图标贴至每一图像的底部;
[0025]
方向纠正模块,用于利用指南针信息,将每一图像的朝向纠正为朝北方向;
[0026]
位置解算模块,用于在每一图像上根据两点之间的相对位置关系进行迭代,以生成全局的拓扑关系。
[0027]
作为优选方案,所述图像处理装置,还包括:
[0028]
Exif脱密模块,用于删除每一图像的exif信息中的GPS信息,并保留版权信息。
[0029]
本发明实施例还提供一种用于如上述的三维全景漫游模型的生成方法,包括:
[0030]
拍摄获取包含有GPS信息的N张图像,并分别在所述N张图像的每一图像上标注标签,其中,N为大于1的整数;
[0031]
对接收到的所有标注标签后的图像依次进行自动补地、方向纠正、位置解算和脱密处理,生成三维全景漫游模型。
[0032]
作为优选方案,所述方法还包括:
[0033]
通过GPS技术进行图像拍摄的定位;
[0034]
通过相机控制协议对相机发出请求以控制相机快门;
[0035]
对相机的拍摄参数进行设置。
[0036]
作为优选方案,所述方法还包括:
[0037]
根据用户输入的照片点位记录每一图像的选定集合,所述选定集合表示为P={(w,h)1,(w,h)2,(w,h)3…},其中,w指选点距离照片左边界的水平距离,h指选点距离照片上边界的垂直距离;
[0038]
对所述N张图像的每一图像的场景的热点进行编辑,并标识场景标签;
[0039]
通过5G通信网络或4G通信网络将标注标签后的图像上传至图像处理装置。
[0040]
作为优选方案,所述方法还包括:
[0041]
将预设的图标贴至每一图像的底部;
[0042]
利用指南针信息,将每一图像的朝向纠正为朝北方向;
[0043]
在每一图像上根据两点之间的相对位置关系进行迭代,以生成全局的拓扑关系。
[0044]
作为优选方案,所述方法还包括:
[0045]
删除每一图像的exif信息中的GPS信息,并保留版权信息。
[0046]
相比于现有技术,本发明实施例的有益效果在于,本发明实施例提供了一种三维全景漫游模型的生成系统,包括:拍摄装置,用于拍摄获取包含有GPS信息 的N张图像,并分别在所述N张图像的每一图像上标注标签,将标注标签后的图像上传至图像处理装置,其中,N为大于1的整数;图像处理装置,用于对接收到的所有图像依次进行自动补地、方向纠正、位置解算和脱密处理,生成三维全景漫游模型。本实施例通过生成带真实拓扑关系,具有三维特征的全景漫游模型,自动化地生成全景漫游模型和标注,无需人工生成,相比于现有技术通过计算机视觉的方法去获取空间定位,本实施例通过5G、GNSS及相应的空间几何方案去生成带有地理信息的全景漫游方案,且突破了空间的局限性。

附图说明

[0047]
图1是本发明实施例中的三维全景漫游模型的生成系统的结构示意图;
[0048]
图2是本发明实施例中的三维全景漫游模型的生成系统的照片定点模块的数据记录图;
[0049]
图3是本发明实施例中的三维全景漫游模型的生成系统的自动补地模块的流程示意图;
[0050]
图4是本发明实施例中的三维全景漫游模型的生成系统的方向纠正模块的流程示意图;
[0051]
图5是本发明实施例中的三维全景漫游模型的生成系统的位置解算模块的流程示意图;
[0052]
其中,说明书附图中的附图标记如下:
[0053]
1、拍摄装置;11、相机定位模块;12、相机控制模块;13、参数控制模块;14、图像定点模块;15、热点编辑模块;16、数据上传模块;
[0054]
2、图像处理装置;21、自动补地模块;22、方向纠正模块;23、位置解算模块;24、Exif脱密模块。

具体实施方式

[0055]
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0056]
请参见图1,本发明优选实施例提供了一种三维全景漫游模型的生成系统,包括:
[0057]
拍摄装置1,用于拍摄获取包含有GPS信息的N张图像,并分别在所述N张图像的每一图像上标注标签,将标注标签后的图像上传至图像处理装置2,其中,N为大于1的整数;
[0058]
图像处理装置2,用于对接收到的所有图像依次进行自动补地、方向纠正、位置解算和脱密处理,生成三维全景漫游模型。
[0059]
本实施例通过生成带真实拓扑关系,具有三维特征的全景漫游模型,自动化地生成全景漫游模型和标注,无需人工生成,相比于现有技术通过计算机视觉的方法去获取空间定位,本实施例通过5G、GNSS及相应的空间几何方案去生成带有地理信息的全景漫游方案,且突破了空间的局限性。
[0060]
在其中一种实施方式中,所述拍摄装置1,包括:
[0061]
相机定位模块11,用于通过GPS技术进行图像拍摄的定位;
[0062]
相机控制模块12,用于通过相机控制协议对相机发出请求以控制相机快门;
[0063]
参数控制模块13,用于对相机的拍摄参数进行设置。
[0064]
在其中一种实施方式中,所述拍摄装置1,还包括:
[0065]
图像定点模块14,用于根据用户输入的照片点位记录每一图像的选定集合,所述选定集合表示为P={(w,h)1,(w,h)2,(w,h)3…},其中,w指选点距离照片左边界的水平距离,h指选点距离照片上边界的垂直距离;
[0066]
热点编辑模块15,用于对所述N张图像的每一图像的场景的热点进行编辑,并标识场景标签;
[0067]
数据上传模块16,用于通过5G通信网络或4G通信网络将标注标签后的图像上传至图像处理装置2。
[0068]
为了便于本领域技术人员理解,结合图1所示,对本发明摄像装置的部分用语进行解释说明。
[0069]
相机定位模块11,通过GPS技术完成项目的全球定位;其中,全球定位能够为每个项目在世界地图级别实现拓扑关系,能够为后期实现漫游全球提供基础 数据。
[0070]
相机控制模块12,通过Google OSC开源相机控制协议,对相机发起http请求来实现对快门的控制。
[0071]
参数控制模块13,本发明中实际使用的为理光相机,不同厂商的参数设计会稍有区别,根据厂商提供的sdk来调整该部分模块的代码,完成对相机各项参数的设置(例如感光度ISO,曝光时间,光圈等);其中,最优的参数在本系统中建议为光圈最小,约为11,这样可以保证图像更大面积的清晰度,而曝光时间和ISO,需要根据实际现场情况判断。
[0072]
照片定点模块,用于供用户输入照片点位,记录每个照片的选定集合,表示为P={(w,h)1,(w,h)2,(w,h)3…}(w指选点距离照片左边界的水平距离,h指选点距离照片上边界的垂直距离)数据记录如图3所示。其中,所述照片定点模块可通过人工智能定点,亦可手动定点,需要保护的是定点之后,从点坐标转换到拓扑关系的流程,并使得照片之间拥有三维空间坐标;该模块实现了照片之间的拓扑关系,而传统的方案没有做这样的实现,无法获得照片三维坐标。
[0073]
热点编辑模块15,用于编辑场景中的热点,例如酒店场景,拍摄过程中可以对任一照片标识大堂/餐厅/行政酒廊等标签。例如,数据记录为
[0074]
***.JPG,description
[0075]
***.JPG,description
[0076]
[0077]
***.JPG指具体某张照片,description指热点名称,例如大堂。
[0078]
数据上传模块16,该模块利用4G/5G网络将数据(包括照片定点中的选定集合,热点编辑中的数据,原始照片)上传至图像处理装置2(位于服务器端)待用。通过利用5G网络将生产效率提升到最高,且所述方向纠正模块22、所述位置解算模块23使得拍摄自由度大幅提升。
[0079]
在本发明实施例中,所述图像处理装置2,包括:
[0080]
如图3所示,自动补地模块21,用于将预设的图标贴至每一图像的底部;例如的,可用于将商业图标贴至底部;
[0081]
如图4所示,方向纠正模块22,用于利用指南针信息,将每一图像的朝向纠正为朝北方向;
[0082]
如图5所示,位置解算模块23,用于在每一图像上根据两点之间的相对位置关系进行迭代,以生成全局的拓扑关系。
[0083]
在其中一种实施方式中,所述图像处理装置2,还包括:
[0084]
Exif脱密模块24,用于删除每一图像的exif信息中的GPS信息,并保留版权信息。
[0085]
对应的,本发明实施例提供的一种三维全景漫游模型的生成系统,其实现步骤为:
[0086]
第一步,现场拍摄照片,并打开相机定位模块11和相机控制模块12以及参数控制模块13,逐张照片进行拍摄;
[0087]
第二步,每拍摄完照片后,用户在照片中标注一个标签;
[0088]
第三步,将照片数据和记录数据上传到服务器;
[0089]
第四步,服务器进入照片处理模块;
[0090]
第五步,对所有照片执行自动补地;
[0091]
第六步,对所有照片执行方向纠正;
[0092]
第七步,对所有照片进行位置解算;
[0093]
第八步,对所有照片进行exif脱密处理;
[0094]
完成处理。
[0095]
本发明实施例还提供一种用于如上述的三维全景漫游模型的生成方法,包括:
[0096]
拍摄获取包含有GPS信息的N张图像,并分别在所述N张图像的每一图像上标注标签,其中,N为大于1的整数;
[0097]
对接收到的所有标注标签后的图像依次进行自动补地、方向纠正、位置解算和脱密处理,生成三维全景漫游模型。
[0098]
在其中一种实施方式中,所述方法还包括:
[0099]
通过GPS技术进行图像拍摄的定位;
[0100]
通过相机控制协议对相机发出请求以控制相机快门;
[0101]
对相机的拍摄参数进行设置。
[0102]
在其中一种实施方式中,所述方法还包括:
[0103]
根据用户输入的照片点位记录每一图像的选定集合,所述选定集合表示为P={(w,h)1,(w,h)2,(w,h)3…},其中,w指选点距离照片左边界的水平距离,h指选点距离照片上边界的垂直距离;
[0104]
对所述N张图像的每一图像的场景的热点进行编辑,并标识场景标签;
[0105]
通过5G通信网络或4G通信网络将标注标签后的图像上传至图像处理装置2。
[0106]
在其中一种实施方式中,所述方法还包括:
[0107]
将预设的图标贴至每一图像的底部;
[0108]
利用指南针信息,将每一图像的朝向纠正为朝北方向;
[0109]
在每一图像上根据两点之间的相对位置关系进行迭代,以生成全局的拓扑关系。
[0110]
在其中一种实施方式中,所述方法还包括:
[0111]
删除每一图像的exif信息中的GPS信息,并保留版权信息。
[0112]
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

权利要求书

[权利要求 1]
一种三维全景漫游模型的生成系统,其特征在于,包括: 拍摄装置,用于拍摄获取包含有GPS信息的N张图像,并分别在所述N张图像的每一图像上标注标签,将标注标签后的图像上传至图像处理装置,其中,N为大于1的整数; 图像处理装置,用于对接收到的所有图像依次进行自动补地、方向纠正、位置解算和脱密处理,生成三维全景漫游模型。
[权利要求 2]
如权利要求1所述的三维全景漫游模型的生成系统,其特征在于,所述拍摄装置,包括: 相机定位模块,用于通过GPS技术进行图像拍摄的定位; 相机控制模块,用于通过相机控制协议对相机发出请求以控制相机快门; 参数控制模块,用于对相机的拍摄参数进行设置。
[权利要求 3]
如权利要求1或2所述的三维全景漫游模型的生成系统,其特征在于,所述拍摄装置,还包括: 图像定点模块,用于根据用户输入的照片点位记录每一图像的选定集合,所述选定集合表示为P={(w,h)1,(w,h)2,(w,h)3…},其中,w指选点距离照片左边界的水平距离,h指选点距离照片上边界的垂直距离; 热点编辑模块,用于对所述N张图像的每一图像的场景的热点进行编辑,并标识场景标签; 数据上传模块,用于通过5G通信网络或4G通信网络将标注标签后的图像上传至图像处理装置。
[权利要求 4]
如权利要求1所述的三维全景漫游模型的生成系统,其特征在于,所述图像处理装置,包括: 自动补地模块,用于将预设的图标贴至每一图像的底部; 方向纠正模块,用于利用指南针信息,将每一图像的朝向纠正为朝北方向; 位置解算模块,用于在每一图像上根据两点之间的相对位置关系进行迭代,以生成全局的拓扑关系。
[权利要求 5]
如权利要求1或4所述的三维全景漫游模型的生成系统,其特征在于,所述图像处理装置,还包括: Exif脱密模块,用于删除每一图像的exif信息中的GPS信息,并保留版权信息。
[权利要求 6]
一种用于如权利要求1所述的三维全景漫游模型的生成方法,其特征在于,包括: 拍摄获取包含有GPS信息的N张图像,并分别在所述N张图像的每一图像上标注标签,其中,N为大于1的整数; 对接收到的所有标注标签后的图像依次进行自动补地、方向纠正、位置解算和脱密处理,生成三维全景漫游模型。
[权利要求 7]
如权利要求6所述的三维全景漫游模型的生成方法,其特征在于,所述方法还包括: 通过GPS技术进行图像拍摄的定位; 通过相机控制协议对相机发出请求以控制相机快门; 对相机的拍摄参数进行设置。
[权利要求 8]
如权利要求6或7所述的三维全景漫游模型的生成方法,其特征在于,所述方法还包括: 根据用户输入的照片点位记录每一图像的选定集合,所述选定集合表示为P={(w,h)1,(w,h)2,(w,h)3…},其中,w指选点距离照片左边界的水平距离,h指选点距离照片上边界的垂直距离; 对所述N张图像的每一图像的场景的热点进行编辑,并标识场景标签; 通过5G通信网络或4G通信网络将标注标签后的图像上传至图像处理装置。
[权利要求 9]
如权利要求6所述的三维全景漫游模型的生成方法,其特征在于,所述方法还包括: 将预设的图标贴至每一图像的底部; 利用指南针信息,将每一图像的朝向纠正为朝北方向; 在每一图像上根据两点之间的相对位置关系进行迭代,以生成全局的拓扑关系。
[权利要求 10]
如权利要求6或9所述的三维全景漫游模型的生成方法,其特征在于,所述方法还包括: 删除每一图像的exif信息中的GPS信息,并保留版权信息。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]