Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020113417 - PROCÉDÉ ET SYSTÈME DE RECONSTRUCTION TRIDIMENSIONNELLE D'UNE SCÈNE CIBLE, ET VÉHICULE AÉRIEN SANS PILOTE

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57  

附图

1   2   3   4   5   6  

说明书

发明名称 : 目标场景三维重建方法、系统及无人机

技术领域

[0001]
本发明实施例涉及无人机技术领域,尤其涉及一种目标场景三维重建方法、系统及无人机。

背景技术

[0002]
随着图像处理技术的不断发展,利用图像序列进行拍摄场景的三维重建已经成为计算机视觉领域和摄影测量学领域的热点问题。基于图像序列的三维重建通常可以包括:基于彩色图像和深度图像(Red Green Blue-Depth Map,RGB-D)数据的三维重建、基于双目的三维重建和基于单目的三维重建。基于RGB-D数据的三维重建,受深度传感器的深度限制,通常只能用于室内比较局限的场景。基于双目的三维重建依赖于双目视觉系统,硬件成本高。因此,基于单目的三维重建对于拍摄场景三维模型的重建,具有重要意义。
[0003]
基于单目的三维重建,是指采用单个摄像头,通过移动摄像头,根据物体在不同图像上的像移,确定深度图,然后融合深度图实现三维重建。由于无人机航拍的特殊性,现有基于单目的三维重建方法在无人机航拍场景下,深度图计算结果差,三维重建误差大。综上所述,亟需一种能够满足无人机航拍场景需求的目标场景三维重建方法。
[0004]
发明内容
[0005]
本发明实施例提供一种目标场景三维重建方法、系统及无人机,用以解决现有方法无法满足无人机航拍场景下目标场景三维重建的需求。
[0006]
第一方面,本发明实施例提供一种目标场景三维重建方法,包括:
[0007]
获取目标场景的图像序列,所述图像序列包含在时序上连续的多个图像帧;
[0008]
根据所述时序上连续的多个图像帧获得目标帧和参考帧,并基于所述参考帧获得所述目标帧的深度图;
[0009]
融合所述目标帧的深度图,获得目标场景的三维模型。
[0010]
第二方面,本发明实施例提供一种目标场景三维重建系统,包括:处理器和存储器;
[0011]
所述存储器,用于存储程序代码;
[0012]
所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:
[0013]
获取目标场景的图像序列,所述图像序列包含在时序上连续的多个图像帧;
[0014]
根据所述时序上连续的多个图像帧获得目标帧和参考帧,并基于所述参考帧获得所述目标帧的深度图;
[0015]
融合所述目标帧的深度图,获得目标场景的三维模型。
[0016]
第三方面,本发明实施例提供一种无人机,包括:处理器;
[0017]
所述无人机上搭载有拍摄装置,所述拍摄装置用于对目标场景进行拍摄;
[0018]
所述处理器用于,
[0019]
获取目标场景的图像序列,所述图像序列包含在时序上连续的多个图像帧;
[0020]
根据所述时序上连续的多个图像帧获得目标帧和参考帧,并基于所述参考帧获得所述目标帧的深度图;
[0021]
融合所述目标帧的深度图,获得目标场景的三维模型。
[0022]
第四方面,本发明实施例提供一种目标场景三维重建装置(例如芯片、集成电路等),包括:存储器和处理器。所述存储器,用于存储执行目标场景三维重建方法的代码。所述处理器,用于调用所述存储器中存储的所述代码,执行如第一方面本发明实施例所述的目标场景三维重建方法。
[0023]
第五方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包含至少一段代码,所述至少一段代码可由计算机执行,以控制所述计算机执行第一方面本发明实施例所述的目标场景三维重建方法。
[0024]
第六方面,本发明实施例提供一种计算机程序,当所述计算机程序被计算机执行时,用于实现第一方面本发明实施例所述的目标场景三维重建方法。
[0025]
本发明实施例提供的目标场景三维重建方法、系统及无人机,通过获取目标场景的图像序列,所述图像序列包含在时序上连续的多个图像帧,根据 时序上连续的多个图像帧获得目标帧和参考帧,并基于参考帧获得目标帧的深度图,融合所述目标帧的深度图,获得目标场景的三维模型。实现了无人机航拍场景下,基于单目视觉的目标场景的三维重建。本实施例提供的目标场景三维重建方法,既无需依赖价格高昂的双目视觉系统,也不受深度传感器的深度限制,能够满足无人机航拍场景下,对目标场景的三维重建需求。

附图说明

[0026]
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0027]
图1是本发明实施例提供的无人飞行系统的示意性架构图;
[0028]
图2为本发明提供的目标场景三维重建方法一实施例的流程图;
[0029]
图3为本发明提供的目标场景三维重建方法一实施例中参考帧选取的示意图;
[0030]
图4为本发明提供的目标场景三维重建方法一实施例的示意性框图;
[0031]
图5为本发明提供的目标场景三维重建系统一实施例的结构示意图;
[0032]
图6为本发明提供的无人机一实施例的结构示意图。

具体实施方式

[0033]
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0034]
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
[0035]
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技 术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0036]
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
[0037]
本发明的实施例提供了目标场景三维重建方法、系统及无人机。其中无人机例如可以是旋翼飞行器(rotorcraft),例如,由多个推动装置通过空气推动的多旋翼飞行器,本发明的实施例并不限于此。
[0038]
图1是本发明实施例提供的无人飞行系统的示意性架构图。本实施例以旋翼无人机为例进行说明。
[0039]
无人飞行系统100可以包括无人机110、显示设备130和控制终端140。其中,无人机110可以包括动力系统150、飞行控制系统160、机架和承载在机架上的云台120。无人机110可以与控制终端140和显示设备130进行无线通信。
[0040]
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂,一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接,用于在无人机110着陆时起支撑作用。
[0041]
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152,其中电机152连接在电子调速器151与螺旋桨153之间,电机152和螺旋桨153设置在无人机110的机臂上;电子调速器151用于接收飞行控制系统160产生的驱动信号,并根据驱动信号提供驱动电流给电机152,以控制电机152的转速。电机152用于驱动螺旋桨旋转,从而为无人机110的飞行提供动力,该动力使得无人机110能够实现一个或多个自由度的运动。在某些实施例中,无人机110可以围绕一个或多个旋转轴旋转。例如,上述旋转轴可以包括横滚轴(Roll)、偏航轴(Yaw)和俯仰轴(pitch)。应理解,电机152可以是直流电机,也可以交流电机。另外,电机152可以是无刷电机,也可以是有刷电机。
[0042]
飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统 162用于测量无人机的姿态信息,即无人机110在空间的位置信息和状态信息,例如,三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit,IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如,全球导航卫星系统可以是全球定位系统(Global Positioning System,GPS)。飞行控制器161用于控制无人机110的飞行,例如,可以根据传感系统162测量的姿态信息控制无人机110的飞行。应理解,飞行控制器161可以按照预先编好的程序指令对无人机110进行控制,也可以通过响应来自控制终端140的一个或多个控制指令对无人机110进行控制。
[0043]
云台120可以包括电机122。云台用于携带拍摄装置123。飞行控制器161可以通过电机122控制云台120的运动。可选地,作为另一实施例,云台120还可以包括控制器,用于通过控制电机122来控制云台120的运动。应理解,云台120可以独立于无人机110,也可以为无人机110的一部分。应理解,电机122可以是直流电机,也可以是交流电机。另外,电机122可以是无刷电机,也可以是有刷电机。还应理解,云台可以位于无人机的顶部,也可以位于无人机的底部。
[0044]
拍摄装置123例如可以是照相机或摄像机等用于捕获图像的设备,拍摄装置123可以与飞行控制器通信,并在飞行控制器的控制下进行拍摄。本实施例的拍摄装置123至少包括感光元件,该感光元件例如为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)传感器或电荷耦合元件(Charge-coupled Device,CCD)传感器。可以理解,拍摄装置123也可直接固定于无人机110上,从而云台120可以省略。
[0045]
显示设备130位于无人飞行系统100的地面端,可以通过无线方式与无人机110进行通信,并且可以用于显示无人机110的姿态信息。另外,还可以在显示设备130上显示成像装置拍摄的图像。应理解,显示设备130可以是独立的设备,也可以集成在控制终端140中。
[0046]
控制终端140位于无人飞行系统100的地面端,可以通过无线方式与无人机110进行通信,用于对无人机110进行远程操纵。
[0047]
另外,无人机110还可以机载有扬声器(图中未示出),该扬声器用于 播放音频文件,扬声器可直接固定于无人机110上,也可搭载在云台120上。
[0048]
本实施例中的拍摄装置123例如可以是单目相机,用于对目标场景进行拍摄,以获取目标场景的图像序列。下面实施例提供的目标场景三维重建方法例如可以由飞行控制器161执行,飞行控制器161通过拍摄装置123获取目标成精的图像序列,实现对目标场景的三维重建,可以用于无人机飞行避障;目标场景三维重建方法例如还可以由位于地面端的控制终端140执行,无人机通过图传技术将拍摄装置123获取的目标场景的图像序列传输至控制终端140,由控制终端140完成对目标场景的三维重建;目标场景三维重建方法例如还可以由位于云端的云服务器(图中未示出)执行,无人机通过图传技术将拍摄装置123获取的目标场景的图像序列传输至云服务器,由云服务器完成对目标场景的三维重建。
[0049]
应理解,上述对于无人飞行系统各组成部分的命名仅是出于标识的目的,并不应理解为对本发明的实施例的限制。
[0050]
图2为本发明提供的目标场景三维重建方法一实施例的流程图。如图2所示,本实施例提供的方法可以包括:
[0051]
S201、获取目标场景的图像序列,所述图像序列包含在时序上连续的多个图像帧。
[0052]
本实施例中例如可以采用搭载有单目拍摄装置的无人机,对目标场景进行拍摄,以获取目标场景的图像序列。
[0053]
其中,目标场景为需要进行三维重建的对象。本实施例中在目标场景确定后,可以为无人机规划飞行航线,设置飞行速度和拍摄帧率,以获取目标场景的图像序列,或者,也可以对拍摄地点进行设置,当无人机飞行至预设拍摄地点时,进行拍摄。
[0054]
本实施例中获取到的目标场景的图像序列,包含在时序上连续的多个图像帧。
[0055]
S202、根据时序上连续的多个图像帧获得目标帧和参考帧,并基于参考帧获得目标帧的深度图。
[0056]
本实施例中在获取到目标场景的图像序列之后,为了实现对目标场景的三维重建,则需要根据时序上连续的多个图像帧确定目标帧和参考帧。其中,目标帧是为了实现三维重建需要进行深度恢复的图像帧,参考帧是为目标帧 提供景深等数据、与目标帧存在时域关联和像素关联的图像采集帧。
[0057]
可选的,本实施例中的目标帧可以包含在时序上连续的多个图像帧中的一帧。
[0058]
可选的,本实施例中的参考帧可以包含与所述目标帧存在重叠像素的帧。
[0059]
本实施例中例如可以通过对获取到的时序上连续的多个图像帧进行特征提取、特征点匹配、位姿估计等,以确定目标帧和参考帧。为了提高准确性,通常可以选用具有旋转不变性的特征,例如尺度不变特征变换特征(Scale-Invariant Feature Transform,SIFT)、加速稳健特征(Speed Up Robust Features,SURF)等。本实施例中各图像帧在拍摄时的位姿估计可以通过无人机上搭载的传感器,例如里程计、陀螺仪、IMU等获得。
[0060]
本实施例中在确定了目标帧和参考帧之后,则可以根据目标帧与参考帧之间的特征点匹配以及对极几何的知识,基于参考帧图像数据,获得目标帧对应的深度图。
[0061]
S203、融合所述目标帧的深度图,获得目标场景的三维模型。
[0062]
本实施例中在获得了目标帧的深度图之后,则根据目标帧中各个像素点对应的深度值以及位置信息,将其转换为对应的三维点云。根据三维点云对目标场景进行三维重建。
[0063]
本实施例提供的目标场景三维重建方法,通过获取目标场景的图像序列,所述图像序列包含在时序上连续的多个图像帧,根据时序上连续的多个图像帧获得目标帧和参考帧,并基于参考帧获得目标帧的深度图,融合所述目标帧的深度图,获得目标场景的三维模型。实现了无人机航拍场景下,基于单目视觉的目标场景的三维重建。本实施例提供的目标场景三维重建方法,既无需依赖价格高昂的双目视觉系统,也不受深度传感器的深度限制,能够满足无人机航拍场景下,对目标场景的三维重建需求。当然,本说明书实施例使用单目摄像装置,并不意味着本说明书方法不适用双目摄像装置,实际上双目摄像装置或者多目摄像装置同样适用于本说明书所记载的方案。
[0064]
在上一实施例的基础上,为了获得更加精准的目标帧的深度图,以提高目标场景三维重建的准确度,本实施例提供的目标场景三维重建方法中,参考帧至少可以包括第一图像帧和第二图像帧。其中,第一图像帧在时序上位 于所述目标帧之前,第二图像帧在时序上位于所述目标帧之后。
[0065]
无人机航拍时,可以沿着规划的航线飞行。当无人机沿着一条航线飞行时,当前图像帧中存在相当大的一部分区域不存在于之前拍摄的图像帧中。也就是说,若参考帧中仅包括当前图像帧之前拍摄的图像帧,根据参考帧确定当前图像帧的深度图时,会存在相当大的一部分区域的视差无解,深度图中必然会存在大片的无效区域。
[0066]
因此,为了避免目标帧中的区域在参考帧中无相应的匹配区域,而导致该区域对应的深度图无效,本实施例中的参考帧既包括在时序上位于参考帧之前的第一图像帧,也包括在时序上位于参考帧之后的第二图像帧,提高了目标帧与参考帧之间的重叠率,减小了视差无解的区域,进而提高了基于参考帧获得的目标帧的深度图的准确性。
[0067]
可选的,若目标帧为第N帧,则第一图像帧为第N-1帧,第二图像帧为第N+1帧,即参考帧包括与目标帧相邻的前后两帧。举例来说,若无人机在航拍时,相邻两帧之间的重叠率为70%,若参考帧仅包括目标帧之前的图像帧,则目标帧中至少有30%区域的视差无解。而本实施例提供的参考帧的选取策略,使得目标帧中的全部区域均可以在参考帧中找到与之相匹配的区域,避免了视差无解现象的产生,提高了目标帧的深度图的准确性。
[0068]
可选的,若目标帧为第N帧,则第一图像帧可以包括第N帧之前预设数量的图像帧,第二图像帧可以包括第N帧之后预设数量的图像帧。
[0069]
可选的,若目标帧为第N帧,则第一图像帧可以为第N帧之前预设数量的图像帧中的一帧,第二图像帧可以为第N帧之后预设数量的图像帧中的一帧。
[0070]
在上述任一实施例的基础上,为了提高目标帧的深度图的可靠性,以提高目标场景三维重建的可靠性,本实施例提供的目标场景三维重建方法中,参考帧至少可以包括第三图像帧。其中,第三图像帧与目标帧的极线方向不平行。
[0071]
本实施例中的极线为对极几何中的极线,即极平面与图像之间的交线。第三图像帧与目标帧的极线方向不平行,也就是说,极平面与第三图像帧的第一交线,与该极平面与目标帧的第二交线,不平行。
[0072]
当目标帧中存在重复纹理时,若目标帧与参考帧的极线方向平行,则会 出现沿着平行极线分布的重复纹理,将会降低该区域对应的深度图的可靠性。因此,本实施例通过选取与目标帧的极线方向不平行的第三图像帧作为参考帧,避免了出现重复纹理沿着平行极线分布的现象,提高了深度图的可靠性。
[0073]
可选的,第三图像帧可以包括目标帧相邻航带中与目标帧存在重叠像素的图像帧。
[0074]
可选的,第三图像帧可以为目标帧相邻航带中与目标帧的重叠率最高的图像帧。
[0075]
下面通过一个具体的示例来说明本发明实施例提供的参考帧的选取方法。图3为本发明提供的目标场景三维重建方法一实施例中参考帧选取的示意图。如图3所示,其中的实线用于表示无人机的飞行航线,航线覆盖了目标场景,箭头表示无人机的飞行方向,飞行航线上的黑色圆圈和黑色正方形表示无人机的拍摄装置在该位置进行拍摄,即黑色圆圈和黑色正方形对应目标场景的一个图像帧。当无人机沿着飞行航线飞行时,通过无人机上搭载的拍摄装置,如单目相机,便可以获取到目标场景的图像序列,包含了在时序上连续的多个图像帧。图3中的M-1、M、M+1、N-1、N、N+1表示图像帧的帧号,N和M为自然数,本实施例对N和M的具体取值不做限制。
[0076]
若黑色正方形表示的第N帧为目标帧,在一种可能的实现方式中,参考帧可以包括图中所示的第N-1帧和第N+1帧。
[0077]
若黑色正方形表示的第N帧为目标帧,在又一种可能的实现方式中,参考帧可以包括图中所示的第M帧。
[0078]
若黑色正方形表示的第N帧为目标帧,在另一种可能的实现方式中,参考帧可以包括图中所示的第M帧、第N-1帧和第N+1帧,即图3中虚线圆圈中包括的图像帧。
[0079]
可以理解的是,参考帧还可以包括更多的图像帧,例如还可以包括第M-1帧、第M+1帧、第N-2帧等。在具体实现时,可以综合考虑目标帧与参考帧的重叠率以及计算速度,进行选取。
[0080]
在一些实施例中,基于参考帧获得目标帧的深度图的一种实现方式可以是:根据所述目标帧和所述参考帧之间的像差,获得所述目标帧的深度图。
[0081]
本实施例中可以根据同一对象在目标帧和参考帧中的像差,获得目标帧 的深度图。
[0082]
在一些实施例中,基于参考帧获得目标帧的深度图的一种实现方式可以是:根据参考帧,确定目标帧对应的匹配代价;根据目标帧对应的匹配代价,确定目标帧的深度图。
[0083]
本实施例中可以通过对参考帧与目标帧中的像素点进行匹配,以确定目标帧对应的匹配代价。在确定了目标帧对应的匹配代价之后,可以进行匹配代价聚合,然后确定视差,根据视差与深度之间的对应关系,确定目标帧的深度图。可选的,在确定视差之后,还可以进行视差优化,视差加强。根据优化以及加强之后的视差,确定目标帧的深度图。
[0084]
无人机的飞行高度通常在100米左右,且无人机通常都是垂直朝下进行拍摄的,由于地面高低起伏,对阳光的反射具有差异性,无人机拍摄的图像具有不可忽视的光照变化,光照变化将降低目标场景三维重建的准确性。
[0085]
在上述任一实施例的基础上,为了提高目标场景三维重建对于光照的鲁棒性,本实施例提供的目标场景三维重建方法中,根据参考帧,确定目标帧对应的匹配代价,可以包括:根据目标帧以及参考帧,确定目标帧对应的第一类型匹配代价和第二类型匹配代价;确定目标帧对应的匹配代价等于第一类型匹配代价和第二类型匹配代价的加权和。
[0086]
本实施例中在计算匹配代价时,通过将第一类型匹配代价与第二类型匹配代价进行融合,相较于仅采用单一类型匹配代价,提高了匹配代价对于光照的鲁棒性,进而减少了光照变化对于三维重建的影响,提高了三维重建的准确性。本实施例中第一类型匹配代价和第二类型匹配代价的加权系数可以根据具体需要进行设置,本实施例对此不做限制。
[0087]
可选的,第一类型匹配代价可以基于零均值归一化互相关(Zero-based Normalized Cross Correlation,ZNCC)确定。基于ZNCC可以精确的度量目标帧与参考帧之间的相似性。
[0088]
可选的,第二类型匹配代价可以基于光照不变特征确定。本实施例中,可以提取无人机所采集的图像帧中的光照不变特征,例如局部二值模式(Local Binary Patterns,LBP),census序列等,然后可以基于光照不变特征确定第二类型匹配代价。
[0089]
本实施例中的census序列可以通过如下方式确定:在图像帧中选取任一 点,以该点为中心划出一个例如3×3的矩形,矩形中除中心点之外的每一点都与中心点进行比较,灰度值小于中心点即记为1,灰度值大于中心点的则记为0,以所得长度为8的只有0和1的序列作为该中心点的census序列,即中心像素的灰度值被census序列替换。
[0090]
经过census变换后,可以采用汉明距离确定目标帧与参考帧之间的第二类型匹配代价。
[0091]
例如,目标帧对应的匹配代价可以等于ZNCC和census两种匹配代价的加权和。
[0092]
在一些实施例中,根据参考帧,确定目标帧对应的匹配代价的一种实现方式可以是:将目标帧划分成多个图像块;根据参考帧,确定每一个图像块对应的匹配代价;根据每一个图像块对应的匹配代价,确定目标帧对应的匹配代价。
[0093]
本实施例中可以采用如下方式中的一种或者多种将目标帧划分为多个图像块:
[0094]
(1)采用聚类的方式,将目标帧划分成多个图像块。本实施例中例如可以根据目标帧的色彩信息和/或纹理信息,采用聚类的方式,将目标帧划分成多个图像块。
[0095]
(2)将目标帧均匀划分成多个图像块。本实施例中例如可以预先设置图像块的数量,然后根据预先设置的图像块的数量,对目标帧进行划分。
[0096]
(3)将目标帧划分成预设大小的多个图像块。例如可以预先设置图像块的大小,然后根据预先设置的图像块的大小,对目标帧进行划分。
[0097]
可选的,在将目标帧划分成多个图像块之后,可以根据参考帧,并行确定每一个图像块对应的匹配代价。本实施例中例如可以采用软件和/或硬件的方式并行确定每一个图像块对应的匹配代价。具体的,例如可以采用多线程并行确定每一个图像块对应的匹配代价,和/或,可以采用图形处理器(Graphics Processing Unit,GPU)并行确定每一个图像块对应的匹配代价。
[0098]
本实施例提供的目标场景三维重建方法,在上述实施例的基础上,通过将目标帧划分成多个图像块,根据参考帧,并行确定每一个图像块对应的匹配代价,然后根据每一个图像块对应的匹配代价,确定目标帧对应的匹配代价,提高了匹配代价的计算速度,进而提高了目标场景三维重建的实时性。
[0099]
深度采样次数可以根据深度范围和精度确定,深度采样次数与深度范围正相关,与精度负相关。举例来说,若深度范围为50米,精度要求为0.1米,则深度采样次数可以为500。
[0100]
在确定目标帧的匹配代价时,可以采用预设深度采样次数,也可以采用即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)恢复出目标帧中一些稀疏的三维点,然后根据这些稀疏的三维点确定整个目标帧的深度范围,然后根据整个目标帧的深度范围以及精度要求,确定深度采样次数。若深度采样次数为N,则需要针对目标帧中每一个像素点计算N次匹配代价。对于640*480像素大小的目标帧,需要计算640*480*N次匹配代价。
[0101]
在上述任一实施例的基础上,为了进一步提高处理速度,提高目标场景三维重建的实时性,本实施例提供的目标场景三维重建方法中,根据参考帧,确定每一个图像块对应的匹配代价,可以包括:根据每一个图像块中的稀疏点确定该图像块的深度采样次数;根据参考帧以及每一个图像块的深度采样次数,确定每一个图像块对应的匹配代价。
[0102]
需要说明的是,当无人机垂直朝下进行拍摄时,目标帧中可以包含多种拍摄对象,例如行人、汽车、树木、高楼等,因此整个目标帧的深度范围比较大,在预设精度要求下,深度采样次数较大。然而目标帧中各个图像块对应的深度范围是比较小的,比如当一个图像块中仅包括行人时,该图像块对应的深度范围将远远小于整个目标帧的深度范围,在相同精度要求下,可以大幅减小深度采样次数。也就是说,在相同精度要求下,目标帧中图像块的深度采样次数必定小于等于目标帧整体的深度采样次数。
[0103]
本实施例充分考虑了各个图像块的深度范围,根据各个图像块的深度范围设置深度采样次数,在保证精度的前提下,降低了计算复杂度,提高了速度。
[0104]
本实施例可以针对每一个图像块,采用SLAM恢复出该图像块中一些稀疏的三维点,根据这些稀疏的三维点确定该图像块的深度范围,根据该图像块的深度范围以及精度要求,确定该图像块的深度采样次数。以确定的深度采样次数确定每一个图像块对应的匹配代价。
[0105]
下面通过具体的数值分析来说明本实施例提供的方法如何降低计算复杂度,提高处理速度:
[0106]
若目标帧为640*480像素大小的图像帧,根据目标帧的深度范围确定深度采样次数为500,则需要计算640*480*500次匹配代价。若将目标帧均匀划分为320*160大小的图像块,根据各个图像块的深度范围确定的6个图像块的深度采样次数分别为100、200、150、100、50和300,则仅需要计算320*160*(100+200+150+100+150+300)次匹配代价。计算量仅为原来的三分之一。
[0107]
可选的,在确定了目标帧对应的匹配代价之后,可以根据半全局匹配算法(Semi Global Matching,SGM)确定目标帧的深度图。
[0108]
可以理解的是,由于目标场景中的法向量存在较大偏差且深度采样的本身的离散性,再加上弱纹理以及重复纹理等因素,目标帧的深度图不可避免的会存在大量的随机分布的噪声。
[0109]
在上述任一实施例的基础上,为了避免深度图中的噪声降低三维重建的准确性,本实施例提供的目标场景三维重建方法中,在基于参考帧获得目标帧的深度图之后,还可以包括:对目标帧的深度图进行滤波处理。通过对目标帧的深度图进行滤波处理,可以滤除深度图中的噪声,提高三维重建的准确性。
[0110]
可选的,对目标帧的深度图进行滤波处理的一种实现方式可以是:对目标帧的深度图进行三边滤波处理。本实施例中的三边滤波是指滤波过程中的加权系数可以根据像素距离、深度差值和颜色差值三个因素综合确定。
[0111]
举例来说,在一种滤波处理过程中,滤波模板的大小为5*5,也就是说滤波处理后目标像素点的深度值可以由该像素点以及周围的24个像素点的深度值确定。每一个像素点对于目标像素点的深度值影响的权重值,根据该像素点距离目标像素点的欧式距离、该像素点的深度值与目标像素点的深度值的差值,以及该像素点的RGB值与目标像素点的RGB值的差值确定。
[0112]
本实施例提供的目标场景三维重建方法,在上述实施例的基础上,进一步的通过对目标帧的深度图进行三边滤波处理,通过目标帧中锐利、精细的边缘信息提高了目标帧的深度图边缘的精确性,在保存边缘的前提下,更鲁棒的去除了噪声,使得目标帧的深度图更加精确,基于该深度图的三维重建也将更加准确。
[0113]
在一些实施例中,融合目标帧的深度图,获得目标场景的三维模型的一 种实现方式可以是:根据目标帧的深度图,确定目标帧对应的点云;将目标帧对应的点云融合至目标场景对应的体素中;根据目标场景对应的体素,获得目标场景的三维模型。
[0114]
本实施例中根据目标帧的深度图,确定目标帧对应的点云,可以采用现有技术中深度图与三维点云之间的对应关系进行转换,本实施例对此不做限制。
[0115]
本实施例中采用了基于体素的点云融合方法。由于无人机在作业时,航线在无人机起飞前已经规划好,且无人机都是垂直朝下进行拍摄,因此可以将规划航线的覆盖范围用预设大小的体素表示,可以在将每一帧深度图转化成点云之后,根据点云的三维坐标定位到相应的体素中,将点云的法向量融合成体素的法向量,点云的坐标融合成体素的坐标,用体素保存可见性信息。
[0116]
本实施例提供的目标场景三维重建方法实时性高、可扩展性高。深度图的融合几乎是逐像素并行的,且由深度值到点云,点云融合成体素的计算复杂度是o(1),融合的实时性非常高;对于一次规划任务而言,根据航线规划的特殊性,可以将目标区域分块为多个子块,这样使得点云也具有良好的分块性,有利于点云的加载和后续的多细节层次(Levels of Detail,LOD)显示,便于进行大场景的实时三维重建。
[0117]
图4为本发明提供的目标场景三维重建方法一实施例的示意性框图。如图4所示,本实施例提供的目标场景三维重建方法可以通过两个线程实现,即稠密化线程和融合线程。其中,稠密化线程包括了初始化、选帧、深度图计算及滤波处理等步骤。例如,可以通过无人机所搭载的拍摄装置获取新的关键帧及其位置朝向,基于所获取的新的关键帧及其位置朝向完成初始化过程。在完成初始化之后,则进行选帧,本实施例中的选帧包括确定目标帧和参考帧,具体实现方式可以参考上述任一实施例中目标帧和参考帧的确定方法,此处不再赘述。本实施例中的深度图计算例如可以采用将平面扫描算法(Plane Sweeping)与半全局优化(Semi-Global Matching,SGM)相结合的方法,或者也可以参考上述任一实施例中根据匹配代价确定深度图的实现方式,此处不再赘述。本实施例中的滤波处理例如可以采用三边滤波处理,具体实现方式可以参考上述实施例,此处不再赘述。在完成稠密化线程的处理之后,本实施例中的融合线程根据RGB图、位置 朝向以及深度图队列完成深度图的融合,并根据融合后的深度图创建三维点云。本实施例中的稠密化线程和融合线程可以并行执行,以提高目标场景三维重建的速度,提高实时性。
[0118]
图5为本发明提供的目标场景三维重建系统一实施例的结构示意图。如图5所示,本实施例提供的目标场景三维重建系统500可以包括:处理器501和存储器502。处理器501与存储器502通过总线通信连接。上述处理器501可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。上述存储器502可以是,但不限于,随机存取存储器(Random Access Memory,简称:RAM),只读存储器(Read Only Memory,简称:ROM),可编程只读存储器(Programmable Read-Only Memory,简称:PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,简称:EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,简称:EEPROM)等。
[0119]
存储器502,用于存储程序代码;处理器501调用程序代码,当程序代码被执行时,用于执行以下操作:
[0120]
获取目标场景的图像序列,图像序列包含在时序上连续的多个图像帧;
[0121]
根据时序上连续的多个图像帧获得目标帧和参考帧,并基于参考帧获得目标帧的深度图;
[0122]
融合目标帧的深度图,获得目标场景的三维模型。
[0123]
可选的,目标帧包含在时序上连续的多个图像帧中的一帧。
[0124]
可选的,参考帧包含与目标帧存在重叠像素的帧。
[0125]
可选的,参考帧至少包括第一图像帧和第二图像帧;第一图像帧在时序上位于目标帧之前;第二图像帧在时序上位于目标帧之后。
[0126]
可选的,若目标帧为第N帧,则第一图像帧为第N-1帧,第二图像帧为第N+1帧。
[0127]
可选的,参考帧至少包括第三图像帧;第三图像帧与目标帧的极线方向 不平行。
[0128]
可选的,处理器501用于基于参考帧获得目标帧的深度图,具体可以包括:
[0129]
根据目标帧和参考帧之间的像差,获得目标帧的深度图。
[0130]
可选的,处理器501用于基于参考帧获得目标帧的深度图,具体可以包括:
[0131]
根据参考帧,确定目标帧对应的匹配代价;
[0132]
根据目标帧对应的匹配代价,确定目标帧的深度图。
[0133]
可选的,处理器501用于根据参考帧,确定目标帧对应的匹配代价,具体可以包括:
[0134]
根据目标帧以及参考帧,确定目标帧对应的第一类型匹配代价和第二类型匹配代价;
[0135]
确定目标帧对应的匹配代价等于第一类型匹配代价和第二类型匹配代价的加权和。
[0136]
可选的,第一类型匹配代价基于零均值归一化互相关确定。
[0137]
可选的,第二类型匹配代价基于光照不变特征确定。
[0138]
可选的,处理器501用于根据参考帧,确定目标帧对应的匹配代价,具体可以包括:
[0139]
将目标帧划分成多个图像块;
[0140]
根据参考帧,确定每一个图像块对应的匹配代价;
[0141]
根据每一个图像块对应的匹配代价,确定目标帧对应的匹配代价。
[0142]
可选的,处理器501用于将目标帧划分成多个图像块,具体可以包括:
[0143]
采用聚类的方式,将目标帧划分成多个图像块。
[0144]
可选的,处理器501用于将目标帧划分成多个图像块,具体可以包括:
[0145]
将目标帧均匀划分成多个图像块。
[0146]
可选的,处理器501用于根据参考帧,确定每一个图像块对应的匹配代价,具体可以包括:
[0147]
根据参考帧,并行确定每一个图像块对应的匹配代价。
[0148]
可选的,处理器501用于根据参考帧,确定每一个图像块对应的匹配代价,具体可以包括:
[0149]
根据每一个图像块中的稀疏点确定该图像块的深度采样次数;
[0150]
根据参考帧以及每一个图像块的深度采样次数,确定每一个图像块对应的匹配代价。
[0151]
可选的,处理器501还用于在基于参考帧获得目标帧的深度图之后,对目标帧的深度图进行滤波处理。
[0152]
可选的,处理器501用于对目标帧的深度图进行滤波处理,具体可以包括:
[0153]
对目标帧的深度图进行三边滤波处理。
[0154]
可选的,处理器501用于融合目标帧的深度图,获得目标场景的三维模型,具体可以包括:
[0155]
根据目标帧的深度图,确定目标帧对应的点云;
[0156]
将目标帧对应的点云融合至目标场景对应的体素中;
[0157]
根据目标场景对应的体素,获得目标场景的三维模型。
[0158]
图6为本发明提供的无人机一实施例的结构示意图。如图6所示,本实施例提供的无人机600可以包括处理器601。该处理器601可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0159]
无人机600上搭载有拍摄装置602,拍摄装置602用于对目标场景进行拍摄。
[0160]
处理器601用于,获取目标场景的图像序列,图像序列包含在时序上连续的多个图像帧;
[0161]
根据时序上连续的多个图像帧获得目标帧和参考帧,并基于参考帧获得目标帧的深度图;
[0162]
融合目标帧的深度图,获得目标场景的三维模型。
[0163]
可选的,目标帧包含在时序上连续的多个图像帧中的一帧。
[0164]
可选的,参考帧包含与目标帧存在重叠像素的帧。
[0165]
可选的,参考帧至少包括第一图像帧和第二图像帧;第一图像帧在时序上位于目标帧之前;第二图像帧在时序上位于目标帧之后。
[0166]
可选的,若目标帧为第N帧,则第一图像帧为第N-1帧,第二图像帧为第N+1帧。
[0167]
可选的,参考帧至少包括第三图像帧;第三图像帧与目标帧的极线方向不平行。
[0168]
可选的,处理器601用于基于参考帧获得目标帧的深度图,具体可以包括:
[0169]
根据目标帧和参考帧之间的像差,获得目标帧的深度图。
[0170]
可选的,处理器601用于基于参考帧获得目标帧的深度图,具体可以包括:
[0171]
根据参考帧,确定目标帧对应的匹配代价;
[0172]
根据目标帧对应的匹配代价,确定目标帧的深度图。
[0173]
可选的,处理器601用于根据参考帧,确定目标帧对应的匹配代价,具体可以包括:
[0174]
根据目标帧以及参考帧,确定目标帧对应的第一类型匹配代价和第二类型匹配代价;
[0175]
确定目标帧对应的匹配代价等于第一类型匹配代价和第二类型匹配代价的加权和。
[0176]
可选的,第一类型匹配代价基于零均值归一化互相关确定。
[0177]
可选的,第二类型匹配代价基于光照不变特征确定。
[0178]
可选的,处理器601用于根据参考帧,确定目标帧对应的匹配代价,具体可以包括:
[0179]
将目标帧划分成多个图像块;
[0180]
根据参考帧,确定每一个图像块对应的匹配代价;
[0181]
根据每一个图像块对应的匹配代价,确定目标帧对应的匹配代价。
[0182]
可选的,处理器601用于将目标帧划分成多个图像块,具体可以包括:
[0183]
采用聚类的方式,将目标帧划分成多个图像块。
[0184]
可选的,处理器601用于将目标帧划分成多个图像块,具体可以包括:
[0185]
将目标帧均匀划分成多个图像块。
[0186]
可选的,处理器601用于根据参考帧,确定每一个图像块对应的匹配代价,具体可以包括:
[0187]
根据参考帧,并行确定每一个图像块对应的匹配代价。
[0188]
可选的,处理器601用于根据参考帧,确定每一个图像块对应的匹配代价,具体可以包括:
[0189]
根据每一个图像块中的稀疏点确定该图像块的深度采样次数;
[0190]
根据参考帧以及每一个图像块的深度采样次数,确定每一个图像块对应的匹配代价。
[0191]
可选的,处理器601还用于在基于参考帧获得目标帧的深度图之后,对目标帧的深度图进行滤波处理。
[0192]
可选的,处理器601用于对目标帧的深度图进行滤波处理,具体可以包括:
[0193]
对目标帧的深度图进行三边滤波处理。
[0194]
可选的,处理器601用于融合目标帧的深度图,获得目标场景的三维模型,具体可以包括:
[0195]
根据目标帧的深度图,确定目标帧对应的点云;
[0196]
将目标帧对应的点云融合至目标场景对应的体素中;
[0197]
根据目标场景对应的体素,获得目标场景的三维模型。
[0198]
本发明实施例还提供一种目标场景三维重建装置(例如芯片、集成电路等),包括:存储器和处理器。所述存储器,用于存储执行目标场景三维重建方法的代码。所述处理器,用于调用所述存储器中存储的所述代码,执行上述任一方法实施例所述的目标场景三维重建方法。
[0199]
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包含至少一段代码,所述至少一段代码可由计算机执行,以控制所述计算机执行上述任一方法实施例所述的目标场景三维重建方法。
[0200]
本发明实施例提供一种计算机程序,当所述计算机程序被计算机执行时,用于实现上述任一方法实施例所述的目标场景三维重建方法。
[0201]
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读 取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0202]
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

权利要求书

[权利要求 1]
一种目标场景三维重建方法,其特征在于,包括: 获取目标场景的图像序列,所述图像序列包含在时序上连续的多个图像帧; 根据所述时序上连续的多个图像帧获得目标帧和参考帧,并基于所述参考帧获得所述目标帧的深度图; 融合所述目标帧的深度图,获得所述目标场景的三维模型。
[权利要求 2]
根据权利要求1所述的方法,其特征在于,所述目标帧包含在时序上连续的多个图像帧中的一帧。
[权利要求 3]
根据权利要求2所述的方法,其特征在于,所述参考帧包含与所述目标帧存在重叠像素的帧。
[权利要求 4]
根据权利要求1所述的方法,其特征在于,所述参考帧至少包括第一图像帧和第二图像帧; 所述第一图像帧在时序上位于所述目标帧之前; 所述第二图像帧在时序上位于所述目标帧之后。
[权利要求 5]
根据权利要求4所述的方法,其特征在于,若所述目标帧为第N帧,则所述第一图像帧为第N-1帧,所述第二图像帧为第N+1帧。
[权利要求 6]
根据权利要求1所述的方法,其特征在于,所述参考帧至少包括第三图像帧; 所述第三图像帧与所述目标帧的极线方向不平行。
[权利要求 7]
根据权利要求1-6任一项所述的方法,其特征在于,所述基于所述参考帧获得所述目标帧的深度图,包括: 根据所述目标帧和所述参考帧之间的像差,获得所述目标帧的深度图。
[权利要求 8]
根据权利要求1所述的方法,其特征在于,所述基于所述参考帧获得所述目标帧的深度图,包括: 根据所述参考帧,确定所述目标帧对应的匹配代价; 根据所述目标帧对应的匹配代价,确定所述目标帧的深度图。
[权利要求 9]
根据权利要求8所述的方法,其特征在于,所述根据所述参考帧,确定所述目标帧对应的匹配代价,包括: 根据所述目标帧以及所述参考帧,确定所述目标帧对应的第一类型匹配 代价和第二类型匹配代价; 确定所述目标帧对应的匹配代价等于所述第一类型匹配代价和第二类型匹配代价的加权和。
[权利要求 10]
根据权利要求9所述的方法,其特征在于,所述第一类型匹配代价基于零均值归一化互相关确定。
[权利要求 11]
根据权利要求9所述的方法,其特征在于,所述第二类型匹配代价基于光照不变特征确定。
[权利要求 12]
根据权利要求8所述的方法,其特征在于,所述根据所述参考帧,确定所述目标帧对应的匹配代价,包括: 将所述目标帧划分成多个图像块; 根据所述参考帧,确定每一个图像块对应的匹配代价; 根据每一个所述图像块对应的匹配代价,确定所述目标帧对应的匹配代价。
[权利要求 13]
根据权利要求12所述的方法,其特征在于,所述将所述目标帧划分成多个图像块,包括: 采用聚类的方式,将所述目标帧划分成多个图像块。
[权利要求 14]
根据权利要求12所述的方法,其特征在于,所述将所述目标帧划分成多个图像块,包括: 将所述目标帧均匀划分成多个图像块。
[权利要求 15]
根据权利要求12所述的方法,其特征在于,所述根据所述参考帧,确定每一个图像块对应的匹配代价,包括: 根据所述参考帧,并行确定每一个图像块对应的匹配代价。
[权利要求 16]
根据权利要求12所述的方法,其特征在于,所述根据所述参考帧,确定每一个图像块对应的匹配代价,包括: 根据每一个所述图像块中的稀疏点确定该图像块的深度采样次数; 根据所述参考帧以及每一个所述图像块的深度采样次数,确定每一个所述图像块对应的匹配代价。
[权利要求 17]
根据权利要求1所述的方法,其特征在于,在所述基于所述参考帧获得所述目标帧的深度图之后,还包括: 对所述目标帧的深度图进行滤波处理。
[权利要求 18]
根据权利要求17所述的方法,其特征在于,所述对所述目标帧的深度图进行滤波处理,包括: 对所述目标帧的深度图进行三边滤波处理。
[权利要求 19]
根据权利要求1所述的方法,其特征在于,所述融合所述目标帧的深度图,获得所述目标场景的三维模型,包括: 根据所述目标帧的深度图,确定所述目标帧对应的点云; 将所述目标帧对应的点云融合至所述目标场景对应的体素中; 根据所述目标场景对应的体素,获得所述目标场景的三维模型。
[权利要求 20]
一种目标场景三维重建系统,其特征在于,包括:处理器和存储器; 所述存储器,用于存储程序代码; 所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作: 获取目标场景的图像序列,所述图像序列包含在时序上连续的多个图像帧; 根据所述时序上连续的多个图像帧获得目标帧和参考帧,并基于所述参考帧获得所述目标帧的深度图; 融合所述目标帧的深度图,获得所述目标场景的三维模型。
[权利要求 21]
根据权利要求20所述的系统,其特征在于,所述目标帧包含在时序上连续的多个图像帧中的一帧。
[权利要求 22]
根据权利要求21所述的系统,其特征在于,所述参考帧包含与所述目标帧存在重叠像素的帧。
[权利要求 23]
根据权利要求20所述的系统,其特征在于,所述参考帧至少包括第一图像帧和第二图像帧; 所述第一图像帧在时序上位于所述目标帧之前; 所述第二图像帧在时序上位于所述目标帧之后。
[权利要求 24]
根据权利要求23所述的系统,其特征在于,若所述目标帧为第N帧,则所述第一图像帧为第N-1帧,所述第二图像帧为第N+1帧。
[权利要求 25]
根据权利要求20所述的系统,其特征在于,所述参考帧至少包括第三图像帧; 所述第三图像帧与所述目标帧的极线方向不平行。
[权利要求 26]
根据权利要求20-25任一项所述的系统,其特征在于,所述处理器,用于基于所述参考帧获得所述目标帧的深度图,具体包括: 根据所述目标帧和所述参考帧之间的像差,获得所述目标帧的深度图。
[权利要求 27]
根据权利要求20所述的系统,其特征在于,所述处理器,用于基于所述参考帧获得所述目标帧的深度图,具体包括: 根据所述参考帧,确定所述目标帧对应的匹配代价; 根据所述目标帧对应的匹配代价,确定所述目标帧的深度图。
[权利要求 28]
根据权利要求27所述的系统,其特征在于,所述处理器,用于根据所述参考帧,确定所述目标帧对应的匹配代价,具体包括: 根据所述目标帧以及所述参考帧,确定所述目标帧对应的第一类型匹配代价和第二类型匹配代价; 确定所述目标帧对应的匹配代价等于所述第一类型匹配代价和第二类型匹配代价的加权和。
[权利要求 29]
根据权利要求28所述的系统,其特征在于,所述第一类型匹配代价基于零均值归一化互相关确定。
[权利要求 30]
根据权利要求28所述的系统,其特征在于,所述第二类型匹配代价基于光照不变特征确定。
[权利要求 31]
根据权利要求27所述的系统,其特征在于,所述处理器,用于根据所述参考帧,确定所述目标帧对应的匹配代价,具体包括: 将所述目标帧划分成多个图像块; 根据所述参考帧,确定每一个图像块对应的匹配代价; 根据每一个所述图像块对应的匹配代价,确定所述目标帧对应的匹配代价。
[权利要求 32]
根据权利要求31所述的系统,其特征在于,所述处理器,用于将所述目标帧划分成多个图像块,具体包括: 采用聚类的方式,将所述目标帧划分成多个图像块。
[权利要求 33]
根据权利要求31所述的系统,其特征在于,所述处理器,用于将所述目标帧划分成多个图像块,具体包括: 将所述目标帧均匀划分成多个图像块。
[权利要求 34]
根据权利要求31所述的系统,其特征在于,所述处理器,用于根据 所述参考帧,确定每一个图像块对应的匹配代价,具体包括: 根据所述参考帧,并行确定每一个图像块对应的匹配代价。
[权利要求 35]
根据权利要求31所述的系统,其特征在于,所述处理器,用于根据所述参考帧,确定每一个图像块对应的匹配代价,具体包括: 根据每一个所述图像块中的稀疏点确定该图像块的深度采样次数; 根据所述参考帧以及每一个所述图像块的深度采样次数,确定每一个所述图像块对应的匹配代价。
[权利要求 36]
根据权利要求20所述的系统,其特征在于,所述处理器,还用于在所述基于所述参考帧获得所述目标帧的深度图之后,对所述目标帧的深度图进行滤波处理。
[权利要求 37]
根据权利要求36所述的系统,其特征在于,所述处理器,用于对所述目标帧的深度图进行滤波处理,具体包括: 对所述目标帧的深度图进行三边滤波处理。
[权利要求 38]
根据权利要求20所述的系统,其特征在于,所述处理器,用于融合所述目标帧的深度图,获得所述目标场景的三维模型,具体包括: 根据所述目标帧的深度图,确定所述目标帧对应的点云; 将所述目标帧对应的点云融合至所述目标场景对应的体素中; 根据所述目标场景对应的体素,获得所述目标场景的三维模型。
[权利要求 39]
一种无人机,其特征在于,包括:处理器; 所述无人机上搭载有拍摄装置,所述拍摄装置用于对目标场景进行拍摄; 所述处理器用于, 获取目标场景的图像序列,所述图像序列包含在时序上连续的多个图像帧; 根据所述时序上连续的多个图像帧获得目标帧和参考帧,并基于所述参考帧获得所述目标帧的深度图; 融合所述目标帧的深度图,获得所述目标场景的三维模型。
[权利要求 40]
根据权利要求39所述的无人机,其特征在于,所述目标帧包含在时序上连续的多个图像帧中的一帧。
[权利要求 41]
根据权利要求40所述的无人机,其特征在于,所述参考帧包含与所述目标帧存在重叠像素的帧。
[权利要求 42]
根据权利要求39所述的无人机,其特征在于,所述参考帧至少包括第一图像帧和第二图像帧; 所述第一图像帧在时序上位于所述目标帧之前; 所述第二图像帧在时序上位于所述目标帧之后。
[权利要求 43]
根据权利要求42所述的无人机,其特征在于,若所述目标帧为第N帧,则所述第一图像帧为第N-1帧,所述第二图像帧为第N+1帧。
[权利要求 44]
根据权利要求39所述的无人机,其特征在于,所述参考帧至少包括第三图像帧; 所述第三图像帧与所述目标帧的极线方向不平行。
[权利要求 45]
根据权利要求39-44任一项所述的无人机,其特征在于,所述处理器,用于基于所述参考帧获得所述目标帧的深度图,具体包括: 根据所述目标帧和所述参考帧之间的像差,获得所述目标帧的深度图。
[权利要求 46]
根据权利要求39所述的无人机,其特征在于,所述处理器,用于基于所述参考帧获得所述目标帧的深度图,具体包括: 根据所述参考帧,确定所述目标帧对应的匹配代价; 根据所述目标帧对应的匹配代价,确定所述目标帧的深度图。
[权利要求 47]
根据权利要求46所述的无人机,其特征在于,所述处理器,用于根据所述参考帧,确定所述目标帧对应的匹配代价,具体包括: 根据所述目标帧以及所述参考帧,确定所述目标帧对应的第一类型匹配代价和第二类型匹配代价; 确定所述目标帧对应的匹配代价等于所述第一类型匹配代价和第二类型匹配代价的加权和。
[权利要求 48]
根据权利要求47所述的无人机,其特征在于,所述第一类型匹配代价基于零均值归一化互相关确定。
[权利要求 49]
根据权利要求47所述的无人机,其特征在于,所述第二类型匹配代价基于光照不变特征确定。
[权利要求 50]
根据权利要求46所述的无人机,其特征在于,所述处理器,用于根据所述参考帧,确定所述目标帧对应的匹配代价,具体包括: 将所述目标帧划分成多个图像块; 根据所述参考帧,确定每一个图像块对应的匹配代价; 根据每一个所述图像块对应的匹配代价,确定所述目标帧对应的匹配代价。
[权利要求 51]
根据权利要求50所述的无人机,其特征在于,所述处理器,用于将所述目标帧划分成多个图像块,具体包括: 采用聚类的方式,将所述目标帧划分成多个图像块。
[权利要求 52]
根据权利要求50所述的无人机,其特征在于,所述处理器,用于将所述目标帧划分成多个图像块,具体包括: 将所述目标帧均匀划分成多个图像块。
[权利要求 53]
根据权利要求50所述的无人机,其特征在于,所述处理器,用于根据所述参考帧,确定每一个图像块对应的匹配代价,具体包括: 根据所述参考帧,并行确定每一个图像块对应的匹配代价。
[权利要求 54]
根据权利要求50所述的无人机,其特征在于,所述处理器,用于根据所述参考帧,确定每一个图像块对应的匹配代价,具体包括: 根据每一个所述图像块中的稀疏点确定该图像块的深度采样次数; 根据所述参考帧以及每一个所述图像块的深度采样次数,确定每一个所述图像块对应的匹配代价。
[权利要求 55]
根据权利要求39所述的无人机,其特征在于,所述处理器,还用于在所述基于所述参考帧获得所述目标帧的深度图之后,对所述目标帧的深度图进行滤波处理。
[权利要求 56]
根据权利要求55所述的无人机,其特征在于,所述处理器,用于对所述目标帧的深度图进行滤波处理,具体包括: 对所述目标帧的深度图进行三边滤波处理。
[权利要求 57]
根据权利要求39所述的无人机,其特征在于,所述处理器,用于融合所述目标帧的深度图,获得所述目标场景的三维模型,具体包括: 根据所述目标帧的深度图,确定所述目标帧对应的点云; 将所述目标帧对应的点云融合至所述目标场景对应的体素中; 根据所述目标场景对应的体素,获得所述目标场景的三维模型。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6]