بعض محتويات هذا التطبيق غير متوفرة في الوقت الحالي.
إذا استمرت هذه الحالة ، يرجى الاتصال بنا علىتعليق وإتصال
1. (WO2019041276) IMAGE PROCESSING METHOD, AND UNMANNED AERIAL VEHICLE AND SYSTEM
Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35  

附图

0001   0002   0003   0004   0005   0006   0007   0008   0009  

说明书

发明名称 : 一种图像处理方法、无人机及系统

技术领域

[0001]
本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、无人机及系统。

背景技术

[0002]
随着图像处理技术的不断发展,全景图像由于可视范围广、图像内容多,受到了人们的广泛欢迎。
[0003]
目前,无人机利用摄像装置(例如摄像头、航拍相机、数码相机等)拍摄全景图像时,由于无人机本身的旋转范围、摄像装置的视线范围和旋转范围均有限,导致拍摄得到的全景图像无法拍摄到顶部的天空,或顶部天空不完全。举例来说,以如图1所示的无人机搭载航拍相机为例,在拍摄全景图像时,无人机无法进行90度甚至90度以上的旋转,航拍相机虽然可以进行90度甚至90度以上的旋转,但由于航拍相机的视线范围有限,无法规避无人机的遮挡,导致依然无法拍摄到顶部的天空。
[0004]
因此,如何有效的补足没有拍摄到的天空图像,提高全景图像的完整性成了一个研究的热点。
[0005]
发明内容
[0006]
本发明实施例公开了一种图像处理方法、无人机及系统,可以有效的补足没有拍摄到的天空图像,提高全景图像的完整性。
[0007]
本发明实施例第一方面公开了一种图像处理方法,包括:根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像;
[0008]
确定摄像装置在拍摄所述待拼接图像时的方向参数,所述待拼接图像为在所述当前的环境参数下拍摄到的图像;
[0009]
根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[0010]
本发明实施例第二方面公开了一种无人机,包括:存储器和处理器;
[0011]
所述存储器,用于存储程序指令;
[0012]
所述处理器,用于执行所述存储器存储的程序指令,当程序指令被执行时,用于:
[0013]
根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像;
[0014]
确定摄像装置在拍摄所述待拼接图像时的方向参数,所述待拼接图像为在所述当前的环境参数下拍摄到的图像;
[0015]
根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[0016]
本发明实施例第三方面公开一种系统,所述系统包括:
[0017]
摄像装置;
[0018]
如上述第二方面所述的装置。
[0019]
本发明实施例中,可以根据无人机当前的环境参数,获取与该当前的环境参数相匹配的目标天空图像,然后按照待拼接图像拍摄时的方向参数,将该目标天空图像与该待拼接图像进行拼接处理,以得到全景图像,可以根据无人机的环境参数得到天空图像,有效的补足了没有拍摄到的天空图像部分,提高全景图像的完整性。

附图说明

[0020]
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0021]
图1是本发明实施例提供的一种用于图像处理的架构示意图;
[0022]
图2是本发明实施例提供的一种图像处理方法的流程示意图;
[0023]
图3是本发明实施例提供的另一种图像处理方法的流程示意图;
[0024]
图3a是本发明实施例提供的又一种图像处理方法的流程示意图;
[0025]
图3b是本发明实施例提供的又一种图像处理方法的流程示意图;
[0026]
图3c是本发明实施例提供的又一种图像处理方法的流程示意图;
[0027]
图4是本发明实施例提供的一种无人机的结构示意图;
[0028]
图5是本发明实施例提供的一种系统的结构示意图;
[0029]
图5a是本发明实施例提供的一种系统的另一结构示意图。

具体实施方式

[0030]
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
[0031]
请参阅图1,为本发明实施例提供的一种用于图像处理的系统架构图。图1所示的系统架构中,包括无人机以及航拍相机。其中,该航拍相机为摄像装置的一个示例,应知,在其他实施例中,该航拍相机还可以替换为摄像头、数码相机、红外摄像机等摄像装置,本发明实施例对此不作任何限制。其中,该无人机可以用于进行图像处理,尽管未示出,该无人机具体可以包括处理器、通信单元、飞行控制单元、传感器等等。
[0032]
在无人机搭载航拍相机拍摄全景图像时,通常需要拍摄和拼接两步来实现。具体的,无人机可以保持自身的位置坐标不改变,控制无人机机身和/或航拍相机进行旋转来获取不同的视线范围下的图像。其中,图1所示的航拍相机的视线范围可以是阴影部分所示的视线范围,该视线范围可以用视场角(field of view,FOV)来表示,通过航拍相机的姿态变化,可以获取到航拍相机各个姿态下的FOV图像。
[0033]
其中,无人机的机身可以不进行旋转,也可以配合航拍相机的姿态变化来进行旋转。例如,该航拍相机旋转到图示位置时,无人机可以将机身从无人机虚线位置调整到无人机的实线位置,以规避对航拍相机的视线遮挡。
[0034]
在一个实施例中,该无人机可以将拍摄到的图像按照姿态、特征匹配信息等进行图像拼接,以生成全景图像。其中,用户可以在模拟人类正常FOV的图像查看模式下,查看相机拍摄时朝向各个方向获取到的内容。
[0035]
然而,在拍摄全景图像顶部的天空时,无人机由于需要保持位置坐标固定,且机身的旋转范围有限,无法进行90度甚至更多的旋转,航拍相机虽然可以进行90度甚至更多的旋转,但即时二者同时改变姿态也依然无法拍摄到顶部的天空。
[0036]
因此,如何将顶部的天空部分进行补足,成为了一个亟待解决的热门话题。
[0037]
为了解决上述技术问题,本发明实施例提供了一种图像处理方法、无人机及系统。
[0038]
在一个实施例中,无人机可以控制摄像装置拍摄需要拼接天空的待拼接图像,然后可以确定拍摄时的环境参数,例如时间参数、高度参数、位置参数中的任意一种或多种。然后,该无人机可以根据该环境参数,获取与该环境参数匹配的目标天空图像,并按照待拼接图像在拍摄时的方向参数(例如拍摄时的方向为朝向西南方45度等),将目标天空图像与待拼接图像进行拼接处理,以得到全景图像。
[0039]
在一个实施例中,该目标天空图像可以由气象卫星图像确定。该无人机可以根据该环境参数,通过无线链路连接到气象数据库,获取与该环境参数相匹配的气象卫星图像,并根据该气象卫星图像得到目标天空图像。
[0040]
在一个实施例中,无人机根据该气象卫星图像得到目标天空图像,具体可以是对气象卫星图像进行特征识别处理,区分云层图像和地表图像,然后将该云层图像进行放大、分辨率填充处理之后,生成该目标天空图像。
[0041]
在一个实施例中,无人机根据该气象卫星图像得到目标天空图像,具体可以是该无人机预先建立一素材库,该素材库中包括预先建立的天空图像集合,然后可以将该气象卫星图像与素材库中的天空图像进行匹配,选取匹配的天空图像作为该目标天空图像。
[0042]
在一个实施例中,无人机根据该气象卫星图像得到目标天空图像,具体可以是对该气象卫星图像进行图像识别处理,得到气象卫星图像的天空描述信息(例如云层厚度、云团大小、云团形状等等),并根据该天空描述信息生成虚拟天空图像,该虚拟天空图像可以作为该目标天空图像。
[0043]
可见,上述图像处理方法可以根据当前的环境参数,确定出需要拼接到待拼接图像中的目标天空图像,实现全景图像的拼接,该目标天空图像由于是根据环境参数得到的,拼接得到的全景图像的画面和谐度较高,且拼接天空时由无人机自动进行拼接,自动化程度高,并且用户可以快速预览全景图拼接效果,实时性较强。
[0044]
为了更好的说明,下面描述本申请的方法实施例。
[0045]
请参阅图2,为本发明实施例提供的一种图像处理方法的流程示意图。本实施例中所描述的图像处理方法,包括:
[0046]
S201、根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像。
[0047]
需要说明的是,本发明实施例的执行主体可以为无人机。该无人机可以是指无人控制飞行器。
[0048]
可选的,所述环境参数,包括时间参数、高度参数、位置参数中的任意一种或多种。
[0049]
需要说明的是,该环境参数可以是指该无人机在拍摄待拼接图像时的当前环境。具体的,可以包括当前的时间、无人机的飞行高度、无人机的位置、无人机的方向(朝向)等等。
[0050]
还需要说明的是,该目标天空图像可以拼接到待拼接图像上,用于补足该待拼接图像中缺失的天空部分。
[0051]
还需要说明的是,该目标天空图像与当前的环境参数相匹配,可以是指:目标天空图像中表示的天空环境与该无人机获取到的环境参数相匹配。
[0052]
举例来说,该环境参数表示为阴天天气,湿度为28,能见度较低,那么该目标天空图像中,云层可以低矮且厚重,且天空颜色为灰白色,以表示该阴天天气。
[0053]
可选的,所述根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像,包括:根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的气象卫星图像;根据所述气象卫星图像得到目标天空图像。
[0054]
在一些可行的实施方式中,该气象卫星图像可以由气象卫星获取,并可以公开到网络中,该无人机可以通在网络中获取到该气象卫星图像。
[0055]
在一些可行的实施方式中,该气象卫星图像还可以由侦查卫星、高空飞机、飞艇等来获取,本发明对此不作任何限制。
[0056]
具体实现中,该无人机可以实时获取气象卫星图像,并根据该当前的环境参数,确定出与该环境参数相匹配的气象卫星图像,并根据该气象卫星图像得到目标天空图像。
[0057]
可选的,所述根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像,包括:根据无人机的环境参数确定出至少一个用户标识;获取所述至少一个用户标识各自对应的天空图像;从所述天空图像中选择与所述环境参数相匹配的匹配天空图像作为目标天空图像。
[0058]
需要说明的是,该用户标识可以是指用户账号、用户头像等等,用于标识用户的身份。
[0059]
在一些可行的实施方式中,该无人机可以与一素材库建立连接,该素材库中可以包括多个天空图像,天空图像对应着一个用户标识。无人机可以根据无人机的位置信息,确定与该位置信息的距离在预设范围内(例如10米,20米,50米等)的用户标识,并获取该用户标识对应的天空图像,该天空图像可以是用户拍摄到的天空图像,并可以从天空图像中选择与该环境参数相匹配的匹配天空图像作为目标天空图像。
[0060]
其中,该素材库可以以应用、网站的形式展现,本发明实施例对此不作任何限制。
[0061]
其中,该匹配天空图像可以是指与该环境参数相匹配、且为用户标识对应的天空图像,且该匹配天空图像可以有多个,也可以只有一个,当该匹配天空图像只有一个时,该无人机可以将其作为该目标天空图像。
[0062]
可选的,当该匹配天空图像具有多个时,所述从所述天空图像中选择与所述环境参数相匹配的匹配天空图像作为目标天空图像,包括:根据所述匹配天空图像与所述环境参数的匹配程度对所述匹配天空图像进行排序,并将排序结果推送至显示界面;当在所述显示界面接收到确定操作时,根据所述确定操作指示的匹配天空图像得到目标天空图像。
[0063]
需要说明的是,该匹配天空图像与该环境参数的匹配程度可以由无人机计算得到。
[0064]
在一些可行的实施方式中,该无人机可以提取各个匹配天空图像中的天空特征参数,然后将各个天空特征参数与该环境参数匹配,并确定各个天空特征参数与该环境参数的匹配程度。
[0065]
举例来说,该环境参数表示当前天气为阴天,该无人机就可以计算出云团种类为积雨云、天空颜色为灰白色的匹配天空图像与该环境参数的匹配程度为 90%,云团种类为卷云、天空颜色为蓝色的匹配天空图像与该环境参数的匹配程度为30%。
[0066]
进一步的,该无人机可以按照该匹配程度对各个匹配天空图像进行排序,,例如将该匹配程度为70%的匹配天空图像排在第一位,将该匹配程度为30%的匹配天空图像排在第二位,并将该排序结果推送至显示界面。
[0067]
其中,该显示界面可以为用于人机交互的显示界面,该显示界面可以设置在无人机上,也可以设置在其他设备(例如手机、电脑等等)上,当该显示界面设置在其他设备上时,该无人机可以通过无线连接方式(例如蓝牙、红外、移动数据网等)与该其他设备建立连接,并将该排序结果推送到该其他设备上,以便于该其他设备在其显示界面上进行显示。
[0068]
在一些可行的实施方式中,用户可以在该显示界面上选择并确定目标天空图像。具体的,用户在该显示界面上对匹配天空图像进行选择并确定,无人机可以将该用户确定出的匹配天空图像作为该目标天空图像。
[0069]
S202、确定摄像装置在拍摄所述待拼接图像时的方向参数。
[0070]
需要说明的是,该待拼接图像拍摄时的方向参数,可以是指该待拼接图像在拍摄时的视线朝向、视角等参数。
[0071]
举例来说,该待拼接图像中的图像内容是视线正前方能查看到的内容,那么该带拼接图像拍摄时的方向参数可以是视线正前方。
[0072]
例如,无人机在一栋大楼左上方,通过摄像装置朝右下方45度拍摄得到待拼接图像a,该待拼接图像a中,该大楼就可以位于图像右偏下的位置,那么,该无人机可以根据该大楼在待拼接图像a的朝向和位置以及摄像装置的FOV,确定该待拼接图像a拍摄时的方向参数为视线右下方45度。
[0073]
在一些可行的实施方式中,该方向参数可以包括姿态角(例如偏航角(Yaw)、翻滚角(Roll)、俯仰角度(Pitch)),该姿态角可以通过惯性测量单元得到。
[0074]
举例来说,该无人机定义正北方的大楼为Yaw0度方向,一栋大楼在无人机北偏东30度方向,同时该摄像装置可以在向下45度拍摄,拍摄时无人机机体无翻滚,则朝向此大楼拍摄的方向参数可以记录为:Yaw=30度,Roll=0度,Pitch=-45度。
[0075]
S203、根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[0076]
需要说明的是,该无人机可以根据全景拼接算法进行补天。
[0077]
在一些可行的实施方式中,该无人机可以通过专业图像编辑软件将该目标天空图像与该拼接图像进行抠图、拼接、羽化、涂抹、曝光补偿、色调调节等处理,并得到该全景图像。
[0078]
其中,该全景图像可以是覆盖视角为水平360度,垂直180度的无死角全景,或者,该全景图像也可以是按照其他覆盖视角得到的图像,本发明实施例对此不作任何限制。
[0079]
可选的,所述根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像,包括:根据所述方向参数确定所述目标天空图像的拼接方向;提取所述目标天空图像的边缘特征点;根据所述边缘特征点以及所述目标天空图像的拼接方向,将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[0080]
需要说明的是,该目标天空图像的拼接方向,可以是指该目标天空图像拼接到该带拼接图像上的拼接位置。
[0081]
该边缘特征点,可以是指该目标天空图像中的边缘像素值等。
[0082]
举例来说,该待拼接图像的方向参数是视线右上方,那么该无人机便可以确定该目标天空图像的拼接方向在该带拼接图像的左上方向置,然后,该无人机可以提取目标天空图像的边缘像素值,将该边缘像素值与带拼接图像中的天空边缘的像素值进行平滑过滤等拼接处理,得到该全景图像。
[0083]
还需要说明的是,得到该全景图像后,用户可以在模拟人类正常FOV的图像查看模式下,查看摄像装置拍摄时朝向各个方向获取到的图像。
[0084]
可见,在本发明实施例中,无人机可以根据当前的环境参数,获取与该当前的环境参数相匹配的目标天空图像,然后按照待拼接图像拍摄时的方向参数,将该目标天空图像与该待拼接图像进行拼接处理,以得到全景图像,可以根据无人机的环境参数得到天空图像,得到的天空图像为真实拍摄的图像,有效的补足了没有拍摄到的天空图像部分,且提高全景图像的真实性与完整性。
[0085]
请参阅图3,为本发明实施例提供的另一种图像处理方法的流程示意图。本实施例中所描述的方法,包括:
[0086]
S301、根据所述无人机当前的高度参数、位置参数、以及摄像装置的内参确定出待拼接图像的天空范围值。
[0087]
需要说明的是,该无人机当前的高度参数,例如可以是无人机当前所处位置的海拔高度,或者距地面高度等等。
[0088]
还需要说明的是,该位置参数,可以用于表示该无人机当前所处的位置,具体的,可以是该无人机当前所处的位置坐标。
[0089]
还需要说明的是,该摄像装置的内参可以是摄像装置的焦距、像素、FOV等内部参数,本发明对此不作限制。
[0090]
在一些可行的实施方式中,该无人机可以首先按照该无人机当前的高度参数、位置参数、摄像装置的内参,确定出该待拼接图像中的天空部分的长、宽、大小、面积等等,然后可以预测该待拼接图像在制作成全景图像时,需要补足的天空部分的大小、面积等范围值。
[0091]
S302、根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的气象卫星图像。
[0092]
需要说明的是,本发明实施例所示的S302的具体实现过程可参照前述方法实施例中的S201步骤,在此不作赘述。
[0093]
S303、根据所述气象卫星图像得到目标天空图像。
[0094]
需要说明的是,该无人机可以对该气象卫星图像进行图像处理,并得到该目标天空图像。
[0095]
在一个实施例中,请参阅图3a,无人机根据该气象卫星图像得到目标天空图像可以根据以下步骤实现:
[0096]
S3030a、根据所述天空范围值确定所述气象卫星图像的截取范围。
[0097]
需要说明的是,该无人机可以首先确定该待拼接图像的天空范围值,然后确定该待拼接图像在制作成全景图像时,需要补足的天空部分的范围值,根据该需要补足的天空部分的范围值,可以得到该气象卫星图像的截取范围。
[0098]
还需要说明的是,该气象卫星图像的截取范围可以为该需要补足的天空部分的范围值,也可以比该需要补足的天空部分的范围值大,本发明实施例对此 不作任何限制。
[0099]
S3031a、根据所述无人机的位置参数,从所述气象卫星图像中按照所述截取范围截取得到区域图像。
[0100]
需要说明的是,该区域图像可以是指从该气象卫星图像中截取的图像。
[0101]
还需要说明的是,该无人机可以按照该位置参数,确定出在拍摄到该位置参数预设范围内的气象卫星图像,然后按照确定出来的截取范围,从该气象卫星图像中截取得到区域图像。
[0102]
在一个实施例中,所述根据所述无人机的位置参数,从气象卫星图像中按照所述截取范围截取得到区域图像,包括:以所述无人机的位置为截取中心,从气象卫星图像中按照所述截取范围截取得到区域图像。
[0103]
需要说明的是,该无人机的位置可以为该区域图像的中心,也就是说,该无人机可以以该无人机的位置为中心,将该气象卫星图像按照该中心进行截取。
[0104]
具体的,该无人机可以以无人机的位置为圆心,以该截取范围为圆面积值,以圆形的方式截取该区域图像。
[0105]
在一个实施例中,所述从所述气象卫星图像中按照所述截取范围截取得到区域图像,包括:将所述气象卫星图像进行特征识别处理,得到所述气象卫星图像的云层图像;从所述云层图像中按照所述截取范围截取得到区域图像。
[0106]
需要说明的是,该无人机可以识别该气象卫星图像的云层部分以及地表部分、海域部分等,将该气象卫星图像的云层部分作为该气象卫星图像的云层图像。然后,该无人机可以将该云层图像按照该截取范围进行截取,得到区域图像。
[0107]
S3032a、根据所述截取得到的区域图像确定目标天空图像。
[0108]
在一个实施例中,所述根据所述截取得到的区域图像确定目标天空图像,包括:将所述截取得到的区域图像进行放大处理;从放大处理后的区域图像中确定出目标图像,并根据所述目标图像得到目标天空图像。
[0109]
举例来说,该区域图像为从云层图像中截取得到的图像,该无人机可以首先将该区域图像进行放大,并从该放大后的区域图像中确定出与该待拼接图像中的天空部分可以平滑过渡的拼接的目标图像,并可以根据该目标图像得到该目标天空图像。
[0110]
在一个实施例中,所述将所述截取区域图像进行放大处理,包括:确定所述气象卫星图像的高度参数以及所述无人机的高度参数;根据所述气象卫星图像的高度参数以及所述无人机的高度参数,确定所述截取得到的区域图像进行放大处理的比例值;将所述截取得到的区域图像按照所述比例值进行放大处理。
[0111]
举例来说,该气象卫星图像的高度参数为海拔高度600000米,该无人机的高度参数为海拔高度3000米,该无人机可以确定将该截取得到的区域图像进行放大处理的比例值为600000/30000=200,那么,该无人机可以按照放大200倍的比例值将该截取得到的区域图像进行放大处理。
[0112]
又举例来说,该无人机的高度参数为海拔高度500米,云层高度为5000米,卫星高度为60000米,该无人机可以确定将截取得到的区域图像按照无人机和卫星到云层的距离比例值进行放大,在此例中,该比例值可以为(60000-5000)/(5000-500)=132,那么该无人机可以按照放大132倍的比例值将该截取得到的区域图像进行放大处理。其中,云层高度可以由用户交互输入,也可以根据当地的天气情况进行估计。
[0113]
在一些可行的实施方式中,该无人机可以直接将该放大处理后的区域图像作为该目标天空图像。
[0114]
在一个实施例中,所述方法还包括:将所述放大处理后的区域图像进行分辨率填充,以得到目标天空图像。
[0115]
需要说明的是,放大后的区域图像可能分辨率不能满足要求,该无人机便可以将该放大处理后的区域图像进行分辨率填充后,得到该目标天空图像,可以提高该放大处理后的区域图像的分辨率,提高全景图像的画面和谐度。
[0116]
在一个实施例中,请参阅图3b,无人机根据该气象卫星图像得到目标天空图像可以根据以下步骤实现:
[0117]
S3030b、将所述气象卫星图像与素材库中的天空图像进行匹配处理。
[0118]
其中,所述素材库包括预先建立的天空图像集合。
[0119]
需要说明的是,该预先建立的天空图像集合可以是用户拍摄得到的天空图像,也可以是模拟出来的天空图像,本发明实施例对此不作任何限制。
[0120]
在一个实施例中,所述将所述气象卫星图像与素材库中的天空图像进行匹配处理,包括:将所述气象卫星图像中的可见光云图、红外光云图、水汽云图、 地表温度图、海面温度图中的任意一种或多种,与所述素材库中的天空图像进行匹配处理。
[0121]
举例来说,该无人机可以根据该气象卫星图像中的可见光云图,确定天空的云层透明度、云层厚度、云团种类等信息,然后根据确定出来的云团信息,将素材库中的天空图像进行匹配。具体的,例如该可见光云团表示为晴天的云团信息,无人机可以匹配同样表示晴天的天空图像。
[0122]
S3031b、从所述素材库中选取与该气象卫星图像相匹配的天空图像作为目标天空图像。
[0123]
在一些可行的实施方式中,该无人机可以从该素材库中选取与该气象卫星图像最为匹配的天空图像作为目标天空图像。
[0124]
在一些可行的实施方式中,该无人机还可以从该素材库中选取与该气象卫星图像匹配的多个天空图像,然后由用户选择其中一个天空作为该目标天空图像。
[0125]
在一个实施例中,请参阅图3c,无人机根据该气象卫星图像得到目标天空图像可以根据以下步骤实现:
[0126]
S3030c、将所述气象卫星图像进行图像识别处理,得到所述气象卫星图像的天空描述信息。
[0127]
在一个实施例中,所述天空描述信息包括:基于可见光云图得到的描述信息,基于红外光云图得到的描述信息、基于水汽云图得到的描述信息、基于地表温度图得到的描述信息、基于海面温度图得到的描述信息中的任意一种或多种。
[0128]
需要说明的是,该天空描述信息可以是指云团厚度、云团大小、云团种类、天空颜色等基于天空得到的信息。
[0129]
在一些可行的实施方式中,该无人机可以根据该卫星气象图像(包括可见光云图、红外光云图、水汽云图、地表温度图)进行图像识别处理,获取云团厚度、云团大小、云团种类、天空颜色等天空描述信息。
[0130]
S3031c、根据所述气象卫星图像的天空描述信息生成虚拟天空图像,变更将所述虚拟天空图像作为目标天空图像。
[0131]
在一些可行的实施方式中,该无人机可以根据上述天空描述信息对云团进 行三维建模,并可以通过图像渲染的方法生成虚拟天空图像,将该虚拟天空图像作为目标天空图像。
[0132]
S304、确定摄像装置在拍摄所述待拼接图像时的方向参数。
[0133]
S305、根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[0134]
需要说明的是,本发明实施例所示的S304以及S305的具体实现过程可参照前述方法实施例中的S202及S203步骤,在此不作赘述。
[0135]
可见,在本发明实施例中,该无人机可以根据无人机当前的环境参数,获取与该当前的环境参数相匹配的气象卫星图像,并确定摄像装置在拍摄所述待拼接图像时的方向参数,根据该方向参数将该目标天空图像与待拼接图像进行拼接处理,以得到全景图像,实现了对全景图像的拼接,且该目标天空图像由于是根据气象卫星图像得到的,天空部分的真实度较高,提高了拼接得到的全景图像的画面和谐度,且拼接天空时由无人机自动进行拼接,自动化程度高。
[0136]
请参阅图4,为本发明实施例提供的一种无人机的结构示意图。本实施例中所描述的无人机,包括:存储器401和处理器402;
[0137]
所述存储器401,用于存储程序指令;
[0138]
所述处理器402,用于执行所述存储器401存储的程序指令,当程序指令被执行时,用于:
[0139]
根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像;
[0140]
确定摄像装置在拍摄所述待拼接图像时的方向参数,所述待拼接图像为在所述当前的环境参数下拍摄到的图像;
[0141]
根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[0142]
在一个实施例中,所述处理器402根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像时,具体用于:
[0143]
根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的气象卫星图像;
[0144]
根据所述气象卫星图像得到目标天空图像。
[0145]
在一个实施例中,所述环境参数,包括时间参数、高度参数、位置参数、中的任意一种或多种。
[0146]
在一个实施例中,所述处理器402根据所述气象卫星图像得到目标天空图像之前,还用于:
[0147]
根据所述无人机当前的高度参数、位置参数、以及摄像装置的内参确定出待拼接图像的天空范围值。
[0148]
在一个实施例中,所述处理器402根据所述气象卫星图像得到目标天空图像时,具体用于:
[0149]
根据所述天空范围值确定所述气象卫星图像的截取范围;
[0150]
根据所述无人机的位置参数,从所述气象卫星图像中按照所述截取范围截取得到区域图像;
[0151]
根据所述截取得到的区域图像确定目标天空图像。
[0152]
在一个实施例中,所述处理器402根据所述无人机的位置参数,从气象卫星图像中按照所述截取范围截取得到区域图像时,具体用于:
[0153]
以所述无人机的位置为截取中心,从气象卫星图像中按照所述截取范围截取得到区域图像。
[0154]
在一个实施例中,所述处理器402从所述气象卫星图像中按照所述截取范围截取得到区域图像时,具体用于:
[0155]
将所述气象卫星图像进行特征识别处理,得到所述气象卫星图像的云层图像;
[0156]
从所述云层图像中按照所述截取范围截取得到区域图像。
[0157]
在一个实施例中,所述处理器402根据所述截取得到的区域图像确定目标天空图像时,具体用于:
[0158]
将所述截取得到的区域图像进行放大处理;
[0159]
从放大处理后的区域图像中确定出目标图像,并根据所述目标图像得到目标天空图像。
[0160]
在一个实施例中,所述处理器402将所述截取区域图像进行放大处理时,具体用于:
[0161]
确定所述气象卫星图像的高度参数以及所述无人机的高度参数;
[0162]
根据所述气象卫星图像的高度参数以及所述无人机的高度参数,确定所述截取得到的区域图像进行放大处理的比例值;
[0163]
将所述截取得到的区域图像按照所述比例值进行放大处理。
[0164]
在一个实施例中,所述处理器402还用于:
[0165]
将所述放大处理后的区域图像进行分辨率填充,以得到目标天空图像。
[0166]
在一个实施例中,所述处理器402根据所述气象卫星图像得到目标天空图像时,具体用于:
[0167]
将所述气象卫星图像与素材库中的天空图像进行匹配处理,所述素材库包括预先建立的天空图像集合;
[0168]
从所述素材库中选取与所述气象卫星图像相匹配的天空图像作为目标天空图像。
[0169]
在一个实施例中,所述处理器402将所述气象卫星图像与素材库中的天空图像进行匹配处理时,具体用于:
[0170]
将所述气象卫星图像中的可见光云图、红外光云图、水汽云图、地表温度图、海面温度图中的任意一种或多种,与所述素材库中的天空图像进行匹配处理。
[0171]
在一个实施例中,所述处理器402根据所述气象卫星图像得到目标天空图像时,具体用于:
[0172]
将所述气象卫星图像进行图像识别处理,得到所述气象卫星图像的天空描述信息;
[0173]
根据所述气象卫星图像的天空描述信息生成虚拟天空图像,并将所述虚拟天空图像作为目标天空图像。
[0174]
在一个实施例中,所述天空描述信息包括:
[0175]
基于可见光云图得到的描述信息,基于红外光云图得到的描述信息、基于水汽云图得到的描述信息、基于地表温度图得到的描述信息、基于海面温度图得到的描述信息中的任意一种或多种。
[0176]
在一个实施例中,所述处理器402根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像时,具体用于:
[0177]
根据无人机的环境参数确定出至少一个用户标识;
[0178]
获取所述至少一个用户标识各自对应的天空图像;
[0179]
从所述天空图像中选择与所述环境参数相匹配的匹配天空图像作为目标天空图像。
[0180]
在一个实施例中,所述处理器402从所述天空图像中选择与所述环境参数相匹配的匹配天空图像作为目标天空图像时,具体用于:
[0181]
根据所述匹配天空图像与所述环境参数的匹配程度对所述匹配天空图像进行排序,并将排序结果推送至显示界面;
[0182]
当在所述显示界面接收到确定操作时,根据所述确定操作指示的匹配天空图像得到目标天空图像。
[0183]
在一个实施例中,所述处理器402根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像时,具体用于:
[0184]
根据所述方向参数确定所述目标天空图像的拼接方向;
[0185]
提取所述目标天空图像的边缘特征点;
[0186]
根据所述边缘特征点以及所述目标天空图像的拼接方向,将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[0187]
本发明实施例提供一种系统。图5是本发明实施例提供的一种系统的结构示意图。如图5所示,该系统包括:摄像装置501和无人机502。
[0188]
其中,该无人机502为上述本发明实施例中公开的无人机502,原理和实现方式均与上述实施例类似,此处不再赘述。
[0189]
其中,该摄像装置501可以设置在该无人机502上,用于拍摄待拼接图像。
[0190]
具体地,如5a所示,摄像装置可通过云台或其他搭载设备搭载于无人机的主体上。摄像装置用于在无人机的飞行过程中进行图像或视频拍摄,包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等,并且该摄像装置可以为一个或者一个以上。具体的,无人机可以保持机身悬停在空中,摄像装置沿图示箭头方向水平旋转,其他轴可以进行抖动补偿,以拍摄该摄像装置在各个姿态下的待拼接图像。
[0191]
其中,无人机502可以根据无人机502当前的环境参数,获取与所述当前的 环境参数相匹配的目标天空图像,确定摄像装置在拍摄所述待拼接图像时的方向参数,根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[0192]
需要说明的是,该无人机502可用于执行前述方法实施例所示的图像处理方法,其具体实现过程可参照该方法实施例,在此不作赘述。
[0193]
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
[0194]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
[0195]
以上对本发明实施例所提供的一种飞行控制方法、遥控器及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

权利要求书

[权利要求 1]
一种图像处理方法,其特征在于,应用于无人机,所述方法包括: 根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像; 确定摄像装置在拍摄所述待拼接图像时的方向参数,所述待拼接图像为在所述当前的环境参数下拍摄到的图像; 根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[权利要求 2]
根据权利要求1所述的方法,其特征在于,所述根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像,包括: 根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的气象卫星图像; 根据所述气象卫星图像得到目标天空图像。
[权利要求 3]
根据权利要求1或2所述的方法,其特征在于,所述环境参数,包括时间参数、高度参数、位置参数中的任意一种或多种。
[权利要求 4]
根据权利要求2或3所述的方法,其特征在于,所述根据所述气象卫星图像得到目标天空图像之前,还包括: 根据所述无人机当前的高度参数、位置参数、以及摄像装置的内参确定出待拼接图像的天空范围值。
[权利要求 5]
根据权利要求4所述的方法,其特征在于,所述根据所述气象卫星图像得到目标天空图像,包括: 根据所述天空范围值确定所述气象卫星图像的截取范围; 根据所述无人机的位置参数,从所述气象卫星图像中按照所述截取范围截取得到区域图像; 根据所述截取得到的区域图像确定目标天空图像。
[权利要求 6]
根据权利要求5所述的方法,其特征在于,所述根据所述无人机的位置参数,从气象卫星图像中按照所述截取范围截取得到区域图像,包括: 以所述无人机的位置为截取中心,从气象卫星图像中按照所述截取范围截取得到区域图像。
[权利要求 7]
根据权利要求5或6所述的方法,其特征在于,所述从所述气象卫星图像中按照所述截取范围截取得到区域图像,包括: 将所述气象卫星图像进行特征识别处理,得到所述气象卫星图像的云层图像; 从所述云层图像中按照所述截取范围截取得到区域图像。
[权利要求 8]
根据权利要求5-7任一项所述的方法,其特征在于,所述根据所述截取得到的区域图像确定目标天空图像,包括: 将所述截取得到的区域图像进行放大处理; 从放大处理后的区域图像中确定出目标图像,并根据所述目标图像得到目标天空图像。
[权利要求 9]
根据权利要求8所述的方法,其特征在于,所述将所述截取区域图像进行放大处理,包括: 确定所述气象卫星图像的高度参数以及所述无人机的高度参数; 根据所述气象卫星图像的高度参数以及所述无人机的高度参数,确定所述截取得到的区域图像进行放大处理的比例值; 将所述截取得到的区域图像按照所述比例值进行放大处理。
[权利要求 10]
根据权利要求8或9所述的方法,其特征在于,所述方法还包括: 将所述放大处理后的区域图像进行分辨率填充,以得到目标天空图像。
[权利要求 11]
根据权利要求2所述的方法,其特征在于,所述根据所述气象卫星图 像得到目标天空图像,包括: 将所述气象卫星图像与素材库中的天空图像进行匹配处理,所述素材库包括预先建立的天空图像集合; 从所述素材库中选取与所述气象卫星图像相匹配的天空图像作为目标天空图像。
[权利要求 12]
根据权利要求11所述的方法,其特征在于,所述将所述气象卫星图像与素材库中的天空图像进行匹配处理,包括: 将所述气象卫星图像中的可见光云图、红外光云图、水汽云图、地表温度图、海面温度图中的任意一种或多种,与所述素材库中的天空图像进行匹配处理。
[权利要求 13]
根据权利要求2所述的方法,其特征在于,所述根据所述气象卫星图像得到目标天空图像,包括: 将所述气象卫星图像进行图像识别处理,得到所述气象卫星图像的天空描述信息; 根据所述气象卫星图像的天空描述信息生成虚拟天空图像,并将所述虚拟天空图像作为目标天空图像。
[权利要求 14]
根据权利要求13所述的方法,其特征在于,所述天空描述信息包括: 基于可见光云图得到的描述信息,基于红外光云图得到的描述信息、基于水汽云图得到的描述信息、基于地表温度图得到的描述信息、基于海面温度图得到的描述信息中的任意一种或多种。
[权利要求 15]
根据权利要求1所述的方法,其特征在于,所述根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像,包括: 根据无人机的环境参数确定出至少一个用户标识; 获取所述至少一个用户标识各自对应的天空图像; 从所述天空图像中选择与所述环境参数相匹配的匹配天空图像作为目标 天空图像。
[权利要求 16]
根据权利要求15所述的方法,其特征在于,所述从所述天空图像中选择与所述环境参数相匹配的匹配天空图像作为目标天空图像,包括: 根据所述匹配天空图像与所述环境参数的匹配程度对所述匹配天空图像进行排序,并将排序结果推送至显示界面; 当在所述显示界面接收到确定操作时,根据所述确定操作指示的匹配天空图像得到目标天空图像。
[权利要求 17]
根据权利要求1-16任一项所述的方法,其特征在于,所述根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像,包括: 根据所述方向参数确定所述目标天空图像的拼接方向; 提取所述目标天空图像的边缘特征点; 根据所述边缘特征点以及所述目标天空图像的拼接方向,将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[权利要求 18]
一种无人机,其特征在于,包括:存储器和处理器; 所述存储器,用于存储程序指令; 所述处理器,用于执行所述存储器存储的程序指令,当程序指令被执行时,用于: 根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像; 确定摄像装置在拍摄所述待拼接图像时的方向参数,所述待拼接图像为在所述当前的环境参数下拍摄到的图像; 根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[权利要求 19]
根据权利要求18所述的无人机,其特征在于,所述处理器根据无人机 当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像时,具体用于: 根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的气象卫星图像; 根据所述气象卫星图像得到目标天空图像。
[权利要求 20]
根据权利要求18或19所述的无人机,其特征在于,所述环境参数,包括时间参数、高度参数、位置参数中的任意一种或多种。
[权利要求 21]
根据权利要求19或20所述的无人机,其特征在于,所述无人机根据所述气象卫星图像得到目标天空图像之前,还用于: 根据所述无人机当前的高度参数、位置参数、以及摄像装置的内参确定出待拼接图像的天空范围值。
[权利要求 22]
根据权利要求21所述的无人机,其特征在于,所述处理器根据所述气象卫星图像得到目标天空图像时,具体用于: 根据所述天空范围值确定所述气象卫星图像的截取范围; 根据所述无人机的位置参数,从所述气象卫星图像中按照所述截取范围截取得到区域图像; 根据所述截取得到的区域图像确定目标天空图像。
[权利要求 23]
根据权利要求22所述的无人机,其特征在于,所述处理器根据所述无人机的位置参数,从气象卫星图像中按照所述截取范围截取得到区域图像时,具体用于: 以所述无人机的位置为截取中心,从气象卫星图像中按照所述截取范围截取得到区域图像。
[权利要求 24]
根据权利要求22或23所述的无人机,其特征在于,所述处理器从所述气象卫星图像中按照所述截取范围截取得到区域图像时,具体用于: 将所述气象卫星图像进行特征识别处理,得到所述气象卫星图像的云层图像; 从所述云层图像中按照所述截取范围截取得到区域图像。
[权利要求 25]
根据权利要求22-24任一项所述的无人机,其特征在于,所述处理器根据所述截取得到的区域图像确定目标天空图像时,具体用于: 将所述截取得到的区域图像进行放大处理; 从放大处理后的区域图像中确定出目标图像,并根据所述目标图像得到目标天空图像。
[权利要求 26]
根据权利要求25所述的无人机,其特征在于,所述处理器将所述截取区域图像进行放大处理时,具体用于: 确定所述气象卫星图像的高度参数以及所述无人机的高度参数; 根据所述气象卫星图像的高度参数以及所述无人机的高度参数,确定所述截取得到的区域图像进行放大处理的比例值; 将所述截取得到的区域图像按照所述比例值进行放大处理。
[权利要求 27]
根据权利要求25或26所述的无人机,其特征在于,所述处理器还用于: 将所述放大处理后的区域图像进行分辨率填充,以得到目标天空图像。
[权利要求 28]
根据权利要求19所述的无人机,其特征在于,所述处理器根据所述气象卫星图像得到目标天空图像时,具体用于: 将所述气象卫星图像与素材库中的天空图像进行匹配处理,所述素材库包括预先建立的天空图像集合; 从所述素材库中选取与所述气象卫星图像相匹配的天空图像作为目标天空图像。
[权利要求 29]
根据权利要求28所述的无人机,其特征在于,所述处理器将所述气象卫星图像与素材库中的天空图像进行匹配处理时,具体用于: 将所述气象卫星图像中的可见光云图、红外光云图、水汽云图、地表温度图、海面温度图中的任意一种或多种,与所述素材库中的天空图像进行匹配处理。
[权利要求 30]
根据权利要求19所述的无人机,其特征在于,所述处理器根据所述气象卫星图像得到目标天空图像时,具体用于: 将所述气象卫星图像进行图像识别处理,得到所述气象卫星图像的天空描述信息; 根据所述气象卫星图像的天空描述信息生成虚拟天空图像,并将所述虚拟天空图像作为目标天空图像。
[权利要求 31]
根据权利要求30所述的无人机,其特征在于,所述天空描述信息包括: 基于可见光云图得到的描述信息,基于红外光云图得到的描述信息、基于水汽云图得到的描述信息、基于地表温度图得到的描述信息、基于海面温度图得到的描述信息中的任意一种或多种。
[权利要求 32]
根据权利要求18所述的无人机,其特征在于,所述处理器根据无人机当前的环境参数,获取与所述当前的环境参数相匹配的目标天空图像时,具体用于: 根据无人机的环境参数确定出至少一个用户标识; 获取所述至少一个用户标识各自对应的天空图像; 从所述天空图像中选择与所述环境参数相匹配的匹配天空图像作为目标天空图像。
[权利要求 33]
根据权利要求32所述的无人机,其特征在于,所述处理器从所述天空图像中选择与所述环境参数相匹配的匹配天空图像作为目标天空图像时,具体用于: 根据所述匹配天空图像与所述环境参数的匹配程度对所述匹配天空图像进行排序,并将排序结果推送至显示界面; 当在所述显示界面接收到确定操作时,根据所述确定操作指示的匹配天空图像得到目标天空图像。
[权利要求 34]
根据权利要求18-33任一项所述的无人机,其特征在于,所述处理器根据所述方向参数将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像时,具体用于: 根据所述方向参数确定所述目标天空图像的拼接方向; 提取所述目标天空图像的边缘特征点; 根据所述边缘特征点以及所述目标天空图像的拼接方向,将所述目标天空图像与所述待拼接图像进行拼接处理,以得到全景图像。
[权利要求 35]
一种系统,其特征在于,包括: 摄像装置; 如权利要求1-17任一项所述的无人机。

附图

[ 图 0001]  
[ 图 0002]  
[ 图 0003]  
[ 图 0004]  
[ 图 0005]  
[ 图 0006]  
[ 图 0007]  
[ 图 0008]  
[ 图 0009]