Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020114433 - DEPTH PERCEPTION METHOD AND APPARATUS, AND DEPTH PERCEPTION DEVICE

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27  

附图

1   2   3A   3B   3C   4   5   6   7   8  

说明书

发明名称 : 一种深度感知方法,装置和深度感知设备

技术领域

[0001]
本发明实施例涉及计算机视觉技术领域,特别涉及一种深度感知方法、装置和深度感知设备。

背景技术

[0002]
随着机器人、无人机的普及,障碍物感知传感器也随之得到越来越多的应用。其中,由于双目传感器成本低、适用场景广、探测范围远以及高效等特点,在障碍物感知传感器中得到了广泛应用。由于鱼眼镜头视角广,针对基于鱼眼镜头的双目深度感知的研究越来越多。
[0003]
实现本发明过程中,发明人发现相关技术中至少存在如下问题:
[0004]
采用双目鱼眼镜头进行障碍物深度感知,由于鱼眼图像周边变形厉害,进行矫正后的鱼眼图像边缘畸变大,存在立体匹配不精准的问题。目前,虽有技术利用特殊标定模型能降低双目立体匹配的误差,如公开号为CN102005039B的专利文献中利用泰勒级数模型进行标定并测量深度,将球面图像表示为经纬度表征的矩形图像。该方法能一定程度上降低由于畸变造成的测量误差,但在图像边缘处仍然存在较大的误差。
[0005]
发明内容
[0006]
本发明实施例的目的是提供一种边缘深度检测精度高的深度感知方法,装置和深度感知设备。
[0007]
第一方面,本发明实施例提供了一种深度感知方法,所述方法用于双目系统感知目标区域的深度,所述双目系统包括第一摄像装置和第二摄像装置,所述方法包括:
[0008]
通过所述第一摄像装置获得所述目标区域的第一目标图像,通过所 述第二摄像装置获得所述目标区域的第二目标图像;
[0009]
对所述第一目标图像进行图像分割和校正,以获取多个第一分割图像;
[0010]
对所述第二目标图像进行图像分割和校正,以获取与所述多个第一分割图像分别对应的多个第二分割图像,其中,每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像;
[0011]
每一组所述分割图像中,所述第一分割图像的中心线与所述第二分割图像的中心线平行,且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角;
[0012]
分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的标定参数;
[0013]
对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的视差图;
[0014]
根据所述视差图和所述标定参数,获取每一组所述分割图像对应的区域的深度信息。
[0015]
在一些实施例中,所述对所述第一目标图像进行图像分割和校正,以获取多个第一分割图像,包括:
[0016]
采用piecewise算法,对所述第一目标图像进行图像分割和校正,以获取所述多个第一分割图像。
[0017]
在一些实施例中,所述对所述第二目标图像进行图像分割和校正,以获取与所述多个第一分割图像分别对应的多个第二分割图像,包括:
[0018]
采用piecewise算法,对所述第二目标图像进行图像分割和校正,以获取所述多个第二分割图像。
[0019]
在一些实施例中,所述分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的标定参数,包括:
[0020]
利用张正友法或faugeras法分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的所述标定参数。
[0021]
在一些实施例中,所述对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的视差图,包括:
[0022]
利用BM算法或SGBM算法对每一组所述分割图像进行双目匹配, 以获取每一组所述分割图像对应的所述视差图。
[0023]
在一些实施例中,所述根据所述视差图和所述标定参数,获取每一组所述分割图像对应区域的深度信息,包括:
[0024]
利用以下公式,获取每一组所述分割图像对应的所述区域中每一点的三维坐标:
[0025]
[0026]
[0027]
[0028]
其中,x i、y i、z i表示每个点的三维坐标,baseline为基线长度,disparity为由所述视差图获取的视差数据,cx、cy、fx、fy为所述标定参数;
[0029]
根据所述区域中每一点的所述三维坐标,获取所述区域的深度信息。
[0030]
在一些实施例中,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。
[0031]
在一些实施例中,所述预设夹角为45°或135°。
[0032]
在一些实施例中,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向平行;
[0033]
所述对所述第一目标图像进行图像分割和校正,包括:
[0034]
在与水平方向呈预设夹角的方向上对所述第一目标图像进行图像分割和校正;
[0035]
所述对所述第二目标图像进行图像分割和校正,包括:
[0036]
在与水平方向呈预设夹角的方向上对所述第二目标图像进行图像分割和校正,所述预设夹角不为90°。
[0037]
在一些实施例中,所述预设夹角为45°或135°。
[0038]
在一些实施例中,所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。
[0039]
第二方面,本发明实施例提供了一种深度感知装置,所述装置用于双目系统感知目标区域的深度,所述双目系统包括第一摄像装置和第二 摄像装置,所述装置包括:
[0040]
获取模块,所述获取模块用于获取所述第一摄像装置获取的所述目标区域的第一目标图像和所述第二摄像装置获取的所述目标区域的第二目标图像;
[0041]
分割和校正模块,所述分割和校正模块用于:
[0042]
对所述第一目标图像进行图像分割和校正,以获取多个第一分割图像;以及
[0043]
对所述第二目标图像进行图像分割和校正,以获取与所述多个第一分割图像分别对应的多个第二分割图像,其中,每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像;每一组所述分割图像中,所述第一分割图像的中心线与所述第二分割图像的中心线平行,且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角;
[0044]
标定模块,所述标定模块用于分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的标定参数;
[0045]
双目匹配模块,所述双目匹配模块用于对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的视差图;以及
[0046]
深度信息获取模块,用于根据所述视差图和所述标定参数,获取每一组所述分割图像对应的区域的深度信息。
[0047]
在一些实施例中,所述分割和校正模块具体用于:
[0048]
采用piecewise算法,对所述第一目标图像进行图像分割和校正,以获取所述多个第一分割图像。
[0049]
在一些实施例中,所述分割和校正模块具体用于:
[0050]
采用piecewise算法,对所述第二目标图像进行图像分割和校正,以获取所述多个第二分割图像。
[0051]
在一些实施例中,所述标定模块具体用于:
[0052]
利用张正友法或faugeras法分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的所述标定参数。
[0053]
在一些实施例中,所述双目匹配模块具体用于:
[0054]
利用BM算法或SGBM算法对每一组所述分割图像进行双目匹配, 以获取每一组所述分割图像对应的所述视差图。
[0055]
在一些实施例中,所述深度信息获取模块具体用于:
[0056]
利用以下公式,获取每一组所述分割图像对应的所述区域中每一点的三维坐标:
[0057]
[0058]
[0059]
[0060]
其中,x i、y i、z i表示每个点的三维坐标,baseline为基线长度,disparity为由所述视差图获取的视差数据,cx、cy、fx、fy为所述标定参数;
[0061]
根据所述区域中每一点的所述三维坐标,获取所述区域的深度信息。
[0062]
在一些实施例中,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。
[0063]
在一些实施例中,所述预设夹角为45°或135°。
[0064]
在一些实施例中,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向平行;
[0065]
所述分割和校正模块具体用于:
[0066]
在与水平方向呈预设夹角的方向上对所述第一目标图像进行图像分割和校正;以及在与水平方向呈预设夹角的方向上对所述第二目标图像进行图像分割和校正,所述预设夹角不为90°。
[0067]
在一些实施例中,所述预设夹角为45°或135°。
[0068]
在一些实施例中,所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。
[0069]
第三方面,本发明实施例提供了一种深度感知设备,包括:
[0070]
主体;
[0071]
双目系统,设于所述主体,包括第一摄像装置和第二摄像装置;
[0072]
控制器,所述控制器设于所述主体;所述控制器包括:
[0073]
至少一个处理器,以及
[0074]
存储器,所述存储器与所述至少一个处理器通信连接,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的方法。
[0075]
在一些实施例中,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。
[0076]
在一些实施例中,所述预设夹角为45°或135°。
[0077]
在一些实施例中,所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。
[0078]
在一些实施例中,所述深度感知设备为无人机。
[0079]
本发明实施例的深度感知方法,装置和深度感知设备,将第一摄像装置拍摄的目标区域的第一目标图像进行图像分割和矫正,获得多个第一分割图像,将第二摄像装置拍摄的目标区域的第二目标图像进行图像分割和矫正,获得与所述多个第一分割图像分别对应的多个第二分割图像,每一个所述第一分割图像和与其对应的第二分割图像组成一组分割图像。将图像进行分割后再矫正可以获得画质损失相对小的矫正图像,从而提高了双目立体匹配的精度,也提高了边缘深度检测精度。而且,多组分割图像构成多组双目系统,可以感知多个方向的深度信息。

附图说明

[0080]
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
[0081]
图1是本发明实施例深度感知设备的一个实施例的结构示意图;
[0082]
图2是本发明实施例深度感知设备的应用场景示意图;
[0083]
图3a是本发明深度感知设备的一个实施例中摄像装置的位置示意图;
[0084]
图3b是本发明实施例中对目标图像进行图像分割的示意图;
[0085]
图3c是本发明实施例中对目标图像进行图像分割的示意图;
[0086]
图4是本发明实施例中对目标图像进行图像分割的示意图;
[0087]
图5是本发明深度感知方法的一个实施例的流程示意图;
[0088]
图6是本发明实施例中对目标图像进行图像分割的示意图;
[0089]
图7是本发明深度感知装置的一个实施例的结构示意图;
[0090]
图8是本发明深度感知设备的一个实施例中控制器的硬件结构示意图。

具体实施方式

[0091]
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0092]
本发明实施例提供的深度感知方法和装置可以应用于如图1所示的深度感知设备100。深度感知设备100包括主体(图中未示出)、用于感知目标区域图像的双目系统101和控制器10。双目系统101包括第一摄像装置20和第二摄像装置30,第一摄像装置20和第二摄像装置30均用于获取目标区域的目标图像。控制器10用于对第一摄像装置20和第二摄像装置30获取的目标图像进行处理,获取深度信息。具体的,控制器10对第一摄像装置20获取的第一目标图像和第二摄像装置30获取的第二目标图像进行图像分割和矫正,获得多个第一分割图像,以及与所述多个第一分割图像分别对应的多个第二分割图像,每一个所述第一分割图像和与其对应的第二分割图像组成一组分割图像。将目标图像分成多个小图像,分别对多个小图像进行矫正后可以获得画质损失相对小的矫正图像。利用画质损失小的图像进行立体匹配和深度计算,提高了双目立体匹配的精度,也提高了边缘深度检测精度。而且,多组分割图像构成多组双目系统,可以感知多个方向的深度信息。
[0093]
其中,该深度感知设备100可以用于三维重建、障碍物检测及路径规划等各种需要进行深度感知的场合,例如,深度感知设备100用于无人机、机器人等。图2示出了深度感知设备100作为无人机进行障碍物 检测和路径规划的应用场景。
[0094]
其中,第一摄像装置20和第二摄像装置30可以为任何合适的镜头。本发明实施例的深度感知方法和装置更适用于第一摄像装置20和第二摄像装置30为鱼眼镜头等广角镜头,或者折返、全向等全景镜头的场合。由于这些镜头拍摄的图像边缘变形较厉害,边缘深度检测精度更低,采用本发明实施例的深度感知方法和装置能获得画质损失相对小的边缘矫正图像,极大的提高边缘深度检测精度。
[0095]
其中,第一摄像装置20和第二摄像装置30可以以任何合适的方式排列,在其中一些实施例中,为了使多组分割图像构成的多组双目系统中不出现死区区域(即无法测量的区域),第一摄像装置20和第二摄像装置30可以错落设置。例如,如图3a所示,第一摄像装置20和第二摄像装置30对角排列,第一摄像装置20位于上侧的对角点,第二摄像装置30位于下侧的对角点,第一摄像装置20与第二摄像装置30之间的连线与水平方向呈预设夹角A,这样可以使第一摄像装置20和第二摄像装置30彼此不互相遮挡。第一摄像装置20和第二摄像装置30获得的第一目标图像和第二目标图像经分割校正后获得的图像如图3b所示(图中以将图像分割成五块图像为例说明)。此时是在正常方向上(即图3c中的a方向)对图像进行分割,由图3b和图3c可以看出,每组双目系统中的两个分割图像(例如1和6、2和7、3和8等)彼此互相错开,不会出现死区区域。
[0096]
在另一些实施例中,第一摄像装置20和第二摄像装置30也可以水平并行排列,第一摄像装置20和第二摄像装置30位于同一水平线上。为了使各组双目系统中不出现死区区域,请参照图4,对第一目标图像和第二目标图像进行图像分割时,可以在与水平方向呈预设夹角A的方向上(例如图4中的b方向)对所述第一目标图像和所述第二目标图像进行图像分割和校正。由图4可以看出,每组双目系统中的两个分割图像彼此互相错开,不会出现死区区域。
[0097]
由图3c和图4均可见,各组双目系统中,第一分割图像的中心线(例如a线或b线)与第二分割图像的中心线平行,为了使各组双目系统中不出现死区区域,第一分割图像和第二分割图像需彼此错开,即第 一分割图像和第二分割图像的连线与所述中心线呈预设夹角A。其中,所述预设夹角可以为任何不为90度的合适角度,例如45度或135度。
[0098]
图5为本发明实施例提供的一种深度感知方法的流程示意图,所述方法可以由图1中的深度感知设备100执行,如图5所示,所述方法包括:
[0099]
101:通过第一摄像装置20获得所述目标区域的第一目标图像,通过第二摄像装置30获得所述目标区域的第二目标图像。
[0100]
其中,第一摄像装置20和第二摄像装置30可以为任何合适的镜头,例如鱼眼镜头等广角镜头,或者折返、全向等全景镜头。
[0101]
102:对所述第一目标图像进行图像分割和校正,以获取多个第一分割图像。
[0102]
103:对所述第二目标图像进行图像分割和校正,以获取与所述多个第一分割图像分别对应的多个第二分割图像,其中,每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像;每一组所述分割图像中,所述第一分割图像的中心线与所述第二分割图像的中心线平行,且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角。
[0103]
其中,在一些实施例中,可以利用piecewise算法对第一目标图像和第二目标图像进行分割和矫正,以获取多个第一分割图像和多个第二分割图像。
[0104]
其中,第一分割图像和第二分割图像的个数可以为合适的任意个,例如2、3、4、5或更多个。由于目标图像的中间区域变形较小,周围区域变形较大,为进一步提高边缘深度检测精度,可以将中间区域作为一个单独的区域,中间区域周围的区域分成多个周边区域。其中,周边区域的个数可以为4个、6个、8个或者其他。
[0105]
图6示出了第一摄像装置20和第二摄像装置30为鱼眼镜头、周边区域为4个的情景,其中,左侧图像为矫正前的图像,右侧图像为矫正后的图像。在图3b、图3c和图4所示的实施例中,上述4个周边区域分别为上区域、下区域、左区域和右区域(分别对应图6中的数字1、5、 2、4代表的区域)。在图3b和图3c所示的实施例中,上区域、左区域、中间区域、右区域和下区域分别代表前、左、上、右、后方的图像,由此组成的双目系统可以获得前、左、上、右、后五个方向的深度信息。在图4所示的实施例中,上区域、左区域、中间区域、右区域和下区域分别代表左前、右前、上、左后、右后方向的图像,由此组成的双目系统可以获得左前、右前、上、左后、右后五个方向的深度信息。
[0106]
在图6所示的实施例中,可以实现前、左、上、右、后五个方向的深度感知,实现感知角度为180度。实际应用时,可以在无人机、机器人上装设两组或多组深度感知设备100,以实现360度的深度感知。相比于利用5组镜头的全向感知系统,本发明实施例使用镜头少、节省空间。且降低了由于连接组件形变带来的标定误差,减少了标定算法的复杂度以及标定时间,而且标定参数不易变化、具有零延迟优势。
[0107]
104:分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的标定参数。
[0108]
在其中一些实施例中,可以利用张正友法或faugeras法分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的所述标定参数(包括内参数和外参数)。
[0109]
105:对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的视差图。
[0110]
在其中一些实施例中,可以利用BM(Boyer-Moore)算法或SGBM(Semi Global Block Matching)算法对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的所述视差图。
[0111]
具体的,以第一目标图像和第二目标图像被分割为如图6所示的五个分割图像为例,则第一目标图像和第二目标图像被分割并矫正后的图像请参照图3b。在图3b所示的示例中,第一目标图像被分为1-5五个分割图像,第二目标图像被分成6-10五个分割图像。1与6构成前方双目系统、2与7构成左方双目系统、3与8构成上方双目系统、4与9构成右方双目系统、5与10构成后方双目系统。首先对1-10分割图像进行特征点提取,然后针对1与6、2与7、3与8、4与9、5与10分别进行特征点匹配,特征点匹配之后,可以利用匹配结果,采用现有的立 体匹配算法,获得各特征点在第一目标图像和第二目标图像上的视差,各特征点的视差组成每组分割图像对应的视差图。
[0112]
106:根据所述视差图和所述标定参数,获取每一组所述分割图像对应的区域的深度信息。
[0113]
其中,在一些实施例中,可以利用以下公式,获取每一组所述分割图像对应的所述区域中每一点的三维坐标:
[0114]
[0115]
[0116]
[0117]
其中,x i、y i、z i表示每个点的三维坐标,baseline为基线长度,disparity为由所述视差图获取的视差数据,cx、cy、fx、fy为所述标定参数。根据所述区域中每一点的所述三维坐标,可以获取所述区域的深度信息。
[0118]
在图3b所示的实施例中,区域1和区域6之间的基线距离、区域5和区域10之间的基线距离为D,区域2和区域7之间的基线距离、区域4和区域9之间的基线距离为W,区域3和区域8之间的基线距离为 (也可以为W或者D)。其中,W为第一摄像装置20和第二摄像装置30的横向距离,D为第一摄像装置20和第二摄像装置30的纵向距离。
[0119]
本发明实施例将第一摄像装置拍摄的目标区域的第一目标图像进行图像分割和矫正,获得多个第一分割图像,将第二摄像装置拍摄的目标区域的第二目标图像进行图像分割和矫正,获得与所述多个第一分割图像分别对应的多个第二分割图像,每一个所述第一分割图像和与其对应的第二分割图像组成一组分割图像。将图像进行分割后再矫正可以获得画质损失相对小的矫正图像,从而提高了双目立体匹配的精度,也提高了边缘深度检测精度。而且,多组分割图像构成多组双目系统,可以感知多个方向的深度信息。
[0120]
相应的,如图7所示,本发明实施例还提供了一种深度感知装置,所述装置用于图1中的深度感知设备100,深度感知装置700包括:
[0121]
获取模块701,所述获取模块用于获取所述第一摄像装置获取的所述目标区域的第一目标图像和所述第二摄像装置获取的所述目标区域的第二目标图像。
[0122]
分割和校正模块702,用于:
[0123]
对所述第一目标图像进行图像分割和校正,以获取多个第一分割图像;以及
[0124]
对所述第二目标图像进行图像分割和校正,以获取与所述多个第一分割图像分别对应的多个第二分割图像,其中,每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像;每一组所述分割图像中,所述第一分割图像的中心线与所述第二分割图像的中心线平行,且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角。
[0125]
标定模块703,用于分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的标定参数。
[0126]
双目匹配模块704,用于对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的视差图。
[0127]
深度信息获取模块705,用于根据所述视差图和所述标定参数,获取每一组所述分割图像对应的区域的深度信息。
[0128]
本发明实施例将第一摄像装置拍摄的目标区域的第一目标图像进行图像分割和矫正,获得多个第一分割图像,将第二摄像装置拍摄的目标区域的第二目标图像进行图像分割和矫正,获得与所述多个第一分割图像分别对应的多个第二分割图像,每一个所述第一分割图像和与其对应的第二分割图像组成一组分割图像。将图像进行分割后再矫正可以获得画质损失相对小的矫正图像,从而提高了双目立体匹配的精度,也提高了边缘深度检测精度。而且,多组分割图像构成多组双目系统,可以感知多个方向的深度信息。
[0129]
在深度感知装置700的一些实施例中,分割和校正模块702具体用 于:
[0130]
采用piecewise算法,对所述第一目标图像进行图像分割和校正,以获取所述多个第一分割图像。以及
[0131]
采用piecewise算法,对所述第二目标图像进行图像分割和校正,以获取所述多个第二分割图像。
[0132]
在深度感知装置的一些实施例中,标定模块703具体用于:
[0133]
利用张正友法或faugeras法分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的所述标定参数。
[0134]
在深度感知装置的一些实施例中,双目匹配模块704具体用于:
[0135]
利用BM算法或SGBM算法对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的所述视差图。
[0136]
在深度感知装置的一些实施例中,深度信息获取模块705具体用于:
[0137]
利用以下公式,获取每一组所述分割图像对应的所述区域中每一点的三维坐标:
[0138]
[0139]
[0140]
[0141]
其中,x i、y i、z i表示每个点的三维坐标,baseline为基线长度,disparity为由所述视差图获取的视差数据,cx、cy、fx、fy为所述标定参数;
[0142]
根据所述区域中每一点的所述三维坐标,获取所述区域的深度信息。
[0143]
在深度感知装置700的一些实施例中,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。
[0144]
在深度感知装置700的一些实施例中,所述预设夹角为45°或135°。
[0145]
在深度感知装置700的一些实施例中,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向平行;
[0146]
分割和校正模块702具体用于:
[0147]
在与水平方向呈预设夹角的方向上对所述第一目标图像进行图像分割和校正;以及在与水平方向呈预设夹角的方向上对所述第二目标图像进行图像分割和校正,所述预设夹角不为90°。
[0148]
在深度感知装置700的一些实施例中,所述预设夹角为45°或135°。
[0149]
在深度感知装置700的一些实施例中,所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。
[0150]
需要说明的是,上述装置可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
[0151]
图8是本发明实施例的深度感知设备100中控制器10的硬件结构示意图,如图8所示,控制器10包括:
[0152]
一个或多个处理器11以及存储器12,图8中以一个处理器11为例。
[0153]
处理器11和存储器12可以通过总线或者其他方式连接,图8中以通过总线连接为例。
[0154]
存储器12作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的深度感知方法对应的程序指令/模块(例如,附图7所示的获取模块701、分割和校正模块702、标定模块703、双目匹配模块704和深度信息获取模块705)。处理器11通过运行存储在存储器12中的非易失性软件程序、指令以及模块,从而执行深度感知设备100的各种功能应用以及数据处理,即实现上述方法实施例的深度感知方法。
[0155]
存储器12可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据深度感知设备的使用所创建的数据等。此外,存储器12可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器12可选包括相对于处理器11远程设置的存储器,这些远程存储器可以通过网络连接至深度感知设备。上述网络的实例包括但不限于互联网、 企业内部网、局域网、移动通信网及其组合。
[0156]
所述一个或者多个模块存储在所述存储器12中,当被所述一个或者多个处理器11执行时,执行上述任意方法实施例中的深度感知方法,例如,执行以上描述的图5中的方法步骤101至步骤106;实现图7中的模块701-705的功能。
[0157]
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
[0158]
本申请实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图8中的一个处理器11,可使得上述一个或多个处理器可执行上述任意方法实施例中的深度感知方法,例如,执行以上描述的图5中的方法步骤101至步骤106;实现图7中的模块701-705的功能。
[0159]
在本发明实施例的深度感知设备100用于无人机时,主体即无人机的机身,其中,深度感知设备100的第一摄像装置20和第二摄像装置30可以设置在无人机的机身上、控制器10可以采用单独的控制器,也可以利用无人机的飞控芯片来进行控制。
[0160]
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0161]
通过以上的实施例的描述,本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存 储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
[0162]
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

权利要求书

[权利要求 1]
一种深度感知方法,所述方法用于双目系统感知目标区域的深度,所述双目系统包括第一摄像装置和第二摄像装置,其特征在于,所述方法包括: 通过所述第一摄像装置获得所述目标区域的第一目标图像,通过所述第二摄像装置获得所述目标区域的第二目标图像; 对所述第一目标图像进行图像分割和校正,以获取多个第一分割图像; 对所述第二目标图像进行图像分割和校正,以获取与所述多个第一分割图像分别对应的多个第二分割图像,其中,每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像; 每一组所述分割图像中,所述第一分割图像的中心线与所述第二分割图像的中心线平行,且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角; 分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的标定参数; 对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的视差图; 根据所述视差图和所述标定参数,获取每一组所述分割图像对应的区域的深度信息。
[权利要求 2]
根据权利要求1所述的方法,其特征在于,所述对所述第一目标图像进行图像分割和校正,以获取多个第一分割图像,包括: 采用piecewise算法,对所述第一目标图像进行图像分割和校正,以获取所述多个第一分割图像。
[权利要求 3]
根据权利要求1或2所述的方法,其特征在于,所述对所述第二目标图像进行图像分割和校正,以获取与所述多个第一分割图像分别对应的多个第二分割图像,包括: 采用piecewise算法,对所述第二目标图像进行图像分割和校正,以 获取所述多个第二分割图像。
[权利要求 4]
根据权利要求1-3中任一项所述的方法,其特征在于,所述分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的标定参数,包括: 利用张正友法或faugeras法分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的所述标定参数。
[权利要求 5]
根据权利要求1-4中任一项所述的方法,其特征在于,所述对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的视差图,包括: 利用BM算法或SGBM算法对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的所述视差图。
[权利要求 6]
根据权利要求1-5中任一项所述的方法,其特征在于,所述根据所述视差图和所述标定参数,获取每一组所述分割图像对应区域的深度信息,包括: 利用以下公式,获取每一组所述分割图像对应的所述区域中每一点的三维坐标: 其中,x i、y i、z i表示每个点的三维坐标,baseline为基线长度,disparity为由所述视差图获取的视差数据,cx、cy、fx、fy为所述标定参数; 根据所述区域中每一点的所述三维坐标,获取所述区域的深度信息。
[权利要求 7]
根据权利要求1-6中任一项所述的方法,其特征在于,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。
[权利要求 8]
根据权利要求7所述的方法,其特征在于,所述预设夹角为45° 或135°。
[权利要求 9]
根据权利要求1-6中任一项所述的方法,其特征在于,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向平行; 所述对所述第一目标图像进行图像分割和校正,包括: 在与水平方向呈预设夹角的方向上对所述第一目标图像进行图像分割和校正; 所述对所述第二目标图像进行图像分割和校正,包括: 在与水平方向呈预设夹角的方向上对所述第二目标图像进行图像分割和校正,所述预设夹角不为90°。
[权利要求 10]
根据权利要求9所述的方法,其特征在于,所述预设夹角为45°或135°。
[权利要求 11]
根据权利要求1-10中任一项所述的方法,其特征在于,所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。
[权利要求 12]
一种深度感知装置,所述装置用于双目系统感知目标区域的深度,所述双目系统包括第一摄像装置和第二摄像装置,其特征在于,所述装置包括: 获取模块,所述获取模块用于获取所述第一摄像装置获取的所述目标区域的第一目标图像和所述第二摄像装置获取的所述目标区域的第二目标图像; 分割和校正模块,所述分割和校正模块用于: 对所述第一目标图像进行图像分割和校正,以获取多个第一分割图像;以及 对所述第二目标图像进行图像分割和校正,以获取与所述多个第一分割图像分别对应的多个第二分割图像,其中,每一个所述第一分割图像和与所述第一分割图像对应的第二分割图像为一组分割图像;每一组所述分割图像中,所述第一分割图像的中心线与所述第二分割图像的中心线平行,且所述第一分割图像和所述第二分割图像的连线与所述中心线呈预设夹角; 标定模块,所述标定模块用于分别对每一组分割图像进行标定,以 获取每一组所述分割图像对应的标定参数; 双目匹配模块,所述双目匹配模块用于对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的视差图;以及 深度信息获取模块,用于根据所述视差图和所述标定参数,获取每一组所述分割图像对应的区域的深度信息。
[权利要求 13]
根据权利要求12所述的装置,其特征在于,所述分割和校正模块具体用于: 采用piecewise算法,对所述第一目标图像进行图像分割和校正,以获取所述多个第一分割图像。
[权利要求 14]
根据权利要求12或13所述的装置,其特征在于,所述分割和校正模块具体用于: 采用piecewise算法,对所述第二目标图像进行图像分割和校正,以获取所述多个第二分割图像。
[权利要求 15]
根据权利要求12-14中任一项所述的装置,其特征在于,所述标定模块具体用于: 利用张正友法或faugeras法分别对每一组分割图像进行标定,以获取每一组所述分割图像对应的所述标定参数。
[权利要求 16]
根据权利要求12-15中任一项所述的装置,其特征在于,所述双目匹配模块具体用于: 利用BM算法或SGBM算法对每一组所述分割图像进行双目匹配,以获取每一组所述分割图像对应的所述视差图。
[权利要求 17]
根据权利要求12-16中任一项所述的装置,其特征在于,所述深度信息获取模块具体用于: 利用以下公式,获取每一组所述分割图像对应的所述区域中每一点的三维坐标: 其中,x i、y i、z i表示每个点的三维坐标,baseline为基线长度,disparity为由所述视差图获取的视差数据,cx、cy、fx、fy为所述标定参数; 根据所述区域中每一点的所述三维坐标,获取所述区域的深度信息。
[权利要求 18]
根据权利要求12-17中任一项所述的装置,其特征在于,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。
[权利要求 19]
根据权利要求18所述的装置,其特征在于,所述预设夹角为45°或135°。
[权利要求 20]
根据权利要求12-17中任一项所述的装置,其特征在于,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向平行; 所述分割和校正模块具体用于: 在与水平方向呈预设夹角的方向上对所述第一目标图像进行图像分割和校正;以及在与水平方向呈预设夹角的方向上对所述第二目标图像进行图像分割和校正,所述预设夹角不为90°。
[权利要求 21]
根据权利要求20所述的装置,其特征在于,所述预设夹角为45°或135°。
[权利要求 22]
根据权利要求12-21中任一项所述的装置,其特征在于,所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。
[权利要求 23]
一种深度感知设备,其特征在于,包括: 主体; 双目系统,设于所述主体,包括第一摄像装置和第二摄像装置; 控制器,所述控制器设于所述主体;所述控制器包括: 至少一个处理器,以及 存储器,所述存储器与所述至少一个处理器通信连接,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11任一项所述的方法。
[权利要求 24]
根据权利要求23所述的设备,其特征在于,所述第一摄像装置与所述第二摄像装置之间的连线与水平方向呈预设夹角。
[权利要求 25]
根据权利要求24所述的设备,其特征在于,所述预设夹角为45°或135°。
[权利要求 26]
根据权利要求23-25中任一项所述的设备,其特征在于,所述第一摄像装置与所述第二摄像装置均为鱼眼镜头。
[权利要求 27]
根据权利要求23-26中任一项所述的设备,其特征在于,所述深度感知设备为无人机。

附图

[ 图 1]  
[ 图 2]  
[ 图 3A]  
[ 图 3B]  
[ 图 3C]  
[ 图 4]  
[ 图 5]  
[ 图 6]  
[ 图 7]  
[ 图 8]