Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018099259) METHOD AND DEVICE FOR OBSTACLE DETECTION FOR UNMANNED AERIAL VEHICLE
Note: Text based on automatic Optical Character Recognition processes. Please use the PDF version for legal matters
无人机障碍物检测方法及装置

技术领域

[0001] 本发明涉及无人机技术领域,尤其涉及一种无人机障碍物检测方法及装置。

背景技术

[0002] 基于立体视觉的障碍物检测技术需要通过块匹配方法计算图像中目标深度。具 体检测方法是,给出左图像中的像素块,在右图像中沿极线方向搜索匹配像素 块。右图中匹配的像素块与左图中对应像素块的相对位置,即视差,用于计算 像素块中目标的三维坐标。现有的算法在右图像中搜索目标像素块吋,通常搜 索较大甚至全极限长的视差范围。视差的大小,对应于障碍物与相机距离的远 近。但是,当视差为零吋,立体相机的分辨率不足以计算目标深度。

[0003] 一般来说,这些匹配技术不仅计算量大,并且要求长基线以提供足够的深度分 辨率。因此,这类常规的障碍物检测方法很难直接应用于小型无人机或无人车 上。

[0004] 为了实现小型机器人的避障功能,有必要提出一种无人机障碍物检测方法及装 置,可以在有限的计算能力下有效地检测障碍物。

技术问题

[0005] 本发明的主要目的在于提出一种无人机障碍物检测方法及装置,能够在有限的 计算能力下有效地检测障碍物。

问题的解决方案

技术解决方案

[0006] 为实现上述目的,本发明提供的一种无人机障碍物检测方法,应用于短基线立 体相机,所述立体相机包括左目相机,通过所述左目相机获取特定位置的左目 图像,所述方法包括:对左目图像进行纹理检测;根据所述纹理检测的结果, 标记所述左目图像中的纹理区域;判断所述纹理区域中是否存在障碍物像素; 若是,则在所述左目相机的所述特定位置处为障碍物区域。

[0007] 可选地,所述立体相机还包括与所述左目相机相对应的右目相机,在所述根据 所述纹理检测的结果,标记所述左目图像中的纹理区域之后,所述方法还包括 :获取所述纹理区域在所述左目图像的第一位置;在所述右目相机获取的右目 图像中査找与所述第一位置对应的第二位置;匹配所述第二位置的像素。

[0008] 可选地,所述方法还包括:根据所述立体相机的基线长度、焦距、分辨率,设 置距离阈值。

[0009] 可选地,所述判断所述纹理区域中是否存在障碍物像素,包括:判断所述障碍 物像素是否在预设的所述距离阈值之内;若是,则控制无人机更改航线,使得 无人机进行避障;若否,则无人机不需要更改航线。

[0010] 可选地,在所述标记所述左目图像中的纹理区域之后,所述方法还包括:标记 所述左目图像中的均匀区域,所述均匀区域中的像素为存疑像素。

[0011] 可选地,所述标记所述左目图像中的纹理区域和所述均匀区域,包括:将所述 左目图像灰度均匀的区域标记为所述均匀区域,将所述图像灰度有梯度的区域 标记为所述纹理区域。

[0012] 可选地,所述判断所述纹理区域中是否存在障碍物像素,包括:判断所述纹理 区域中的像素与所述右目图像中相对应的像素的视差是否为零;若是,则所述 纹理区域中的像素为零视差的像素,多个所述零视差的像素组成自由像素;若 否,则所述纹理区域中的像素为正视差的像素,多个所述正视差的像素组成所 述障碍物像素。

[0013] 可选地,所述方法还包括:根据所述自由像素对应的空旷区域,生成躲避所述 障碍物区域的路径。

[0014] 此外,为实现上述目的,本发明还提供一种无人机障碍物检测装置,应用于短 基线立体相机,立体相机包括左目相机,通过所述左目相机获取特定位置的左 目图像,所述装置包括:纹理检测模块,用于对左目图像进行纹理检测;标记 模块,用于根据所述纹理检测的结果,标记所述左目图像中的纹理区域;判断 模块,用于判断所述纹理区域中是否存在障碍物像素;若是,则所述判断模块 判定在所述左目相机的所述特定位置处为障碍物区域。

[0015] 可选地,所述装置还包括:获取模块,用于获取所述纹理区域在所述左目图像 的第一位置;査找模块,用于在所述右目相机获取的右目图像中査找与所述第 一位置对应的第二位置;匹配模块,用于匹配所述第二位置的像素。

[0016] 可选地,所述装置还包括:设置模块,用于根据所述立体相机的基线长度、焦 距、分辨率,设置距离阈值。

[0017] 可选地,所述判断模块,具体用于:判断所述障碍物像素是否在预设的所述距 离阈值之内;若是,则控制无人机更改航线,使得无人机进行避障;若否,则 无人机不需要更改航线。

[0018] 可选地,所述标记模块,还用于:标记所述左目图像中的均匀区域,所述均匀 区域中的像素为存疑像素。

[0019] 可选地,所述标记模块,具体用于:将所述左目图像灰度均匀的区域标记为所 述均匀区域,将所述图像灰度有梯度的区域标记为所述纹理区域。

[0020] 可选地,所述判断模块,还用于:判断所述纹理区域中的像素与所述右目图像 中相对应的像素的视差是否为零;若是,则所述纹理区域中的像素为零视差的 像素,多个所述零视差的像素组成自由像素;若否,则所述纹理区域中的像素 为正视差的像素,多个所述正视差的像素组成所述障碍物像素。

[0021] 可选地,所述装置还包括:躲避路径生成模块,用于根据所述自由像素对应的 空旷区域,生成躲避所述障碍物区域的路径。

发明的有益效果

有益效果

[0022] 本发明提供的无人机障碍物检测方法及装置,通过对左目图像进行纹理检测, 根据纹理检测的结果,标记所述左目图像中的纹理区域,当判断纹理区域中存 在障碍物像素吋,则判定在左目相机的特定位置处为障碍物区域,能够在不影 响系统有效性的同吋,提高了精确性以及系统效率。

对附图的简要说明

附图说明

[0023] 图 1为短基线立体相机的结构示意图;

[0024] 图 2为本发明第一实施例提供的无人机障碍物检测方法的流程示意图;

[0025] 图 3为本发明第一实施例提供的无人机障碍物检测方法的子流程示意图;

[0026] 图 4为本发明第二实施例提供的无人机障碍物检测方法的流程示意图;

[0027] 图 5为本发明第三实施例提供的无人机障碍物检测装置的模块示意图;

[0028] 图 6为本发明第四实施例提供的无人机障碍物检测装置的模块示意图。

[0029] 本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

本发明的实施方式

[0030] 下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至 终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下 面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解 为对本发明的限制。

[0031] 本发明的无人机障碍物检测方法及装置应用于短基线立体相机。无人机上挂载 两个短基线立体相机。请参照图 1,短基线立体相机包括左目相机 10、右目相机 20、以及位于左目相机 10和右目相机 20之间的纹理光发射器 30。其中,纹理光 发射器 30用于在缺失纹理的环境中使用。

[0032] 实施例一

[0033] 请参照图 2,为本发明较佳实施例提供的无人机障碍物检测方法的流程示意图

。本实施例的无人机障碍物检测方法包括如下步骤:

[0034] 步骤 210,对左目图像进行纹理检测。

[0035] 具体地,通过左目相机获取特定位置的左目图像,该特定位置与立体相机之间 具有特定距离。

[0036] 在本实施例中,可以采用拉普拉斯(Laplacian) 算子、索贝尔(Sobel) 算子、 多级边缘检测算子(例如: Canny算子)中的之一对左目图像进行纹理检测。

[0037] 当纹理检测结果中不存在纹理吋,则通过纹理光发射器 30发出光斑,以在均匀 区域加上纹理,再进行纹理检测。例如,天空、墙等颜色均匀无纹理的区域, 在进行检测纹理吋,纹理光发射器 30发出光斑,即在颜色均匀区域加上纹理, 进而进行纹理检测。

[0038] 步骤 220,根据纹理检测的结果,标记所述左目图像中的纹理区域。

[0039] 具体地,基于纹理检测的结果,标记左目图像中的纹理区域和均匀区域。

[0040] 在本实施例中,可以通过计算左目图像灰度的梯度来检测是否存在纹理区域。

更具体地,将图像灰度均匀的区域即标记为均匀区域,图像灰度有梯度的区域 即标记为纹理区域。

[0041] 进一步地,由于均匀区域无法计算视差,从而均匀区域中的像素为存疑像素, 多个存疑像素组成存疑区域。

[0042] 步骤 230,判断纹理区域中是否存在障碍物像素。若是,则进入步骤 240,若否

,则进入步骤 250。

[0043] 具体地,对纹理区域中的每个像素进行零视差算法,以判断左目图像的纹理区 域中是否存在障碍物像素。具体步骤是:将上述纹理区域中的每个像素(Χ',Υ' ) 与右目相机拍摄的右目图像中相对应的像素 (Χ,Υ)—一比较,如果纹理区域中 的像素(Χ',Υ') 与所述右目图像中相对应的像素 (Χ,Υ)存在一视差,视差不等于 零则判断纹理区域中的像素(Χ',Υ') 为障碍物像素;否则判断纹理区域中的像 素 (Χ',Υ') 为自由像素。

[0044] 步骤 240,在左目相机的特定位置处为障碍物区域。

[0045] 具体地,当判定纹理区域存在障碍物区域,则说明距离立体相机的特定距离的 特定位置处存在障碍物,也就是说,沿着无人机飞行路径,距离无人机的特定 距离处具有障碍物。

[0046] 步骤 250,在左目相机的特定位置处为空旷区域。

[0047] 具体地,当判定纹理区域不存在障碍物区域,即为空旷区域,则说明距离立体 相机的特定距离的特定位置处不存在障碍物,也就是说,沿着无人机飞行路径 ,距离无人机的特定距离处不具有障碍物,无人机可以继续沿着当前的飞行路 径飞行。

[0048] 请参照图 3,在步骤 240之后,还可以包括步骤:

[0049] 步骤 310,判断所述障碍物像素是否在预设的距离阈值之内;若是,则进入步 骤 320,若否,则进入步骤 330。

[0050] 步骤 320,控制无人机更改航线,使得无人机进行避障。

[0051] 步骤 330,无人机不需要更改航线。

[0052] 具体地,在上述步骤 310-330中,根据零视差算法的结果,将其分为:零视差 的像素和正视差的像素,并结合零视差算法的结果来判断是否要控制所述无人

机进行避障。其中,多个所述正视差的像素组成所述障碍物像素,多个所述零 视差的像素组成自由像素。

[0053] 更具体地,双目相机的基线长度、焦距以及所述视差决定了一个阈值,即阈值 = (焦距 *基线长度) /视差),所述阈值即检测距离的上限。零视差的像素代表 该点到相机的距离大于该阈值,即该点到相机的之间被认为空旷区域,此吋不 用控制无人机更改航线。正视差的像素代表该点到相机的距离小于该阈值,即 该点到相机之间的距离被认为存在障碍物,此吋要控制无人机更改航线以使得 无人机进行避障。

[0054] 在本发明的一个可选的实施例中,在步骤 240之后,无人机障碍物检测方法还 可以包括步骤:

[0055] 根据自由像素对应的空旷区域,生成躲避障碍物区域的路径。

[0056] 具体地,当检测存在障碍物吋,重新设置躲避障碍物区域的路径。在自由像素 对应的空旷区域中,生成适合的区域作为无人机飞行的路径。

[0057] 进一步地,重新生成路径吋,需要综合考虑空旷区域的偏差、无人机的姿态等 f π息。

[0058] 本实施例提供的无人机障碍物检测方法,通过对左目图像进行纹理检测,根据 纹理检测的结果,标记左目图像中的纹理区域,当判断纹理区域中存在障碍物 像素吋,则判定在左目相机的特定位置处为障碍物区域,能够在不影响系统有 效性的同吋,提高了精确性以及系统效率。

[0059] 实施例二

[0060] 请参照图 4,为本发明另一较佳实施例提供的无人机障碍物检测方法,所述方 法包括:

[0061] 步骤 410,对左目图像进行纹理检测。

[0062] 步骤 420,根据所述纹理检测的结果,标记左目图像中的纹理区域。

[0063] 上述步骤 410-420的内容与第一实施例中的步骤 210-220的内容相同,对于相同 的内容,本实施例在此不再赘述。

[0064] 步骤 430,获取纹理区域在左目图像中的第一位置。

[0065] 步骤 440,在右目相机获取的右目图像中査找与第一位置对应的第二位置。

[0066] 步骤 450,匹配第二位置的像素。

[0067] 在上述步骤 430-450中,获取存在纹理区域的像素在左目图像对应的第一位置 。在与右目相机获取的右目图像进行匹配吋,只需要査找第一位置在对应右目 图像上的第二位置,并匹配第二位置处的像素。

[0068] 步骤 460,判断纹理区域中是否存在障碍物像素。若是,则进入步骤 470,若否 ,则进入步骤 480。

[0069] 具体地,判断左目图像和右目图像中的纹理区域是否存在障碍物像素。

[0070] 步骤 470,在所述左目相机的所述特定位置处为障碍物区域。

[0071] 步骤 480,在所述左目相机的所述特定位置处为空旷区域。

[0072] 上述步骤 460-480的内容与第一实施例中的步骤 230-250的内容相同,对于相同 的内容,本实施例在此不再赘述。

[0073] 本实施例的无人机障碍物检测方法,通过将左目图像中的纹理区域匹配至右目 图像中的对应位置,进一步提高了检测障碍物的精确性和系统效率。

[0074] 实施例三

[0075] 请参照图 5,本发明另一较佳实施例提供一种无人机障碍物检测装置的模块示 意图。所述无人机障碍物检测装置可执行本发明任意实施例所提供的方法,具 备执行方法相应的功能模块和有益效果。

[0076] 本实施例提供的无人机障碍物检测装置包括:

[0077] 纹理检测模块 510,用于对左目图像进行纹理检测。

[0078] 具体地,通过左目相机获取特定位置的左目图像,该特定位置与立体相机之间 具有特定距离。

[0079] 在本实施例中,纹理检测模块 510可以采用Laplacian算子、 Sobel算子、 Canny 边缘检测算子中的之一对左目图像进行纹理检测。

[0080] 当纹理检测结果中不存在纹理吋,则通过纹理光发射器 30发出光斑,以在均匀 区域加上纹理,纹理检测模块 510再进行纹理检测。例如,天空、墙等颜色均匀 无纹理的区域,在进行检测纹理吋,纹理光发射器 30发出光斑,即在颜色均匀 区域加上纹理,进而进行纹理检测。

[0081] 标记模块 520,用于根据纹理检测的结果,标记左目图像中的纹理区域。

[0082] 具体地,标记模块 520基于纹理检测的结果,标记左目图像中的纹理区域和均 匀区域。更具体地,将图像灰度均匀的区域即标记为均匀区域,图像灰度有梯 度的区域即标记为纹理区域。

[0083] 进一步地,由于均匀区域无法计算视差,从而均匀区域中的像素为存疑像素, 多个存疑像素组成存疑区域。

[0084] 判断模块 530,用于判断纹理区域中是否存在障碍物像素。具体地,对纹理区 域中的每个像素进行零视差算法,以判断左目图像的纹理区域中是否存在障碍 物像素。判断模块 530具体用于将上述纹理区域中的每个像素(Χ',Υ') 与右目相 机拍摄的右目图像中相对应的像素 (Χ,Υ)—一比较,如果纹理区域中的像素(Χ', Υ' ) 与所述右目图像中相对应的像素 (Χ,Υ)存在一视差,视差不等于零则判断纹 理区域中的像素(Χ',Υ') 为障碍物像素;否则判断纹理区域中的像素(Χ',Υ' ) 为自由像素。

[0085] 当判断模块 530判定纹理区域中存在障碍物像素吋,则在左目相机的特定位置 处为障碍物区域。

[0086] 具体地,当判断模块 530判定纹理区域存在障碍物区域,则说明距离立体相机 的特定距离的特定位置处存在障碍物,也就是说,沿着无人机飞行路径,距离 无人机的特定距离处具有障碍物。

[0087] 当判断模块 530判定纹理区域中不存在障碍物像素吋,则在左目相机的特定位 置处为空旷区域。

[0088] 具体地,当判断模块 530判定纹理区域不存在障碍物区域,即为空旷区域,则 说明距离立体相机的特定距离的特定位置处不存在障碍物,也就是说,沿着无 人机飞行路径,距离无人机的特定距离处不具有障碍物,无人机可以继续沿着 当前的飞行路径飞行。

[0089] 进一步地,判断模块 530,还用于:判断所述障碍物像素是否在预设的距离阈 值之内;若是,则控制无人机更改航线,使得无人机进行避障;若否,则无人 机不需要更改航线。

[0090] 具体地,判断模块 530根据零视差算法的结果,将其分为:零视差的像素和正 视差的像素,并结合零视差算法的结果来判断是否要控制所述无人机进行避障

。其中,多个所述正视差的像素组成所述障碍物像素,多个所述零视差的像素 组成自由像素。

[0091] 对于对本实施例的进一步改进,无人机障碍物检测装置还可以包括:

[0092] 设置模块 540,用于根据立体相机的基线长度、焦距、分辨率,设置距离阈值

[0093] 具体地,双目相机的基线长度、焦距以及所述视差决定了一个阈值,即阈值 =

(焦距 *基线长度) /视差),所述阈值即检测距离的上限。

[0094] 零视差的像素代表该点到相机的距离大于该阈值,即该点到相机的之间被认为 空旷区域,此吋不用控制无人机更改航线。正视差的像素代表该点到相机的距 离小于该阈值,即该点到相机之间的距离被认为存在障碍物,此吋要控制无人 机更改航线以使得无人机进行避障。

[0095] 对于对本实施例的进一步改进,无人机障碍物检测装置还可以包括:

[0096] 躲避路径生成模块 550,用于根据自由像素对应的空旷区域,生成躲避障碍物 区域的路径。

[0097] 具体地,当检测存在障碍物吋,躲避路径生成模块 550重新设置躲避障碍物区 域的路径。在自由像素对应的空旷区域中,生成适合的区域作为无人机飞行的 路径。

[0098] 进一步地,躲避路径生成模块 550重新生成路径吋,需要综合考虑空旷区域的 偏差、无人机的姿态等信息。

[0099] 本实施例提供的无人机障碍物检测装置,通过纹理检测模块 510对左目图像进 行纹理检测,标记模块 520根据纹理检测的结果,标记左目图像中的纹理区域, 当判断模块 530判定纹理区域中存在障碍物像素吋,则在左目相机的特定位置处 为障碍物区域,能够在不影响系统有效性的同吋,提高了精确性以及系统效率

[0100] 实施例四

[0101] 请参照图 6,为本发明另一较佳实施例提供的无人机障碍物检测装置的模块示 意图。在第四实施例中,所述的无人机障碍物检测装置是在第三实施例的基础 上所作出的进一步改进,区别仅在于,所述装置还包括:

[0102] 获取模块 610,用于获取纹理区域在左目图像中的第一位置。

[0103] 査找模块 620,用于在右目相机获取的右目图像中査找与第一位置对应的第二 位置。

[0104] 匹配模块 630,用于匹配第二位置的像素。

[0105] 具体地,通过获取模块 610获取存在纹理区域的像素在左目图像对应的第一位 置。在与右目相机获取的右目图像进行匹配吋,只需要査找模块 620査找第一位 置在对应右目图像上的第二位置,并通过匹配模块 630匹配第二位置处的像素。

[0106] 本实施例的无人机障碍物检测装置,通过将左目图像中的纹理区域匹配至右目 图像中的对应位置,进一步提高了检测障碍物的精确性和系统效率。

[0107] 以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本 发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在 其他相关的技术领域,均同理包括在本发明的专利保护范围内。

工业实用性

[0108] 本发明提供的无人机障碍物检测方法及装置,通过对左目图像进行纹理检测, 根据纹理检测的结果,标记所述左目图像中的纹理区域,当判断纹理区域中存 在障碍物像素吋,则判定在左目相机的特定位置处为障碍物区域,能够在不影 响系统有效性的同吋,提高了精确性以及系统效率。