Certains contenus de cette application ne sont pas disponibles pour le moment.
Si cette situation persiste, veuillez nous contacter àObservations et contact
1. (WO2018120038) PROCÉDÉ ET DISPOSITIF DE DÉTECTION DE CIBLE
Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

附图

0001   0002   0003   0004   0005   0006   0007   0008   0009  

说明书

发明名称 : 一种目标检测的方法及装置

技术领域

[0001]
本申请涉及人工智能技术领域,尤其涉及一种目标检测的方法及装置。

背景技术

[0002]
现有目标检测的方法一般分为三个阶段:首先在给定的图像中选择候选区域;然后对这些候选区域进行特征提取,最后使用训练的分类器对候选区域进行分类,进而检测得到所有的可能目标物体。其中,在第一阶段选择候选区域(region proposal)时,目前主流的目标检测方法一般是利用图像中的纹理、边缘、颜色等信息,预先找出图像中目标可能出现的位置,提取几百至几千个候选区域。上述基于候选区域的目标检测方法存在以下不足:
[0003]
1、要对几百至几千个候选区域进行后续的特征提取,不仅计算量较大,而且候选区域的数量一般情况下远远超过图像所包含物体的数量,使得很多计算也是多余的。
[0004]
2、图像中有些物体的二维空间位置相邻,但其深度值不同,由于颜色、纹理相似,很可能被当做整体提取到同一个候选区域中,进而影响目标检测的精度。
[0005]
发明内容
[0006]
本申请的实施例提供一种目标检测方法及装置,主要解决现有技术中的目标检测方法存在的目标检测精度有限以及计算量大的问题。
[0007]
为达到上述目的,本申请的实施例采用如下技术方案:
[0008]
第一方面,本申请提供一种目标检测方法,包括:获取待检测图像以及待检测图像中多个像素点的深度值;结合各个像素点的深度值对待检测图像进行目标检测。
[0009]
第二方面,本申请提供一种目标检测装置,包括:获取单元, 用于获取待检测图像以及待检测图像中多个像素点的深度值;目标检测单元,用于结合所述获取单元获取的各个像素点的深度值对待检测图像进行目标检测。
[0010]
第三方面,本申请提供一种计算机存储介质,用于储存计算机软件指令,其包含执行第一方面所述的目标检测方法所设计的程序代码。
[0011]
第四方面,本申请提供一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,所述计算机程序经由计算机载入并执行后能够实现第一方面所述的目标检测方法。
[0012]
第五方面,本申请提供一种电子设备,包括:存储器、通信接口和处理器,所述存储器用于存储计算机可执行代码,所述处理器用于执行所述计算机可执行代码控制执行第一方面所述目标检测方法,所述通信接口用于所述电子设备与外部设备的数据传输。
[0013]
第六方面,本申请提供一种机器人,包括第五方面所述的电子设备。
[0014]
本申请提供的方案,在进行目标检测时,首先获取待检测图像以及待检测图像中多个像素点的深度值;并结合各个像素点的深度值对待检测图像进行目标检测。与现有技术中的基于图像的纹理、边缘、颜色等信息进行目标检测相比,本申请在进行目标检测时,考虑了深度值,因此在目标检测时,能够将颜色、纹理相似但深度不同的目标物体进行区分,进而能够提高目标检测的精度。

附图说明

[0015]
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0016]
图1为本申请实施例提供的目标检测系统的架构示意图;
[0017]
图2为本申请实施例提供的目标检测方法的流程示意图;
[0018]
图3为本申请实施例提供的待检测图像、深度图像以及采用图2所示方法划分得到的初始候选区域的示意图;
[0019]
图4为本申请实施例提供的另一种目标检测方法的流程示意图;
[0020]
图5为本申请实施例的采用图4所示的方法对图3所示的初始候选区域拆分得到目标候选区域的示意图;
[0021]
图6为本申请实施例提供的又一种目标检测方法的流程示意图;
[0022]
图7为本申请实施例提供的一种目标检测设备的结构示意图;
[0023]
图8为本申请实施例提供的另一种目标检测设备的结构示意图;
[0024]
图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

[0025]
本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
[0026]
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0027]
需要说明的是,本申请实施例中,“的(英文:of)”,“相应的(英文:corresponding,relevant)”和“对应的(英文:corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。
[0028]
本申请实施例提供一种目标检测系统,如图1所示,该系统包括:图像采集设备11和目标检测设备12。其中,图像采集设备11用于对待检测区域进行图像采集并将采集到的图像发送给目标检测 设备12,示例性的,该图像采集设备11可以为单个或多个能够获取图像的二维信息的摄像机或能够获取三维信息的双目相机等。目标检测设备12用于对从图像采集设备11接收到的图像进行分析处理以利用接收到的图像进行目标检测,目标检测设备12可以为具有处理功能的设备,如服务器等。图像采集设备11和目标检测设备12的具体实现可参考现有技术,此处不再赘述。
[0029]
本申请实施例提供一种目标检测方法,可应用于图1所示的系统中,当应用于图1所示的系统中时,该方法的执行主体可以为图1所示的目标检测设备12。下文以执行主体为目标检测设备12进行说明,如图2所示,该方法包括:
[0030]
步骤101、获取待检测图像以及待检测图像中多个像素点的深度值。
[0031]
其中,待检测图像为对待检测区域进行拍摄后得到的图像,可以为直接得到的图像,也可以为对该直接得到的彩色图像进行灰度、去噪等处理后得到的图像。
[0032]
示例性的,使用普通摄像机或者具有摄像功能的手机等设备对待检测区域进行拍摄得到的图像即可作为本申请中所指的待检测图像。
[0033]
深度值可以通过获取待检测图像对应的深度图像;并从深度图像中确定待检测图像的各个像素点的深度值。
[0034]
其中,深度图像(depth image)也被称为距离影像(range image),是指将从图像采集器,如双目摄像机到待检测区域中各点的距离(或者称为深度)作为像素值的图像,能够直接反映物体可见表面的几何形状,也即能够直接确定各个物体的轮廓线。深度图像中,每一个像素点代表的是在图像采集器的视野中,该特定的(x,y)坐标处物体到摄像头平面的距离。因此,深度图像中各个像素点与深度值对应,用于表示待检测区域中各个物体的深度值。常见的深度图像的获取方法有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法等,深度图像的具体实现方式可参 考现有技术,此处不再赘述。
[0035]
步骤102、结合各个像素点的深度值对待检测图像进行目标检测。
[0036]
在步骤102的一种实现方式中,可将待检测图像中,深度值位于同一范围内的像素点划分为同一候选区域。
[0037]
示例性的,如图3所示,本申请分别示出了待检测图像、深度图像以及执行步骤102后划分得到的候选区域1和候选区域2。
[0038]
在根据像素点的深度值确定出候选区域后,可直接对候选区域进行特征提取,最后使用训练的分类器对候选区域进行分类,从而实现目标检测。该步骤的具体实现过程可参考现有技术,此处不再赘述。
[0039]
在本步骤102的另一种实现方式中,可将按照深度值确定出来的候选区域作为初始候选区域,并对初始候选区域进行进一步拆分得到目标候选区域,如图4所示,步骤102具体可实现为:
[0040]
步骤201、将深度值位于同一范围内的像素点划分到同一初始候选区域中。
[0041]
步骤202、按照图像特征将初始候选区域拆分为目标候选区域。
[0042]
步骤203、在目标候选区域中确定目标。
[0043]
其中,所述图像特征包括如下特征中的任意一种或者任意几种:颜色特征、纹理特征、结构特征、人脸特征或轮廓特征中的任意一种或多种。该按照图像特征对初始候选区域进行拆分得到目标候选区域的具体实现可参考现有技术中对一个区域进行region proposal的实现过程。
[0044]
例如,当该图像特征为为轮廓线特征时,上述步骤202具体可以实现为:分别检测每个初始候选区域中的轮廓线;当存在至少一个初始候选区域中包括至少两个互相独立的闭合轮廓线时,将所述至少一个初始候选区域中的每个初始候选区域进行拆分得到至少两个目标候选区域以使得每个目标候选区域中包括至多一个闭合轮廓线。
[0045]
结合图3得到的多个初始候选区域,对各个初始候选区域按照轮廓线特征进行拆分后,可将初始候选区域1拆分为两个目标候选区域,得到如图5所示的目标候选区域。
[0046]
又如,当该图像特征为为轮廓线特征时,上述步骤202具体可以实现为:分别检测每个初始候选区域中的颜色特征。当存在至少一个初始候选区域中包括至少两种颜色时,分别将所述至少一个初始候选区域中的每个初始候选区域拆分为至少两个目标候选区域以使得每个目标候选区域包含一种颜色特征。
[0047]
需要说明的是,上述仅以轮廓线特征和颜色特征为例进行说明,实际应用中在划分目标候选区域时,可能会结合颜色、纹理等多个特征。
[0048]
在步骤102的再一种实现方式中,如图6所示,包括:
[0049]
步骤301、按照图像特征将待检测图像划分为初始候选区域。
[0050]
其中,所述图像特征包括如下特征中的任意一种或者任意几种:颜色特征、纹理特征、结构特征、人脸特征或轮廓特征中的任意一种或多种。该按照图像特征对待检测图像进行划分得到初始候选区域的具体实现可参考现有技术中对一个区域进行region proposal的实现过程。
[0051]
步骤302、去除像素点的深度值不在同一范围的初始候选区域。
[0052]
步骤303、在剩余的初始候选区域中确定目标。
[0053]
本申请提供的方案,在进行目标检测时,首先获取待检测图像以及待检测图像中多个像素点的深度值;并结合各个像素点的深度值对待检测图像进行目标检测。与现有技术中的基于图像的纹理、边缘、颜色等信息进行目标检测相比,本申请在进行目标检测时,考虑了深度值,因此在目标检测时,能够将颜色、纹理相似但深度不同的目标物体进行区分,进而能够提高目标检测的精度。
[0054]
此外,一般而言,待检测区域中包含的深度信息大多数情况下小于其包含的颜色信息,例如:一个物体可能包括多种颜色,但这整个物体对应的深度值可能只有一个,因此,根据深度值划分得到 候选区域的计算量也大大减少。
[0055]
可选的,在识别出目标后,目标检测设备12还可以输出目标的类别、轮廓等信息。
[0056]
本申请实施例提供的方法可以用在需要进行目标识别的场景中,例如:应用于移动机器人中,移动机器人可以采用本申请体用的方法自动识别其所在环境中的物体以进行决策。还可以应用在辅助用户寻找特定目标物体的过程中。任何需要检测、识别物体的过程都可应用本申请提供的方法。
[0057]
本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
[0058]
本申请实施例可以根据上述方法示例对目标检测设备等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0059]
在采用对应各个功能划分各个功能模块的情况下,图7示出了上述实施例中所涉及的目标检测设备的一种可能的结构示意图,目标检测设备包括:获取单元401、以及目标检测单元402。获取单元401用于支持目标检测设备执行图2中的过程101;目标检测单元402用于支持目标检测设备执行图2中的过程102,图4中的过程201、202、203,图6中的过程301、302、303。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
[0060]
在采用集成的单元的情况下,图8示出了上述实施例中所涉及 的目标检测设备的一种可能的结构示意图。目标检测设备包括:处理模块501和通信模块502。处理模块501用于对目标检测设备的动作进行控制管理,例如,处理模块501用于支持目标检测设备执行图2中的过程101、102、103,图4中的过程201、202、203,图6中的过程301、302、303,和/或用于本文所描述的技术的其它过程。通信模块502用于支持目标检测设备与其他网络实体的通信,例如与图1中示出的功能模块或网络实体之间的通信。目标检测设备还可以包括存储模块503,用于存储目标检测设备的程序代码和数据。
[0061]
其中,处理模块501可以是处理器或控制器,例如可以是中央处理器(Central Processing Unit,CPU),通用处理器,数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信模块502可以是收发器、收发电路或通信接口等。存储模块503可以是存储器。
[0062]
当处理模块501为处理器,通信模块502为通信接口,存储模块503为存储器时,本申请实施例所涉及的目标检测设备可以为图9所示的电子设备。
[0063]
参阅图9所示,该电子设备包括:处理器601、通信接口602、存储器603以及总线604。其中,通信接口602、处理器601以及存储器603通过总线604相互连接;总线604可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的 总线。
[0064]
结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
[0065]
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0066]
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。

权利要求书

[权利要求 1]
一种目标检测方法,其特征在于,包括: 获取待检测图像以及待检测图像中多个像素点的深度值; 结合各个像素点的深度值对待检测图像进行目标检测。
[权利要求 2]
根据权利要求1所述的方法,其特征在于,所述获取待检测图像中多个像素点的深度值包括: 获取待检测图像对应的深度图像; 从深度图像中确定待检测图像的各个像素点的深度值。
[权利要求 3]
根据权利要求1所述的方法,其特征在于,所述结合各个像素点的深度值对待检测图像进行目标检测,包括: 将深度值位于同一范围内的像素点划分到同一初始候选区域中; 按照图像特征将初始候选区域拆分为目标候选区域; 在目标候选区域中确定目标。
[权利要求 4]
根据权利要求1所述的方法,其特征在于,所述结合各个像素点的深度值对待检测图像进行目标检测,包括: 按照图像特征将待检测图像划分为初始候选区域; 去除像素点的深度值不在同一范围的初始候选区域; 在剩余的初始候选区域中确定目标。
[权利要求 5]
根据权利要求3或4所述的方法,其特征在于,所述图像特征包括如下特征中的任意一种或者任意几种:颜色特征、纹理特征、结构特征、人脸特征或轮廓特征中的任意一种或多种。
[权利要求 6]
一种目标检测装置,其特征在于,包括: 获取单元,用于获取待检测图像以及待检测图像中多个像素点的深度值; 目标检测单元,用于结合所述获取单元获取的各个像素点的深度值对待检测图像进行目标检测。
[权利要求 7]
根据权利要求6所述的装置,其特征在于,所述获取单元,用于获取待检测图像对应的深度图像;从深度图像中确定待检测图像的各个像素点的深度值。
[权利要求 8]
根据权利要求6所述的装置,其特征在于, 所述目标检测单元,还用于将深度值位于同一范围内的像素点划分到同一初始候选区域中;按照图像特征将初始候选区域拆分为目标候选区域;在目标候选区域中确定目标。
[权利要求 9]
根据权利要求6所述的装置,其特征在于, 所述目标检测单元,还用于按照图像特征将待检测图像划分为初始候选区域;去除像素点的深度值不在同一范围的初始候选区域;在剩余的初始候选区域中确定目标。
[权利要求 10]
根据权利要求8或9所述的装置,其特征在于,所述图像特征包括如下特征中的任意一种或者任意几种:颜色特征、纹理特征、结构特征、人脸特征或轮廓特征中的任意一种或多种。
[权利要求 11]
一种电子设备,其特征在于,包括:存储器、通信接口和处理器,所述存储器用于存储计算机可执行代码,所述处理器用于执行所述计算机可执行代码控制执行权利要求1-5任一项所述目标检测方法,所述通信接口用于所述电子设备与外部设备的数据传输。
[权利要求 12]
一种机器人,其特征在于,包括权利要求11所述的电子设备。
[权利要求 13]
一种计算机存储介质,其特征在于,用于储存计算机软件指令,其包含执行权利要求1-5任一项所述的目标检测方法所设计的程序代码。
[权利要求 14]
一种计算机程序产品,其特征在于,可直接加载到计算机的内部存储器中,并含有软件代码,所述计算机程序经由计算机载入并执行后能够实现权利要求1-5任一项所述的目标检测方法。

附图

[ 图 0001]  
[ 图 0002]  
[ 图 0003]  
[ 图 0004]  
[ 图 0005]  
[ 图 0006]  
[ 图 0007]  
[ 图 0008]  
[ 图 0009]