Parte del contenido de esta aplicación no está disponible en este momento.
Si esta situación persiste, contáctenos aComentarios y contacto
1. (WO2019042230) METHOD, SYSTEM, PHOTOGRAPHING DEVICE, AND COMPUTER STORAGE MEDIUM FOR FACIAL IMAGE SEARCH
Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37  

附图

1   2   3   4   5   6   7  

说明书

发明名称 : 人脸图像检索方法和系统、拍摄装置、计算机存储介质

[0001]
相关申请的交叉引用
[0002]
本申请基于申请号为201710774389.9、申请日为2017年08月31日,申请名称为“人脸图像检索方法和系统、拍摄装置、计算机存储介质”的中国专利申请提出,并要求该中国专利申请的优先权,该中国专利申请的全部内容在此以引入方式结合在本申请中。

技术领域

[0003]
本公开涉及计算机视觉技术,尤其是一种人脸图像检索方法和系统、拍摄装置、计算机存储介质。

背景技术

[0004]
近年来,随着安防体系的日渐壮大、监控点的不断扩张和高清监控设备的普及,监控获得的图像视频信息呈现爆炸式的增长。传统视频监控系统的存储和检索等面临着巨大的挑战,如何快速、高效地从海量图像视频中提取出有用的信息至关重要。为此,人们把人脸识别技术引入了视频监控系统中,人脸识别技术很大程度上依赖于卷积神经网络的支持,而卷积神经网络需要庞大的计算量,从而导致人脸图像检索的效率低。
[0005]
发明内容
[0006]
本实施例提供了一种人脸图像检索方法和系统、拍摄装置、计算机存储介质,能够减少基于卷积神经网络进行人脸识别的计算量,从而提高人脸图像检索的效率。
[0007]
本实施例提供的一种人脸图像检索方法,包括:
[0008]
通过卷积神经网络获得待检索图像对应的待检索人脸信息;所述卷积神经网络经过处理器配置对应的卷积计算配置信息,所述卷积神经网络包括至少一个卷积层,所述卷积计算配置信息包括所述卷积神经网络中的各卷积层对应的数据位宽值;所述待检索图像中包括至少一个人脸区域;
[0009]
基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息;所述数据库中保存有至少一个预设人脸图像信息;
[0010]
输出所述待检索人脸信息匹配的预设人脸图像信息。
[0011]
根据本实施例的另一个方面,提供的一种拍摄装置,包括:
[0012]
卷积计算部分,配置为通过卷积神经网络获得待检索图像对应的待检索人脸信息;所述卷积神经网络配置有卷积计算配置信息,所述卷积神经网络包括至少一个卷积层,所述卷积计算配置信息包括所述卷积神经网络中的各卷积层对应的数据位宽值;所述待检索图像中包括至少一个人脸区域;
[0013]
处理器,配置为所述卷积神经网络配置对应的卷积计算配置信息;
[0014]
检索部分,配置为基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息;所述数据库中保存有至少一个预设人脸图像信息;输出所述待检索人脸信息匹配的预设人脸图像信息。
[0015]
根据本实施例的另一个方面,提供的一种人脸图像检索系统,设置有如上所述的拍摄装置。
[0016]
根据本实施例的另一个方面,提供的一种计算机存储介质,用于存储计算机可读取的指令,所述指令被执行时执行如上所述人脸图像检索方法的操作。
[0017]
基于本公开上述实施例提供的一种人脸图像检索方法和系统、拍摄装置、计算机存储介质,通过卷积神经网络获得待检索图像对应的待检索人脸信息;卷积神经网络经过处理器配置对应的卷积计算配置信息;由于卷积神经网络设置了卷积计算配置信息,输入到卷积神经网络中各卷积层中的图像的位宽都与卷积层相对应,减少了基于卷积神经网络进行人脸识别的计算量,提高了卷积层的处理效率,并输入的待检索图像可以快速准确的得到待检索人脸信息,解决了定点运算计算精度低及影响计算结果准确度的问题,提高了卷积神经网络的运算精度;基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息;输出待检索人脸信息匹配的预设人脸图像信息;通过在拍摄装置设置的数据库中检索匹配的预设人脸图像信息,实现了实时人脸检索的效果,提高了人脸图像检索的效率。
[0018]
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。

附图说明

[0019]
图1为本公开人脸图像检索方法一个实施例的流程图;
[0020]
图2为本公开人脸图像检索方法另一个实施例的流程图;
[0021]
图3为本公开人脸图像检索装置一个实施例的结构示意图;
[0022]
图4为本公开人脸图像检索装置另一个实施例的结构示意图;
[0023]
图5为本公开拍摄装置上述各实施例的一个示例的结构示意图;
[0024]
图6为本公开拍摄装置上述各实施例的一个示例的结构示意图;
[0025]
图7为适于用来实现本实施例的一个终端设备或服务器的电子设备600的结构示意图。

具体实施方式

[0026]
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0027]
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0028]
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
[0029]
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
[0030]
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
[0031]
本实施例可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
[0032]
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模 块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
[0033]
在实现本公开的过程中,本发明人通过研究发现,现有的视频监控系统中,人脸检测识别都是在后端服务器实现的,前端只负责图像数据的采集编码及传输。这种前后端结合操作的模式,需要较大网络带宽;同时,由于传输的视频流数据中大部分都是无用的信息,大大降低了后端服务器对有效数据提取的效率;此外,由于图像在传输之前经过了有损编码,后端服务器拿到的数据并不是原始的图像数据,一定程度上会导致漏检或错检。
[0034]
现有技术提供了一种前端化的人脸抓拍机,该人脸抓拍机虽提高了人脸识别的准确率,但只是将原本部署于后端服务器上的中央处理单元、识别及存储模块部署在前端的视频监控设备上,由于监控图像、视频的数量巨大,意味着该监控机的功耗及成本较高,并且很难达到实时检测人脸的效果,因此,人脸抓拍机在实际应用场景中并不具有应用价值。
[0035]
图1为本公开人脸图像检索方法一个实施例的流程图。如图1所示,其应用于拍摄装置,该实施例方法包括:
[0036]
步骤104,通过卷积神经网络获得待检索图像对应的待检索人脸信息。
[0037]
其中,卷积神经网络经过处理器配置对应的卷积计算配置信息,卷积神经网络包括至少一个卷积层,卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值;待检索图像中包括至少一个人脸区域,待检索图像可以是根据检索指令获取的,检索指令可以是由服务器端或云端下发的,或直接接收外部输入的待检索图像和检索指令。要对图像进行检索识别,通常是基于对应的人脸信息进行识别,在此步骤中,通过卷积神经网络处理获得对应的待检索人脸信息,将后续检索中的图像检索转换为人脸信息检索,使检索更快捷,无需后续转换,其中卷积神经网络可以是预先训练好的。
[0038]
步骤105,基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息。
[0039]
其中,数据库中保存有至少一个预设人脸图像信息。通过设置数据库在拍摄装置中实现了人脸的检测与识别工作,大大降低了网络带宽的要求,提高了数据传输效率。人脸检测和检索的过程可以通过现场可编程门阵列系统级芯片(FPGA SoC,Field-Programmable Gate Array System on Chip)完成的,FPGA SoC将FPGA逻辑块和CPU集成到了一片单晶硅上,FPGA逻辑块和CPU之间的通信通过先进可扩展接口总线(AXI,Advanced eXtensible Interface)进行,具有很大的物理带宽,克服了现有方案中FPGA逻辑块与CPU分离设置需要很大的带宽实现通信的弊端,并且FPGA SoC特有的性能功耗比优势,使整机功耗不超过4W,更适合应用于各种不同的恶劣环境中;FPGA可同时进行数据并行和任务并行计算,将一个任务拆分成多级流水作业(同时处理),将每一帧的检测时长缩减到了40ms以内,大大提升了实时检测效果;数据并行:是指各卷积层输入的图像数据、网络层之间传递的数据,可根据需要建立不同的通道同时处理;任务并行:是指神经网络中的卷积、池化及全连接可并行执行。而传统的嵌入式片上系统只将CPU和各功能模块集成到一片单晶硅上,而不设置FPGA逻辑块的情况下,是很难实现人脸的实时识别的,需要借助后端服务器或者更强大的处理器才能实现。
[0040]
步骤106,输出待检索人脸信息匹配的预设人脸图像信息。
[0041]
基于本公开上述实施例提供的一种人脸图像检索方法,通过卷积神经网络获得待检 索图像对应的待检索人脸信息;卷积神经网络经过处理器配置对应的卷积计算配置信息;由于卷积神经网络设置了卷积计算配置信息,输入到卷积神经网络中各卷积层中的图像的位宽都与卷积层相对应,减少了基于卷积神经网络进行人脸识别的计算量,提高了卷积层的处理效率,并输入的待检索图像可以快速准确的得到待检索人脸信息,解决了定点运算计算精度低及影响计算结果准确度的问题,提高了卷积神经网络的运算精度;基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息;输出待检索人脸信息匹配的预设人脸图像信息;通过在拍摄装置设置的数据库中检索匹配的预设人脸图像信息,实现了实时人脸检索的效果,提高了人脸图像检索的效率。
[0042]
本公开人脸图像检索方法的另一个实施例,在上述实施例的基础上,操作104包括:
[0043]
按照卷积计算配置信息从前端存储器读取待检索图像,待检索图像的位宽等于数据位宽值;
[0044]
通过卷积神经网络对待检索图像进行卷积计算,得到待检索人脸信息。
[0045]
本实施例中,通过读取设定位宽的待检索图像,使输入到卷积层中的数据的位宽符合该卷积层要求的位宽,实现了对输入卷积层的数据的动态配置,各卷积层无需对输入的数据进行处理即可执行计算,解决了定点运算计算精度低及影响计算结果准确度的问题,提高了卷积神经网络的运算精度。
[0046]
在本公开人脸图像检索方法上述各实施例的一个示例中,卷积计算配置信息还包括卷积神经网络中的各卷积层对应的卷积核大小、或待检索图像的存储地址。
[0047]
其中,待检索图像的存储地址用于为拍摄装置按照存储地址在前端存储器中读取待检索图像;通过对卷积层的输入数据位宽和权值数据位宽进行配置,在读取输入数据(待检索图像数据)和权值数据时,分别按照设置的输入数据位宽和权值数据位宽进行读取,可通过多次读取将完整的输入数据输入到卷积层中,由于每次读取的数据位宽都与该卷积层相对应,因此提高了卷积层的计算效率,同时保证了输入数据的完整,不会因为输入数据位宽的设置使输入数据缺失而导致结果不准确。
[0048]
在本公开人脸图像检索方法上述各实施例的一个示例中,通过卷积神经网络对待检索图像进行卷积计算,得到待检索人脸信息,包括:
[0049]
通过当前卷积层对待检索图像进行卷积计算,得到特征图;当前卷积层为卷积神经网络中各卷积层中的一个卷积层;
[0050]
响应于存在下一个卷积层,以下一个卷积层作为当前卷积层,以特征图作为待检索图像,迭代执行根据为卷积神经网络中当前卷积层配置的卷积计算配置信息从前端存储器读取待检索图像;通过当前卷积层对待检索图像进行卷积计算,得到特征图,直到不存在下一个卷积层;
[0051]
输出特征图获得待检索人脸信息。
[0052]
本实施例为了实现对卷积神经网络中每一个卷积层都进行加速,通过迭代的方法,将下一层卷积层作为当前卷积层,将上一个卷积层计算得到的计算结果数据作为下一个卷积层的输入数据,同样通过按照设置的输入数据位宽和权值位宽读取输入数据和权值数据,此时的权值数据是配置的对应该卷积层的权值数据,得到特征图后,将特征图存入前端存储器,以备下一个卷积层读取,直到完成当前卷积层的卷积计算之后,没有下一个卷积层,此时输出当前得到的特征图为卷积神经网络的获得的待检索人脸信息。
[0053]
在本公开人脸图像检索方法上述各实施例的一个示例中,在迭代读取配置信息并执行卷积计算的过程中,在得到特征图之后,将特征图写入前端存储器。
[0054]
将对应每层卷积层的特征图存入前端存储器,使下一个卷积层在读取待检索图像时,可以直接从前端存储器中获取,方便数据的获取和数据位宽的设置。
[0055]
在本公开人脸图像检索方法上述各实施例的一个示例中,卷积计算配置信息还包括 偏移地址;
[0056]
为卷积神经网络配置卷积计算配置信息,还包括:
[0057]
根据输入数据的存储地址和偏移地址配置为下一个卷积层对应的输入数据的存储地址,输入数据为当前卷积层接收的待检索图像数据;
[0058]
将特征图写入前端存储器,包括:将特征图写入前端存储器中的下一个卷积层对应的输入数据的存储地址。
[0059]
通过输入数据的存储地址叠加偏移地址即可得到下一个卷积层对应的输入数据的存储地址,由于卷积神经网络中,上一个卷积层的输出数据就是下一个卷积层的输入数据,因此,将上一个卷积层的输出数据处理为下一个卷积层的输入数据并存储到确定的下一个卷积层对应的输入数据的存储地址中,在下一个卷积层开始卷积计算时,只需到对应的存储地址进行读取即可。
[0060]
图2为本公开人脸图像检索方法又一个实施例的流程图。如图2所示,该实施例方法包括:
[0061]
步骤201,采集视频流,基于每个出现在视频流中的人脸图像在采集的视频流中筛选得到至少一个图像。
[0062]
其中,图像中包括可识别的人脸图像,每个人脸图像对应至少一个图像;采集视频流可以是通过设置的监控设备(如:摄像头等)进行实时采集,由于前端存储空间有限,在前端的数据库中保存视频流是不可行的,因此,本步骤将视频流分解为一帧一帧的图像,而针对基于视频流获得的图像存在大量重复图像、无意义图像(无人脸图像)和模糊的现象,对视频流获得的所有图像进行筛选,得到其中包括可识别的人脸图像,并且,针对每个人脸图像采集至少一个图像,以保证不会漏掉在视频中出现的人脸,在后续识别中可以更准确的找到。
[0063]
步骤202,对至少一个图像进行质量筛选,得到至少一个第一图像。
[0064]
其中,至少一个第一图像为人脸图像质量达到设定阈值的图像;为了使上一步获得的图像中的人脸便于识别,采用了专用的图像信号处理(ISP,Image Signal Processing)处理芯片对原始图像进行了优化处理,这里的优化处理可以包括自动曝光、自动白平衡、3D降噪等操作,同时,还可以根据用户的需求选择局部曝光、提取感兴趣区域等操作,执行优化处理的目的是为了得到高清晰、低噪声、宽动态范围、低畸变和低失真的第一图像,以便识别图像中的人脸,这里的设定阈值可以根据具体情况进行调整。
[0065]
步骤203,将对应至少一个第一图像的至少一个预设人脸图像信息存入数据库。
[0066]
基于通过质量筛选得到的至少一个第一图像获得至少一个人脸图像信息,为了在前端实现实时人脸检索,需要在前端建立数据库并将质量优化后的至少一个第一图像和对应至少一个第一图像的至少一个人脸图像信息存入该数据库,人脸图像信息是为了便于检索,在检索过程中无需再进行人脸识别;并且,由于前端存储空间有限,数据库中的图像及人脸图像信息定期更新或实时更新,以保证数据库中有充足的空间存储新采集的信息。
[0067]
步骤104,通过卷积神经网络获得待检索图像对应的待检索人脸信息。
[0068]
其中,卷积神经网络经过处理器配置对应的卷积计算配置信息,卷积神经网络包括至少一个卷积层,卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值;待检索图像中包括至少一个人脸区域。
[0069]
步骤105,基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息。
[0070]
其中,数据库中保存有至少一个预设人脸图像信息。
[0071]
步骤106,输出待检索人脸信息匹配的预设人脸图像信息。
[0072]
在本实施例中,除了将接收到的待检索图像与数据库中存储的第一图像进行匹配, 还可以实时检索,先接收待检索图像并获得待检索人脸信息,在数据库中不存在对应的人脸图像信息时,利用前端视频流采集装置,对新采集的视频流进行处理得到清晰的可识别的预设人脸图像信息,即按照下列步骤顺序执行:
[0073]
步骤104,步骤201,步骤202,步骤203、步骤105和步骤106;按照此顺序执行时可以仅将检索到的图像及预设人脸图像信息存入数据库,也可以将全部采集筛选得到的图像和预设人脸图像信息存入数据库;并且,为了后期结合服务器和云端的检索,需要将数据库中的存储的图像和信息上传到服务器中,服务器接收多个前端提供的图像和信息,可以在检索时得到更多信息。
[0074]
在本公开人脸图像检索方法上述各实施例的一个示例中,至少一个第一图像还包括背景图像,背景图像用于标识至少一个第一图像中的人脸图像出现的地点。
[0075]
基于至少一个第一图像获得至少一个人脸图像信息的同时,还可以基于至少一个第一图像获得除了至少一个人脸图像信息的其他信息,这些其他信息构成背景信息,这里的背景信息就能提供该第一图像中的人脸图像出现的地点,进而获得这个人的行动轨迹等信息;具有背景图像的第一图像对识别人脸图像对应人员出现的场合有辅助作用。
[0076]
在本公开人脸图像检索方法上述各实施例的一个示例中,在将对应至少一个第一图像的至少一个预设人脸图像信息存入数据库之前,还包括:
[0077]
对至少一个第一图像通过卷积神经网络处理获得对应的至少一个预设人脸图像信息。
[0078]
对于获取至少一个预设人脸图像信息与基于待处理图像获取待处理图像信息通过相同的卷积神经网络的计算获得,本实施例中的卷积神经网络是通过FPGA逻辑部分实现。
[0079]
基于至少一个预设人脸图像信息得到对应的至少一种属性信息,基于至少一种属性信息将至少一个预设人脸图像信息分类存储;每个预设人脸图像信息包括至少一种属性信息。
[0080]
本实施例中涉及的属性信息可以包括:性别、年龄、表情、种族、是否戴眼镜和是否戴口罩等等,基于这些属性进行分类的情况包括:基于性别:男/女;年龄:少年/青年/中年/老年;表情:高兴/悲伤/愤怒/平静等;种族:黄种人/黑种人/白种人/棕种人;戴眼镜:是/否;戴口罩:是/否;如果结合上述所有属性对图像进行分类,可以基于每个属性获得一个标签,此时每个图像对应多个标签,如一个图像中包括一个中年黄种人女性,戴眼镜、未戴口罩,且表情平静,此时该人脸图像对应的属性标签包括:女性、中年、平静、黄种人、戴眼镜和未戴口罩;在分类过程中,可以将具有相同标签的第一图像和人脸图像信息存储在一个位置。
[0081]
在本公开人脸图像检索方法上述各实施例的一个示例中,基于至少一个预设人脸图像信息得到对应的至少一种属性信息,基于至少一种属性信息将至少一个预设人脸图像信息分类存储,包括:
[0082]
接收输入的图像质量超出设定阈值的至少一个第一图像和对应至少一个第一图像的至少一个相关信息;
[0083]
基于至少一个相关信息为至少一个第一图像建立对应的至少一种属性信息,基于至少一种属性信息将对应至少一个第一图像的至少一个预设人脸图像信息存入数据库。
[0084]
本实施例提供的实质是一个注册的过程,在注册过程中,输入一张第一图像和对应用于识别该第一图像的相关信息,通常这里的相关信息指用户的姓名信息等,并对该图像进行识别获得对应的人脸图像信息,将预设人脸图像信息和输入的第一图像存入数据库后,在后期检索图像时,如检索得到该第一图像就可直接获得该人脸图像对应的相关信息。
[0085]
在本公开人脸图像检索方法上述各实施例的一个示例中,基于属性信息将对第一图像的预设人脸图像信息存入数据库,包括:
[0086]
将至少一个预设人脸图像信息中具有相同属性信息的所有预设人脸图像信息存入一个数据条目中,在数据库中基于属性信息为数据条目建立索引。
[0087]
该实施例方法还包括:
[0088]
获取采集每个图像的采集时间值,将数据条目按照采集时间值,顺序存入数据库。
[0089]
在数据库中将所有预设人脸图像信息进行区分存储,将所有属性信息都相同的预设人脸图像信息存入一个数据条目中,以便于检索获得相应的预设人脸图像信息;在筛选图像时,获取在视频流中获得该图像的采集时间值,获得时间值后,对于数据条目的存储可以按照其中更新保存的预设人脸图像信息对应的采集时间值进行排序,排序后便于在检索过程中先获得最新的符合条件的图像;根据采集时间值给出某人出现在当前场合的次数以及时间,避免将多次出现在同一场景的同一个人的图像混淆,在帮助警察搜寻犯罪分子的犯罪证据时,具有辅助作用。
[0090]
在本公开人脸图像检索方法上述各实施例的一个示例中,将对应第一图像的预设人脸图像信息存入数据库,包括:
[0091]
基于第一图像对应的属性信息在数据库中查找是否存在对应的数据条目;
[0092]
当数据库中存在于属性信息对应的数据条目,将预设人脸图像信息存入对应的数据条目中;
[0093]
当数据库中不存在属性信息对应的数据条目,为属性信息新建一个数据条目,将预设人脸图像信息存入该新建的数据条目中。
[0094]
本实施例提供了针对一个第一图像的存储的示例,在存储前根据获得的属性信息在数据库中查找数据条目,如果存在已有数据条目,存入对应的数据条目;如果不存在已有数据条目,建立新的数据条目并存入,以保证每个数据条目中保存的预设人脸图像信息的属性信息都相同。
[0095]
本公开人脸图像检索方法的还一个实施例中,在上述各实施例的基础上,基于每个出现在视频流中的人脸图像在采集的视频流中筛选得到至少一个图像,包括:
[0096]
将采集的视频流分解为至少一张分解图像,对至少一张分解图像进行优化,得到优化图像显示效果的中间图像;
[0097]
对所有中间图像基于卷积神经网络进行人脸识别,基于人脸识别的结果筛选获得具有人脸图像的至少一个图像。
[0098]
对于采集的视频流的分解可以通过很多方式,本实施例不做限制,对得到的分解图像优化其显示效果,得到显示效果较好的中间图像,在基于卷积神经网络对中间图像进行人脸识别,获得具有人脸图像的图像,通过筛选将其他没有人脸图像的无用图像删除,为后期人脸识别提高可靠的图像基础。
[0099]
在本公开人脸图像检索方法上述各实施例的一个示例中,还包括:基于卷积神经网络进行人脸识别得到预设人脸识别信息,通过预设人脸识别信息对至少一个图像中的人脸图像质量进行评价。
[0100]
本实施例中通过人脸质量评估算法获得人脸识别信息,人脸识别信息可以包括人脸偏航角度、俯仰角度和/或人脸大小,即结合人脸偏航角度、俯仰及人脸大小来综合评价人脸图像质量,对抓拍出来的人脸进行打分,将得到的分数与预先设定的分数值进行比较,将分数低于预先设定的分数值的第一图像删除,仅保留分数高于预先设定的分数值的第一图像,通过质量筛选保证了数据库中保存的图像都具有识别度较高的人脸图像,降低了无用信息的占用率,提高了传输效率;还可以对图像基于人脸图像质量进行排序,进一步避免同一个人的多个清晰图像上传多次,同时避免了漏传相对不清晰的人脸图像。
[0101]
在本公开人脸图像检索方法上述各实施例的一个示例中,对至少一个图像进行质量筛选,得到至少一个第一图像,包括:
[0102]
基于至少一个图像对应的预设人脸识别信息对至少一个图像中的人脸图像质量进行筛选,保存人脸图像质量达到预设阈值的图像作为第一图像。
[0103]
基于人脸图像质量对至少一个图像进行筛选,仅保留其中人脸图像质量达到预设阈值的图像,丢弃其他人脸图像质量未达到预设阈值的图像,保证得到的所有第一图像中的人脸图像在检索过程中可以快速实现人脸匹配。
[0104]
在本公开人脸图像检索方法上述各实施例的一个示例中,基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息,包括:
[0105]
基于待检索人脸信息获得对应待检索图像的属性信息,基于属性信息在数据库中查找是否具有符合的数据条目;
[0106]
如有存在与属性信息符合的数据条目,在符合的数据条目中获得所述匹配的预设人脸图像信息;
[0107]
如果不存在与属性信息符合的数据条目,反馈无匹配结果信息。
[0108]
由于上述实施例中设置了数据条目,在本实施例中通过首先检索属性信息符合的数据条目,进一步在符合的数据条目中查找附图的预设人脸图像信息,通过这种检索方式,可有效提高检索效率,而避免直接匹配预设人脸图像信息产生的大量无意义工作。
[0109]
在本公开人脸图像检索方法上述各实施例的一个示例中,对至少一个图像进行质量筛选,得到至少一个第一图像,包括:
[0110]
对至少一个图像经过自动曝光、自动白平衡和3D降噪处理,得到显示效果经过优化的至少一个第一图像。
[0111]
本实施例中,将采集的图像输入(ISP,Image Signal Processing)图像信号处理模块中,ISP图像信号处理模块自动实现自动曝光、自动白平衡和3D降噪处理,还可以根据用户的需求选择增加局部曝光和/或提取感兴趣区域等操作,执行优化处理的目的是为了得到高清晰、低噪声、宽动态范围、低畸变和低失真的第一图像,以便识别图像中的人脸。
[0112]
本实施例中提出了可以通过直流供电或有源以太网(POE,Power Over Ethernet)802.3af以太网供电,其中直流供电优先于以太网供电。
[0113]
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:只读存储器(ROM,Read-Only Memory)、随机存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0114]
示例性的,人脸图像检索方法的流程为:
[0115]
1、拍摄装置采集视频流,从视频流中筛选出其上显示有人脸图像的至少一个图像;2、拍摄装置从至少一个图像中确定出人脸图像质量达到设定阈值的至少一个第一图像;3、拍摄装置对至少一个第一图像通过卷积神经网络处理获得对应的至少一个预设人脸图像信息;4、拍摄装置获取至少一个第一图像的至少一个相关信息;5、拍摄装置基于至少一个相关信息为至少一个第一图像建立对应的至少一种属性信息;6、拍摄装置将相同属性信息的预设人脸图像信息存储至数据库中的一个数据条目中,以基于至少一种属性信息将至少一个预设人脸图像信息粗存储至数据库中;7、当拍摄装置从前端存储器中读取到待检索图像时,拍摄装置通过当前卷积层对待检索图像进行卷积计算,得到特征图;8、拍摄装置将特征图存储至前端存储器中,作为下一个卷积层的待检索图像,以供下一个卷积层对特征图进行卷积计算;9、如此迭代执行,直至不存在下一个卷积 层时,拍摄装置将最终输出特征图确定为待检索人脸信息;10、拍摄装置将待检索人脸信息和数据库中的至少一个预设人脸图像进行匹配;11、拍摄装置输出与待检索人脸信息匹配的预设人脸图像,完成人脸图像检索的过程。
[0116]
图3为本公开拍摄装置一个实施例的结构示意图。该实施例的装置可配置为实现本公开上述各方法实施例。如图3所示,该实施例的装置包括:
[0117]
处理器34,配置为为卷积神经网络配置对应的卷积计算配置信息。
[0118]
其中,卷积神经网络包括至少一个卷积层,卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值。
[0119]
卷积计算部分35,配置为通过卷积神经网络获得待检索图像对应的待检索人脸信息。
[0120]
其中,待检索图像中包括至少一个人脸区域。
[0121]
检索部分36,配置为基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息,数据库中保存有至少一个预设人脸图像信息;输出待检索人脸信息匹配的预设人脸图像信息。
[0122]
基于本公开上述实施例提供的一种人脸图像检索装置,基于本公开上述实施例提供的一种人脸图像检索方法,通过卷积神经网络获得待检索图像对应的待检索人脸信息;卷积神经网络经过处理器配置对应的卷积计算配置信息;由于卷积神经网络设置了卷积计算配置信息,输入到卷积神经网络中各卷积层中的图像的位宽都与卷积层相对应,减少了基于卷积神经网络进行人脸识别的计算量,提高了卷积层的处理效率,并输入的待检索图像可以快速准确的得到待检索人脸信息,解决了定点运算计算精度低及影响计算结果准确度的问题,提高了卷积神经网络的运算精度;基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息;输出待检索人脸信息匹配的预设人脸图像信息;通过在拍摄装置设置的数据库中检索匹配的预设人脸图像信息,实现了实时人脸检索的效果,提高了人脸图像检索的效率。
[0123]
本公开拍摄装置的另一个实施例,在上述实施例的基础上,卷积计算部分35,包括:可配置读取控制器和图像处理部分;
[0124]
可配置读取控制器,配置为按照卷积计算配置信息从前端存储器读取待检索图像,待检索图像的位宽等于所述数据位宽值;
[0125]
图像处理部分,配置为通过卷积神经网络对待检索图像进行卷积计算,得到待检索人脸信息。
[0126]
本实施例中,通过读取设定位宽的待检索图像使输入到卷积层中的数据的位宽符合该卷积层要求的位宽,实现了对输入卷积层的数据的动态配置,各卷积层无需对输入的数据进行处理即可执行计算,解决了定点运算计算精度低及影响计算结果准确度的问题,提高了卷积神经网络的运算精度。
[0127]
在本公开拍摄装置上述各实施例的一个示例中,卷积计算配置信息还包括卷积神经网络中的各卷积层对应的卷积核大小、或所述待检索图像的存储地址;其中,待检索图像的存储地址用于按照存储地址在前端存储器中读取待检索图像。
[0128]
在本公开拍摄装置上述各实施例的一个示例中,图像处理部分,包括:层计算部分和迭代部分;
[0129]
层计算部分,配置为通过当前卷积层对待检索图像进行卷积计算,得到特征图;当前卷积层为卷积神经网络中各卷积层中的一个卷积层;
[0130]
迭代部分,配置为响应于存在下一个卷积层,以下一个卷积层作为当前卷积层,以特征图作为待检索图像,迭代执行根据为卷积神经网络中当前卷积层配置的卷积计算配置信息,从前端存储器读取待检索图像;通过当前卷积层对待检索图像进行卷积计算,得到特征图,直到不存在下一个卷积层;
[0131]
输出特征图获得待检索人脸信息。
[0132]
在本公开拍摄装置上述各实施例的一个示例中,所述装置还包括:可配置写回控制器;
[0133]
所述可配置写回控制器,配置为将特征图写入前端存储器。
[0134]
在本公开拍摄装置上述各实施例的一个示例中,卷积计算配置信息还包括偏移地址;
[0135]
所述处理器,配置为根据当前卷积层对应的输入数据的存储地址和偏移地址配置为下一个卷积层对应的输入数据的存储地;
[0136]
所述可配置写回控制器,配置为将特征图写入前端存储器中的下一个卷积层对应的输入数据的存储地址。
[0137]
图4为本公开拍摄装置另一个实施例的结构示意图。如图4所示,本实施例装置包括:采集筛选部分、质量筛选部分和存储部分;
[0138]
所述采集筛选部分41,配置为采集视频流,基于每个出现在视频流中的人脸图像在采集的视频流中筛选得到至少一个图像。
[0139]
其中,图像中包括人脸图像,每个人脸图像对应至少一个图像。
[0140]
所述质量筛选部分42,配置为对至少一个图像进行质量筛选,得到至少一个第一图像,至少一个第一图像为人脸图像质量达到设定阈值的图像,至少一个第一图像中的每一个第一图像包括一个人脸图像。
[0141]
所述存储部分43,配置为将对应至少一个第一图像的至少一个预设人脸图像信息存入数据库。
[0142]
所述处理器34,配置为为卷积神经网络配置对应的卷积计算配置信息。
[0143]
其中,卷积神经网络包括至少一个卷积层,卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值。
[0144]
所述卷积计算部分35,配置为通过卷积神经网络获得待检索图像对应的待检索人脸信息。
[0145]
其中,待检索图像中包括至少一个人脸区域。
[0146]
检索单元36,配置为基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息,数据库中保存有至少一个预设人脸图像信息;输出待检索人脸信息匹配的预设人脸图像信息。
[0147]
在本实施例中,除了将接收到的待检索图像与数据库中存储的第一图像进行匹配,还可以实时检索,先接收待检索图像并获得待检索人脸信息,在数据库中不存在对应的人脸图像信息时,利用前端视频流采集装置,对新采集的视频流进行处理得到清晰的可识别的预设人脸图像信息。
[0148]
在本公开拍摄装置上述各实施例的一个示例中,基于采集的视频流筛选得到的图像还包括背景图像,背景图像用于标识图像中的人脸图像出现的地点。
[0149]
在本公开拍摄装置上述各实施例的一个示例中,卷积计算部分35,配置为对至少一个第一图像通过卷积神经网络处理获得对应的至少一个预设人脸图像信息;基于至少一个预设人脸图像信息得到对应的至少一种属性信息,基于至少一种属性信息将至少一个预设人脸图像信息分类存储;每个预设人脸图像信息包括至少一种属性信息。
[0150]
在本公开拍摄装置上述各实施例的一个示例中,还包括:信息接收部分和分类部分;
[0151]
所述信息接收部分,配置为接收输入的图像质量超出设定阈值的第一图像和对应第一图像的相关信息;
[0152]
所述分类部分,配置为基于至少一个相关信息为至少一个第一图像建立对应的至少一种属性信息,基于至少一种属性信息将对应至少一个第一图像的至少一个预设人脸图像信息存入数据库。
[0153]
在本公开拍摄装置上述各实施例的一个示例中,分类部分,配置为将至少一个预设人脸图像信息中具有相同属性信息的所有预设人脸图像信息存入一个数据条目中,在数据库中基于属性信息为数据条目建立索引;
[0154]
本实施例拍摄装置还包括:时间排序部分;
[0155]
所述时间排序部分,配置为获取采集每个图像的采集时间值,将数据条目按照采集时间值,顺序存入数据库。
[0156]
在本公开拍摄装置上述各实施例的一个示例中,存储部分43,包括:查找部分和属性存储部分;
[0157]
所述查找部分,配置为基于第一图像对应的属性信息在数据库中查找是否存在对应的数据条目;
[0158]
所述属性存储部分,配置为当数据库中存在于属性信息对应的数据条目,将预设人脸图像信息存入对应的数据条目中;当数据库中不存在属性信息对应的数据条目,为属性信息新建一个数据条目,将预设人脸图像信息存入新建的数据条目中。
[0159]
本公开拍摄装置的还一个实施例中,在上述各实施例的基础上,采集筛选部分41,包括:分解部分和识别筛选部分;
[0160]
所述分解部分,配置为将采集的视频流分解为至少一张分解图像,对至少一张分解图像进行优化,得到优化图像显示效果的中间图像;
[0161]
所述识别筛选部分,配置为对所有中间图像基于卷积神经网络进行人脸识别,基于人脸识别的结果筛选获得具有人脸图像的至少一个图像。
[0162]
对于采集的视频流的分解可以通过很多方式,本实施例不做限制,对得到的分解图像优化其显示效果,得到显示效果较好的中间图像,在基于卷积神经网络对中间图像进行人脸识别,获得具有人脸图像的图像,通过筛选将其他没有人脸图像的无用图像删除,为后期人脸识别提高可靠的图像基础。
[0163]
在本公开拍摄装置上述各实施例的一个示例中,采集筛选部分41,还包括:评价子部分;
[0164]
所述评价子部分,配置为基于卷积神经网络进行人脸识别得到预设人脸识别信息,通过预设人脸识别信息对至少一个图像中的人脸图像质量进行评价。
[0165]
在本公开拍摄装置上述各实施例的一个示例中,质量筛选部分42,配置为基于至少一个图像对应的预设人脸识别信息对至少一个图像中的人脸图像质量进行筛选,保存人脸图像质量达到预设阈值的图像作为至少一个第一图像。
[0166]
在本公开拍摄装置上述各实施例的一个示例中,检索部分36,包括:属性查找子部分和数据匹配子部分;
[0167]
所述属性查找子部分,配置为基于待检索人脸信息获得对应待检索图像的属性信息,基于属性信息在数据库中查找是否具有符合的数据条目;
[0168]
所述数据匹配子部分,配置为当存在与属性信息符合的数据条目时,在符合的数据条目中获得匹配的预设人脸图像信息;当不存在与属性信息符合的数据条目时,反馈无匹配结果信息。
[0169]
在本公开拍摄装置上述各实施例的一个示例中,质量筛选部分42,配置为对至少一个图像经过自动曝光、自动白平衡和3D降噪处理,得到显示效果经过优化的至少一个第一图像。
[0170]
本公开拍摄装置的再一个实施例中,在上述各实施例的基础上,数据库中包括黑名单子库和白名单子库,黑名单子库中包括至少一个预设人脸图像信息,白名单子库中包括至少一个预设人脸图像信息;
[0171]
本实施例拍摄装置还包括:反馈部分;
[0172]
所述反馈部分,配置为当匹配的预设人脸图像信息属于黑名单子库时,反馈警示信息;当匹配的预设人脸图像信息属于白名单子库时,反馈正常信息。
[0173]
在具体实施时,本实施例拍摄装置可以充当电子警察的角色,帮助警察搜寻犯罪份子。将罪犯人脸信息通过网络部署到前端抓拍机(拍摄装置)中,拍摄装置24小时监控,一旦检索匹配到黑名单数据库中的预设人脸图像信息,反馈单元将反馈警示信息,实现立刻通知警方,突破了人工监控的弊端,实时监测并能够及时通知。
[0174]
图5为本公开拍摄装置上述各实施例的一个示例的结构示意图。如图5所示,本实施例装置包括:
[0175]
图像采集模块(相当于本公开的采集筛选部分41),配置为采集视频流,并基于每个出现在视频流中的人脸图像在采集的视频流中筛选得到至少一个图像。
[0176]
ISP处理模块(相当于本公开的质量筛选部分42),配置为对所有图像进行质量筛选,得到至少一个人脸图像质量达到设定阈值的第一图像。
[0177]
存储模块(相当于本公开的数据库),配置为存储对应第一图像的预设人脸图像信息。
[0178]
FPGA SoC模块包括硬件监测(相当于本公开的卷积计算部分35)和中央处理(相当于本公开的处理器34),硬件监测实现通过卷积神经网络获得待检索图像对应的待检索人脸信息;中央处理用于为卷积神经网络配置对应的卷积计算配置信息。本实施例中通过FPGA SoC模块将硬件监测和中央处理集成在一片单晶硅上,使二者通信不受带宽限制,并通过一个模块实现了配置和卷积运算,实现了实时人脸识别。
[0179]
通信模块(相当于本公开的反馈部分),通过通信模块可将得到的匹配的预设人脸图像信息发送出去,同时还可以根据该预设人脸图像信息属于白名单或黑名单发出相应的信息到预设的客户端中。
[0180]
本实施例还可以包括:供电系统模块,为了实现拍摄装置独立运行,提供了供电系统模块,该供电系统模块为上述所有模块供电。
[0181]
示例性的,如图6所示,人脸图像检索方法的流程为:
[0182]
1、人脸抓拍系统利用图像采集模块将采集到的图像数据传输至后端的ISP处理单元;2、ISP处理单元对采集到的图像数据进行自动曝光、自动白平衡、3D去噪、局部曝光、感兴趣区域等过程;3、人脸图像检索系统将ISP处理单元处理后的图像数据传输至FPGA SoC系统模块;4、FPGA SoC系统模块的硬件检测进行卷积神经网络的计算,完成人脸检测的工作;5、FPGA SoC系统模块的中央处理对检测出的人脸进行质量筛选和排序的工作,同时中央处理对检测之后的结果进行管理、检索等工作。6、FPGA SoC系统模块的中央处理基于检测出的人脸信息从存储模块中查找匹配的预设人脸图像信息,其中,存储模块用来保存系统启动文件和本地人脸库文件,从而在断网的情况下实现人员的离线注册、识别与保存功能。7、通讯模块将预设人脸图像信息传输至后端,同时接收后端发下来的命令,由中央处理完成响应工作。
[0183]
根据本实施例的另一个方面,提供的一种电子设备,设置有本公开拍摄装置上述任一个实施例。
[0184]
根据本实施例的另一个方面,提供的一种计算机存储介质,用于存储计算机可读取的指令,所述指令被执行时执行本公开人脸图像检索方法上述任一个实施例的操作。
[0185]
本实施例还提供了一种电子设备,例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图7,其示出了适于用来实现本申请实施例的一个终端设备或服务器的电子设备600的结构示意图:如图7所示,计算机系统600包括一个或多个处理器、通信部等,所述一个或多个处理器例如:一个或多个中央处理单元(CPU)601,和/或一个或多个图像处理器(GPU)613等,处理器可以根据存储在只读存储器(ROM) 602中的可执行指令或者从存储部分608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。通信部612可包括但不限于网卡,所述网卡可包括但不限于IB(Infiniband)网卡,处理器可与只读存储器602和/或随机访问存储器630中通信以执行可执行指令,通过总线604与通信部612相连、并经通信部612与其他目标设备通信,从而完成本申请实施例提供的任一项方法对应的操作,例如,通过卷积神经网络获得待检索图像对应的待检索人脸信息;卷积神经网络经过处理器配置对应的卷积计算配置信息,卷积神经网络包括至少一个卷积层,卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值;待检索图像中包括至少一个人脸区域;基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息;数据库中保存有至少一个预设人脸图像信息;输出待检索人脸信息匹配的预设人脸图像信息。
[0186]
此外,在RAM 603中,还可存储有装置操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。在有RAM603的情况下,ROM602为可选模块。RAM603存储可执行指令,或在运行时向ROM602中写入可执行指令,可执行指令使处理器601执行上述通信方法对应的操作。输入/输出(I/O,Input/Output)接口605也连接至总线604。通信部612可以集成设置,也可以设置为具有多个子模块(例如多个IB网卡),并在总线链接上。
[0187]
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
[0188]
需要说明的,如图7所示的架构仅为一种可选实现方式,在实践过程中,可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设置上,也可采用分离设置或集成设置等实现方式,例如GPU和CPU可分离设置或者可将GPU集成在CPU上,通信部可分离设置,也可集成设置在CPU或GPU上,等等。这些可替换的实施方式均落入本公开公开的保护范围。
[0189]
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码,程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令,例如,通过卷积神经网络获得待检索图像对应的待检索人脸信息;卷积神经网络经过处理器配置对应的卷积计算配置信息,卷积神经网络包括至少一个卷积层,卷积计算配置信息包括卷积神经网络中的各卷积层对应的数据位宽值;待检索图像中包括至少一个人脸区域;基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息;数据库中保存有至少一个预设人脸图像信息;输出待检索人脸信息匹配的预设人脸图像信息。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。
[0190]
可能以许多方式来实现本公开的方法和装置、设备。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本实施例为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆 盖存储用于执行根据本公开的方法的程序的记录介质。
[0191]
本公开的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用,并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

工业实用性

[0192]
通过卷积神经网络获得待检索图像对应的待检索人脸信息;卷积神经网络经过处理器配置对应的卷积计算配置信息;由于卷积神经网络设置了卷积计算配置信息,输入到卷积神经网络中各卷积层中的图像的位宽都与卷积层相对应,减少了基于卷积神经网络进行人脸识别的计算量,提高了卷积层的处理效率,并输入的待检索图像可以快速准确的得到待检索人脸信息,解决了定点运算计算精度低及影响计算结果准确度的问题,提高了卷积神经网络的运算精度;基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息;输出待检索人脸信息匹配的预设人脸图像信息;通过在拍摄装置设置的数据库中检索匹配的预设人脸图像信息,实现了实时人脸检索的效果,提高人脸图像检索的效率。

权利要求书

[权利要求 1]
一种人脸图像检索方法,应用于拍摄装置,包括: 通过卷积神经网络获得待检索图像对应的待检索人脸信息;所述卷积神经网络经过处理器配置对应的卷积计算配置信息,所述卷积神经网络包括至少一个卷积层,所述卷积计算配置信息包括所述卷积神经网络中的各卷积层对应的数据位宽值;所述待检索图像中包括至少一个人脸区域; 基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息;所述数据库中保存有至少一个预设人脸图像信息; 输出所述待检索人脸信息匹配的预设人脸图像信息。
[权利要求 2]
根据权利要求1所述的方法,其中,所述通过卷积神经网络获得待检索图像对应的待检索人脸信息,包括: 按照所述卷积计算配置信息从前端存储器读取所述待检索图像,所述待检索图像的位宽等于所述数据位宽值; 通过所述卷积神经网络对所述待检索图像进行卷积计算,得到待检索人脸信息。
[权利要求 3]
根据权利要求1或2所述的方法,其中,所述卷积计算配置信息还包括:所述卷积神经网络中的各卷积层对应的卷积核大小、或所述待检索图像的存储地址;其中,所述待检索图像的存储地址用于按照所述存储地址在所述前端存储器中读取所述待检索图像。
[权利要求 4]
根据权利要求3所述的方法,其中,所述通过所述卷积神经网络对所述待检索图像进行卷积计算,得到待检索人脸信息,包括: 通过当前卷积层对所述待检索图像进行卷积计算,得到特征图;所述当前卷积层为所述卷积神经网络中各卷积层中的一个卷积层; 响应于存在下一个卷积层,以所述下一个卷积层作为当前卷积层,以所述特征图作为待检索图像,迭代执行根据为所述卷积神经网络中当前卷积层配置的所述卷积计算配置信息,从所述前端存储器读取待检索图像;通过当前卷积层对所述待检索图像进行卷积计算,得到特征图,直到不存在下一个卷积层; 输出所述特征图获得所述待检索人脸信息。
[权利要求 5]
根据权利要求4所述的方法,其中,所述得到特征图之后,所述方法还包括: 将所述特征图写入所述前端存储器。
[权利要求 6]
根据权利要求5所述的方法,其中,所述卷积计算配置信息还包括偏移地址;所述通过当前卷积层对所述待检索图像进行卷积计算,得到特征图之后,所述方法还包括: 根据输入数据的存储地址和所述偏移地址配置为所述下一个卷积层对应的输入数据的存储地址,所述输入数据为所述当前卷积层接收的待检索图像数据; 相应的,所述将所述特征图写入所述前端存储器,包括: 将所述特征图写入所述前端存储器中的所述下一个卷积层对应的输入数据的存储地址。
[权利要求 7]
根据权利要求1所述的方法,其中,所述基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息之前,所述方法还包括: 采集视频流,基于每个出现在所述视频流中的人脸图像在采集的所述视频流中筛选得到至少一个图像,其中,所述图像中包括人脸图像,每个所述人脸图像对应至少一个图像; 对所述至少一个图像进行质量筛选,得到至少一个第一图像,所述至少一个第一图 像为人脸图像质量达到设定阈值的图像,所述至少一个第一图像中的每一个第一图像包括一个人脸图像; 将对应所述至少一个第一图像的所述至少一个预设人脸图像信息存入所述数据库。
[权利要求 8]
根据权利要求7所述的方法,其中,所述至少一个第一图像还包括背景图像,所述背景图像用于标识所述至少一个第一图像中的人脸图像出现的地点。
[权利要求 9]
根据权利要求7或8所述的方法,其中,所述将对应所述至少一个第一图像的所述至少一个预设人脸图像信息存入所述数据库之前,所述方法还包括: 对所述至少一个第一图像通过所述卷积神经网络处理获得对应的所述至少一个预设人脸图像信息; 基于所述至少一个预设人脸图像信息得到对应的至少一种属性信息,基于所述至少一种属性信息将所述至少一个预设人脸图像信息分类存储;每个所述预设人脸图像信息包括至少一种属性信息。
[权利要求 10]
根据权利要求9所述的方法,其中,所述基于所述至少一个预设人脸图像信息得到对应的至少一种属性信息,基于所述至少一种属性信息将所述至少一个预设人脸图像信息分类存储,包括: 接收输入的图像质量超出设定阈值的至少一个第一图像和对应所述至少一个第一图像的至少一个相关信息; 基于所述至少一个相关信息为所述至少一个第一图像建立对应的所述至少一种属性信息,基于所述至少一种属性信息将对应所述至少一个第一图像的所述至少一个预设人脸图像信息存入所述数据库。
[权利要求 11]
根据权利要求10所述的方法,其中,基于所述至少一种属性信息将对应所述至少一个第一图像的所述至少一个预设人脸图像信息存入所述数据库,包括: 将所述至少一个预设人脸图像信息中具有相同属性信息的所有预设人脸图像信息存入一个数据条目中,在所述数据库中基于属性信息为所述数据条目建立索引; 所述方法还包括: 获取采集每个图像的采集时间值,将所述数据条目按照所述采集时间值,顺序存入所述数据库。
[权利要求 12]
根据权利要求11所述的方法,其中,将对应所述第一图像的预设人脸图像信息存入数据库,包括: 基于所述第一图像对应的属性信息在所述数据库中查找是否存在对应的数据条目; 当所述数据库中存在于所述属性信息对应的数据条目,将所述预设人脸图像信息存入所述对应的数据条目中;当所述数据库中不存在所述属性信息对应的数据条目,为所述属性信息新建一个数据条目,将所述预设人脸图像信息存入所述新建的数据条目中。
[权利要求 13]
根据权利要求7所述的方法,其中,所述基于每个出现在所述视频流中的人脸图像在采集的所述视频流中筛选得到至少一个图像,包括: 将采集的视频流分解为至少一张分解图像,对所述至少一张分解图像进行优化,得到优化图像显示效果的中间图像; 对所有所述中间图像基于所述卷积神经网络进行人脸识别,基于所述人脸识别的结果筛选获得具有人脸图像的所述至少一个图像。
[权利要求 14]
根据权利要求13所述的方法,其中,所述对所有所述中间图像基于所述卷积神经网络进行人脸识别,包括: 基于所述卷积神经网络进行人脸识别得到预设人脸识别信息,通过预设人脸识别信息对所至少一个述图像中的人脸图像质量进行评价。
[权利要求 15]
根据权利要求14所述的方法,其中,所述对所述至少一个图像进行质量筛选, 得到至少一个第一图像,包括: 基于所述至少一个图像对应的预设人脸识别信息对所述至少一个图像中的人脸图像质量进行筛选,保存所述人脸图像质量达到预设阈值的图像作为所述至少一个第一图像。
[权利要求 16]
根据权利要求11所述的方法,其中,所述基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息,包括: 基于所述待检索人脸信息获得对应所述待检索图像的属性信息,基于所述属性信息在所述数据库中查找是否具有符合的数据条目; 当存在与所述属性信息符合的数据条目时,在所述符合的数据条目中获得所述匹配的预设人脸图像信息; 当不存在与所述属性信息符合的数据条目时,反馈无匹配结果信息。
[权利要求 17]
根据权利要求7所述的方法,其中,所述对所述至少一个图像进行质量筛选,得到至少一个第一图像,包括: 对所述至少一个图像经过自动曝光、自动白平衡和3D降噪处理,得到显示效果经过优化的所述至少一个第一图像。
[权利要求 18]
一种拍摄装置,包括: 处理器,配置为为卷积神经网络配置对应的卷积计算配置信息;所述卷积神经网络包括至少一个卷积层,所述卷积计算配置信息包括所述卷积神经网络中的各卷积层对应的数据位宽值; 卷积计算部分,配置为通过所述卷积神经网络获得待检索图像对应的待检索人脸信息;所述待检索图像中包括至少一个人脸区域; 检索部分,配置为基于所述待检索人脸信息从数据库中查找匹配的预设人脸图像信息;所述数据库中保存有至少一个预设人脸图像信息;输出所述待检索人脸信息匹配的预设人脸图像信息。
[权利要求 19]
根据权利要求18所述的装置,其中,卷积计算部分包括:可配置读取控制器和图像处理部分; 所述可配置读取控制器,配置为按照所述卷积计算配置信息从前端存储器读取所述待检索图像,所述待检索图像的位宽等于所述数据位宽值; 所述图像处理部分,配置为通过所述卷积神经网络对所述待检索图像进行卷积计算,得到待检索人脸信息。
[权利要求 20]
根据权利要求18或19所述的装置,其中,所述卷积计算配置信息还包括所述卷积神经网络中的各卷积层对应的卷积核大小、或所述待检索图像的存储地址;其中,所述待检索图像的存储地址用于按照所述存储地址在所述前端存储器中读取所述待检索图像。
[权利要求 21]
根据权利要求20所述的装置,其中,图像处理部分包括:层计算部分和迭代部分; 所述层计算部分,配置为通过当前卷积层对所述待检索图像进行卷积计算,得到特征图;所述当前卷积层为所述卷积神经网络中各卷积层中的一个卷积层; 所述迭代部分,配置为响应于存在下一个卷积层,以所述下一个卷积层作为当前卷积层,以所述特征图作为待检索图像,迭代执行根据为所述卷积神经网络中当前卷积层配置的所述卷积计算配置信息,从所述前端存储器读取待检索图像;通过当前卷积层对所述待检索图像进行卷积计算,得到特征图,直到不存在下一个卷积层; 输出所述特征图获得所述待检索人脸信息。
[权利要求 22]
根据权利要求21所述的装置,其中,所述装置还包括:可配置写回控制器; 所述可配置写回控制器,配置为将所述特征图写入所述前端存储器。
[权利要求 23]
根据权利要求22所述的装置,其中,所述卷积计算配置信息还包括偏移地址; 所述处理器,配置为根据所述当前卷积层对应的输入数据的存储地址和所述偏移地址配置为所述下一个卷积层对应的输入数据的存储地址; 所述可配置写回控制器,配置为将所述特征图写入所述前端存储器中的所述下一个卷积层对应的输入数据的存储地址。
[权利要求 24]
根据权利要求23所述的装置,其中,所述装置还包括:采集筛选部分、质量筛选部分和存储部分; 所述采集筛选部分,配置为采集视频流,基于每个出现在所述视频流中的人脸图像在采集的所述视频流中筛选得到至少一个图像,其中,所述图像中包括人脸图像,每个所述人脸图像对应至少一个图像; 所述质量筛选部分,配置为对所述至少一个图像进行质量筛选,得到至少一个第一图像,所述至少一个第一图像为人脸图像质量达到设定阈值的所述图像,所述至少一个第一图像中的每一个第一图像包括一个人脸图像; 所述存储部分,配置为将对应所述至少一个第一图像的所述至少一个预设人脸图像信息存入所述数据库。
[权利要求 25]
根据权利要求24所述的装置,其中,所述至少一个第一图像还包括背景图像,所述背景图像配置为标识所述至少一个第一图像中的人脸图像出现的地点。
[权利要求 26]
根据权利要求24或25所述的装置,其中, 所述卷积计算部分,配置为对所述至少一个第一图像通过所述卷积神经网络处理获得对应的所述至少一个预设人脸图像信息;基于所述至少一个预设人脸图像信息得到对应的至少一种属性信息,基于所述至少一种属性信息将所述至少一个预设人脸图像信息分类存储;每个所述预设人脸图像信息包括至少一种属性信息。
[权利要求 27]
根据权利要求26所述的装置,其中,所述装置还包括:信息接收部分和分类部分; 所述信息接收部分,配置为接收输入的图像质量超出设定阈值的至少一个第一图像和对应所述至少一个第一图像的至少一个相关信息; 所述分类部分,配置为基于所述至少一个相关信息为所述至少一个第一图像建立对应的所述至少一种属性信息,基于所述至少一种属性信息将对应所述至少一个第一图像的所述至少一个预设人脸图像信息存入所述数据库。
[权利要求 28]
根据权利要求27所述的装置,其中,所述分类部分,配置为将所述至少一个预设人脸图像信息中具有相同属性信息的所有预设人脸图像信息存入一个数据条目中,在所述数据库中基于属性信息为所述数据条目建立索引; 所述装置还包括:时间排序部分; 所述时间排序部分,配置为获取采集每个图像的采集时间值,将所述数据条目按照所述采集时间值,顺序存入所述数据库。
[权利要求 29]
根据权利要求28所述的装置,其中,所述存储部分包括:查找部分和属性存储部分; 所述查找部分,配置为基于所述第一图像对应的属性信息在所述数据库中查找是否存在对应的数据条目; 所述属性存储部分,配置为当所述数据库中存在于所述属性信息对应的数据条目,将所述预设人脸图像信息存入所述对应的数据条目中;当所述数据库中不存在所述属性信息对应的数据条目,为所述属性信息新建一个数据条目,将所述预设人脸图像信息存入所述新建的数据条目中。
[权利要求 30]
根据权利要求24所述的装置,其中,所述采集筛选部分,包括:分解部分和识别筛选部分; 所述分解部分,配置为将采集的视频流分解为至少一张分解图像,对所述至少一张分解图像进行优化,得到优化图像显示效果的中间图像; 所述识别筛选部分,配置为对所有所述中间图像基于所述卷积神经网络进行人脸识别,基于所述人脸识别的结果筛选获得具有人脸图像的所述至少一个图像。
[权利要求 31]
根据权利要求30所述的装置,其中,所述采集筛选部分还包括:评价子部分; 所述评价子部分,配置为基于所述卷积神经网络进行人脸识别得到预设人脸识别信息,通过预设人脸识别信息对所述至少一个图像中的人脸图像质量进行评价。
[权利要求 32]
根据权利要求31所述的装置,其中,所述质量筛选部分,配置为基于所述至少一个图像对应的预设人脸识别信息对所述至少一个图像中的人脸图像质量进行筛选,保存所述人脸图像质量达到预设阈值的图像作为所述至少一个第一图像。
[权利要求 33]
根据权利要求28所述的装置,其中,所述检索部分,包括:属性查找子部分和数据匹配子部分; 所述属性查找子部分,配置为基于所述待检索人脸信息获得对应所述待检索图像的属性信息,基于所述属性信息在所述数据库中查找是否具有符合的数据条目; 所述数据匹配子部分,配置为当存在与所述属性信息符合的数据条目时,在所述符合的数据条目中获得所述匹配的预设人脸图像信息;当不存在与所述属性信息符合的数据条目时,反馈无匹配结果信息。
[权利要求 34]
根据权利要求24所述的装置,其中,所述质量筛选部分,配置为对所述至少一个图像经过自动曝光、自动白平衡和3D降噪处理,得到显示效果经过优化的所述至少一个第一图像。
[权利要求 35]
根据权利要求18、24、27、28、29或33任一所述的装置,其中,所述数据库中包括黑名单子库和白名单子库,所述黑名单子库中包括至少一个预设人脸图像信息,所述白名单子库中包括至少一个预设人脸图像信息; 所述装置还包括:反馈部分; 所述反馈部分,配置为当所述匹配的预设人脸图像信息属于所述黑名单子库时,反馈警示信息;当所述匹配的预设人脸图像信息属于所述白名单子库时,反馈正常信息。
[权利要求 36]
一种人脸图像检索系统,设置有如权利要求18至35任意一项所述的拍摄装置。
[权利要求 37]
一种计算机存储介质,用于存储计算机可读取的指令,所述指令被执行时执行权利要求1至17任意一项所述人脸图像检索方法的操作。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6]  
[ 图 7]