Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019024636) IDENTITY AUTHENTICATION METHOD, SYSTEM AND APPARATUS
Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132  

权利要求书

1   2   3   4   5   6   7   8   9   10  

附图

1   2   3   4   5   6A   6B   6C   7   8   9   10  

说明书

发明名称 : 身份认证的方法、系统和装置

技术领域

[0001]
本发明涉及模式识别和人工智能技术领域,特别是涉及一种身份认证的方法、系统和装置。

背景技术

[0002]
当今,信息安全越来越受到人们的重视,为了确保信息不被没有访问权限的人修改或随意伪造信息,对人们进行身份认证就显得尤为重要。目前,在日常生活中的许多场合(例如在生活、旅游、工作等)都需要出示和核实身份证件,并根据身份证件进行人员身份的认证,例如银行业务办理、搭乘高铁或飞机等交通工具、入住酒店等等。在验证过程中,主要核实相关信息,以确保持证人和证件之间保持一致性,即“人证合一”。
[0003]
目前,常用的身份认证方法主要有两种,一种是先将身份证在公安互联网的数据库中进行基本信息的核查,在通过人工将持证人与身份证上的信息对比,该验证方法效率比较低且识别准确率低。另一种方法是利用身份认证装置,同时采集身份证图像,并利用可见光捕捉持证人的图像,然后将采集的身份证图像和持证人图像进行图像比对,在比对结果一致时,验证通过。
[0004]
然而,在身份认证过程时,利用可见光采集图像的过程中,光照、姿态和表情等对图像采集影响比较大,导致图像分别率低,从而造成身份认证的准确率差。
[0005]
发明内容
[0006]
基于此,有必要针对现有身份认证方法准确率差的问题,提供一种身份认证的方法和系统。
[0007]
一种身份认证的方法系统,包括:
[0008]
获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像;
[0009]
将所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的卷积特征,得到对应的特征向量;
[0010]
根据所述特征向量分别计算所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像中任意两个图像的相似度;
[0011]
根据所述相似度对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的一致性进行判断,并输出身份认证结果。
[0012]
一种身份认证的方法系统,包括:
[0013]
图像获取模块,用于获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像;
[0014]
特征向量获得模块,用于将所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的卷积特征,得到对应的特征向量;
[0015]
相似度计算模块,用于根据所述特征向量分别计算所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像中任意两个图像的相似度;
[0016]
身份认证判断模块,用于根据所述相似度对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的一致性进行判断,并输出身份认证结果。
[0017]
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现以下的步骤:
[0018]
获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像;
[0019]
将所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的卷积特征,得到对应的特征向量;
[0020]
根据所述特征向量分别计算所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像中任意两个图像的相似度;
[0021]
根据所述相似度对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的一致性进行判断,并输出身份认证结果。
[0022]
一种身份认证的装置,其特征在于,包括外壳体、装设于所述外壳体正面侧的显示屏、装设于所述外壳体顶面侧的双目摄像头、装设于外壳体底面侧的身份证图像采集装置以及装设于所述外壳体内部的处理器;
[0023]
所述双目摄像头用于采集待认证人员的人脸可见光图像和人脸近红外光图像;
[0024]
所述身份证图像采集装置用于采集待认证人员的身份证图像;
[0025]
所述处理器用于执行以下步骤:
[0026]
获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像;
[0027]
将所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的卷积特征,得到对应的特征向量;
[0028]
根据所述特征向量分别计算所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像中任意两个图像的相似度;
[0029]
根据所述相似度对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的一致性进行判断,并输出身份认证结果;
[0030]
所述显示屏用于显示所述认证结果。
[0031]
本发明中获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像,然后将采集的身份证图像、人脸可见光图像和人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取身份证图像、人脸可见光图像和人脸近红外光图像的卷积特征,得到对应的特征向量;根据特征向量分别计算所述身份证图像、人脸可见光图像和人脸近红外光图像中任意两个图像的相似度;根据相似度对身份证图像、人脸可见光图像和人脸近红外光图像的一致性进行判断,并输出身份认证结果。本发明中将Triplets和深度卷积神经网络CNN模型有效结合起来,能提高身份认证的鲁棒性,进而提高身份认证的准确率。

附图说明

[0032]
图1为本发明的身份认证的方法在其中一个实施例中的流程示意图;
[0033]
图2为本发明的身份认证的方法在其中一个实施例中的流程示意图;
[0034]
图3为本发明的身份认证的方法在其中一个实施例中的流程示意图;
[0035]
图4为本发明的身份认证的方法中Triplets CNN模型的示意图;
[0036]
图5为本发明的身份认证的方法在其中一个实施例中的流程示意图;
[0037]
图6a、图6b和图6c为本发明的身份认证的方法中根据预设的三元组选择条件从所述三元组图像中选取满足条件的三元组图像的示意图;
[0038]
图7为本发明的身份认证的方法在其中一个实施例中的流程示意图;
[0039]
图8为本发明的身份认证的方法在其中一个实施例中的流程示意图;
[0040]
图9为本发明的身份认证的装置在其中一个实施例中的流程示意图;
[0041]
图10为本发明的身份认证的装置在一个实施例中的结构示意图。

具体实施方式

[0042]
下面将结合较佳实施例及附图对本发明的内容作进一步详细描述。显然,下文所描述的实施例仅用于解释本发明,而非对本发明的限定。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。应当说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
[0043]
图1为本发明的身份认证的方法在一个实施例中的流程示意图,如图1所示,本发明实施例中的身份认证的方法,包括以下步骤:
[0044]
步骤S110,获取待认证人员的身份证图像、人脸可见光图像和人脸近红外 光图像。
[0045]
在本实施例中所述待认证人员为任意的需要接收身份认证的人。在进行图像认证时,采用双目摄像头同时采集待认证人员的人脸可见光图像和人脸近红外光图像,然后将采集到的人脸可见光图像和人脸近红外光图像通过人脸检测器检测出人脸区域。另外,待认证人员的身份证图像可以利用读卡装置直接获得或者通过扫描装置扫描待认证人员的身份证获得。
[0046]
应当理解,待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像要可以其他常用的图像采集方法而获得。
[0047]
步骤S120,将身份证图像、人脸可见光图像和人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取身份证图像、人脸可见光图像和人脸近红外光图像的卷积特征,得到对应的特征向量。
[0048]
具体地,在进行身份认证时,首选要先采集获得待测人员的身份证图像、人脸可见光图像和人脸近红外光图像,然后将这些图像输入至预先训练完成的Triplets CNN模型,利用Triplets和CNN相关算法,分别提取身份证图像、人脸可见光图像和人脸近红外光图像的卷积特征,得到这些图像中各图像的特征向量,即通过Triplets CNN模型,分别计算出身份证图像、人脸可见光图像和人脸近红外光图像的特征向量。
[0049]
步骤S130,根据特征向量分别计算身份证图像、人脸可见光图像和人脸近红外光图像中任意两个图像的相似度。
[0050]
步骤S140,根据相似度对身份证图像、人脸可见光图像和人脸近红外光图像的一致性进行判断,并输出身份认证结果。
[0051]
在本实施例中,利用计算出身份证图像、人脸可见光图像和人脸近红外光图像的特征向量分别计算出身份证图像、人脸可见光图像和人脸近红外光图像两两之间的相似度,然后根据相似度的结果,对身份证图像、人脸可见光图像和人脸近红外光图像的一致性进行判断,并输出身份认证结果。其中身份认证结果可以是待测人的身份证图像与人脸图像是一致的,即“认证合一”;也可以是待测人的身份证图像与人脸图像是不一致的。
[0052]
上述的身份认证的方法,首先采集待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像,然后将采集的身份证图像、人脸可见光图像和人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取身份证图像、人脸可见光图像和人脸近红外光图像的卷积特征,得到对应的特征向量;根据特征向量分别计算所述身份证图像、人脸可见光图像和人脸近红外光图像中任意两个图像的相似度;根据相似度对身份证图像、人脸可见光图像和人脸近红外光图像的一致性进行判断,并输出身份认证结果。本发明中将Triplets和深度 卷积神经网络CNN模型有效结合起来,能有效提高身份认证的鲁棒性,进而提高身份认证的准确率。
[0053]
在其中一种实施例中,如图2所示,在将身份证图像、人脸可见光图像和人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取身份证图像、人脸可见光图像和人脸近红外光图像的卷积特征,得到对应的特征向量的步骤之前,还包括:
[0054]
步骤S150,利用质量评估算法对身份证图像、人脸可见光图像和人脸近红外光图像进行质量评估。
[0055]
具体地,由于在现场采集人脸图像(人脸可见光图像和人脸近红外光图像)时,图像质量容易受环境光照(强度或弱光)、摄像头采集图像时焦距对准等多因素的影响,一次采集到的图像质量差(如分辨率低等),或者身份证采集装置一次采集的图像模糊不清等,这些图像都会影响后期的身份认证的准确性。因此,在采集到人脸图像和身份证图像后,要对图像进行质量评估,看其是否适用于后期的身份认证。如果图像质量差不能用于后期身份认证,就重新采集人脸图像和身份证图像。在本实施例中,利用质量评估算法来对现场采集的人脸图像和身份证进行质量评估。另外,在采集到人脸图像后,还可以对其进行活体检测,以确保采集到的人脸图像是来自待测人员现场采集的活体图像,而不是利用待测人员的照片等采集到的图像。
[0056]
步骤S160,在身份证图像、人脸可见光图像和人脸近红外光图像质量满足要求时,对身份证图像、人脸可见光图像和人脸近红外光图像进行图像预处理。
[0057]
在本实施例中,在身份证图像、人脸可见光图像和人脸近红外光图像质量满足要求时,对身份证图像、人脸可见光图像和人脸近红外光图像进行预处理,例如对身份证图像、人脸可见光图像和人脸近红外光图像进行人脸对其处理、对身份证图像、人脸可见光图像和人脸近红外光图像进行分辨率处理,使其分辨率保持一致等。对这些图像进行预处理,能有效增强提取的图像特征的准确率,进而增加身份认证的准确性。
[0058]
在其中一种实施例中,如图3所示,预先完成训练的Triplets CNN模型通过以下步骤获得:
[0059]
步骤S170,预先获取多幅身份证图像、与身份证图像对应的人脸可见光图像和人脸近红外光图像,并以多幅身份中图像、人脸可见光图像和人脸近红外光图像构建训练集的三元组图像,三元组图像包括参考样本图像、同类样本图像和异类样本图像。
[0060]
具体地,三元组是基于度量学习的Triplet loss函数中的概念,一个三元组Triplets由anchor样本(即参考样本),positive样本(即同类样本),negative样 本构成(即异类样本),所谓的三元组就是三个样例,如(anchor,positive,negative),其中,a和p是同一类,a和n是不同类。那么学习的过程就是学到一种表示,对于尽可能多的三元组,使得anchor和positive的距离小于anchor和negative的距离。即:
[0061]
[0062]
其中x i a表示参考样本,x i p表示同类样本,x i n表示异类样本,α表示特定阈值,在0.0~1.0之间,建议值为0.2。不等式本质上定义了同类样本和异类样本之间的距离关系,即:所有同类样本之间的距离+阈值α要小于异类样本之间的距离。将上述公式进行转换,得到基于Triplets的目标函数:
[0063]
[0064]
目标函数的含义就是对于不满足条件的三元组,进行优化;对于满足条件的三元组,就先不管。
[0065]
在本实施例中,首先采集多幅身份证图像、与身份证图像对应的人脸可见光图像和人脸近红外光图像,以多幅身份中图像、人脸可见光图像和人脸近红外光图像构建训练集的三元组图像。
[0066]
步骤S180,根据预设的三元组选择条件从三元组图像中选取满足条件的三元组图像。
[0067]
在本实施例中,预设的三元组选择条件可以是以身份证图像、人脸可见光图像和人脸近红外光图像中任意一种图像中的一张图像作为参考样本,以其他种图像为同类样本或异类样本,选择同类样本中与参考样本距离最远的图像和异类样本中与参考样本距离最近的图像,生成满足条件的三元组图像。另外,三元组选择条件可以根据身份认证过程中实际的需求进行设计,选择方式并不唯一。
[0068]
步骤S190,将满足条件的三元组图像输入至CNN模型中进行训练,得到训练完成的Triplets CNN模型。
[0069]
在本实施例中,将筛选出来的满足条件的三元组图像,然后将这些满足条件的三元组图像输入至CNN模型中(如图4),进行训练就可得到训练完成的Triplets CNN模型。其中Triplets CNN模型(即Triplets深度卷积神经网络模型)主要是由卷积层、池化层、全连接层(平均池化层)、Triplets loss层组成;一般情况下卷积层的个数是不同的,可以根据实际需求进行调整,每个卷积层后面会紧跟一个池化层用于局部平均和子抽样,在卷积和抽样之间的连续交替,最后由全连接层进行输出。在身份认证过程将三元组(即待测人员的身份证图像、 人脸可见光图像和人脸近红外光图像)放入Triplets CNN网络模型中,经过多次运算,使Triplets loss尽可能小且收敛,最后在抽取人脸图像的特征时,提取了Triplets CNN中最后一个全连接层(平均池化层)的输出,根据训练的Triplets CNN模型,分别提取身份证照片、近红外人脸图像、可见光人脸图像的全连接层(平均池化层)特征。
[0070]
在其中一种实施例中,如图5所示,第一参考样本三元组图像、第二参考样本三元组图像和第三参考样本三元组图像为满足条件的三元组图像,根据预设的三元组选择条件从三元组图像中选取满足条件的三元组图像的步骤中,包括:
[0071]
步骤S181,从参考样本图像中选取任意一张身份证图像作为第一参考样本,从同类样本图像中选取一张与第一参考样本距离最远的人脸近红外光图像,并从异类样本图像选取一张与第一参考样本距离最近的人脸近红外光图像,生成第一参考样本三元组图像;
[0072]
步骤S182,从参考样本图像中选取任意一张人脸近红外光图像作为第二参考样本,从同类样本图像中选取一张与第二参考样本距离最远的人脸可见光图像,并从异类样本图像选取一张与第一参考样本距离最近的人脸可见光图像,生成第二参考样本三元组图像;
[0073]
步骤S183,从参考样本图像中选取任意一张人可见光图像作为第三参考样本,从同类样本图像中选取一张与第三参考样本距离最远的身份证图像,并从异类样本图像选取一张与第三参考样本距离最近的身份证图像,生成第三参考样本三元组图像。
[0074]
在本实施例中,将身份证图像记为IDPIC、人脸近红外图像记为NIR、可见光图像简称记为VIS。根据预设的三元组选择条件从三元组图像中选取满足条件的三元组图像的步骤如下:
[0075]
(1)IDPIC-NIR:从anchor样本图像中选取一张身份证照片作为第一参考样本,在欧式空间里,从nositive样本图像中选取一张与身份证照片距离最远的人脸近红外人脸图像,构成hard anchor-nositive,从negative样本图像中选取一张与身份证照片距离最近的人脸近红外人脸图像,构成hard anchor-negative,如图6a所示;其中anchor、hard anchor-nositive和hard anchor-negative构成了第一参考样本三元组图像。同理,NIR-IDPIC也如上所示。
[0076]
(2)NIR-VIS:从anchor样本图像中选取一张近红外图像作为第二参考样本,在欧式空间里,从positive样本图像中选取一张与近红外图像距离最远的可见光人脸图像,构成hard anchor-Positive,从negative样本图像中选取一张近红外图像距离最近的可见光人脸图像,构成hard anchor-negative,如图6b所示; 其中anchor、hard anchor-nositive和hard anchor-negative构成了第二参考样本三元组图像。同理,VIS-NIR也如上所示。
[0077]
(3)VIS-IDPIC:从anchor样本图像中选取选取一张可见光图像作为第三参考样本,在欧式空间里,从positive样本图像中选取一张与可见光图像距离最远的身份证照片,构成hard anchor-positive,从negative样本图像中选取一张与可见光图像距离最近的身份证照片,构成hard anchor-negative,如图6c所示;其中anchor、hard anchor-nositive和hard anchor-negative构成了第三参考样本三元组图像。同理,IDPIC-VIS也如上所示。
[0078]
在其中一种实施例中,在将满足条件的三元组图像输入至CNN模型中进行训练,得到训练完成的Triplets CNN模型的步骤中,包括:
[0079]
步骤S191,将满足条件的三元组图像输入至CNN模型中进行多个卷积层和池化层的学习训练,并计算Triplets的目标损失函数值,在Triplets的目标损失函数值收敛时,得到训练完成的Triplets CNN模型。
[0080]
在本实施例中,将图中的满足条件的三元组图像输入至CNN模型中进行多个卷积层和池化层的学习训练,并计算Triplets的目标损失函数值,在Triplets的目标损失函数值收敛时,得到训练完成的Triplets CNN模型。其中卷积层和池化层的个数可以根据实际图像处理时的需求进行调整。其中每个卷积层后面会紧跟一个池化层用于局部平均和子抽样,在卷积和抽样之间的连续交替,最后由全连接层进行输出。
[0081]
在其中一种实施例中,如图7所示,在根据特征向量分别计算身份证图像、人脸可见光图像和人脸近红外光图像中任意两个图像的相似度的步骤中,包括:
[0082]
步骤S131,根据以下公式计算身份证图像、人脸可见光图像和人脸近红外光图像中任意两个图像的相似度:
[0083]
[0084]
sim(I 1,I 2)表示特征向量为I 1的图像与特征向量为I 2的图像的相似度,n是特征向量的维数,f 1k是特征向量I 1的第k个元素,f 2k是特征向量I 2的第k个元素。
[0085]
具体地,在其中一种实施例中,如图7所示,在根据相似度对身份证图像、人脸可见光图像和人脸近红外光图像的一致性进行判断,并输出身份认证结果的步骤中,包括:
[0086]
步骤S141,在身份证图像与人脸可见光图像的相似度或身份证图像与人脸近红外光图像的相似度大于预设的阈值时,判定待认证人员的身份认证通过。
[0087]
在本实施例中,在计算出利用计算出身份证图像、人脸可见光图像和人脸 近红外光图像的特征向量分别计算出身份证图像、人脸可见光图像和人脸近红外光图像两两之间的相似度之后,采用决策输出方式:
[0088]
[0089]
若result为1,则代表身份证照片、人脸可见光图像、人脸近红外光图像的身份一致,身份认证通过,反之为0则代表三张图像的身份不一致,身份认证不通过。其中T为预设的阈值,IDPIC表示身份证照片、NIR表示人脸近红外光图像、VIS表示人脸可见光图像。
[0090]
根据上述本发明的身份认证的方法,本发明还提供一种身份认证的方法系统,下面结合附图及较佳实施例对本发明的身份认证的方法系统进行详细说明。
[0091]
图为本发明的身份认证的方法系统在一个实施例中的结构示意图。如图8所示,该实施例中的身份认证的方法系统,包括:
[0092]
图像获取模块10,用于获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像。
[0093]
特征向量获得模块20,用于将身份证图像、人脸可见光图像和人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取身份证图像、人脸可见光图像和人脸近红外光图像的卷积特征,得到对应的特征向量。
[0094]
相似度计算模块30,用于根据特征向量分别计算身份证图像、人脸可见光图像和人脸近红外光图像中任意两个图像的相似度。
[0095]
身份认证判断模块40,用于根据相似度对身份证图像、人脸可见光图像和人脸近红外光图像的一致性进行判断,并输出身份认证结果。
[0096]
在其中一个实施例中,身份认证的系统,还包括:
[0097]
质量评估模块50,用于利用质量评估算法对身份证图像、人脸可见光图像和人脸近红外光图像进行质量评估。
[0098]
图像预处理模块60,用于在身份证图像、人脸可见光图像和人脸近红外光图像质量满足要求时,对身份证图像、人脸可见光图像和人脸近红外光图像进行图像预处理。
[0099]
在其中一个实施例中,身份认证的系统,还包括:
[0100]
训练集三元组构建模块70,用于预先获取多幅身份证图像、与身份证图像对应的人脸可见光图像和人脸近红外光图像,以多幅身份中图像、人脸可见光图像和人脸近红外光图像构建训练集的三元组图像,三元组图像包括参考样本图像、同类样本图像和异类样本图像。
[0101]
三元组图像选择模块80,用于根据预设的三元组选择条件从三元组图像中选取满足条件的三元组图像;
[0102]
Triplets CNN模型训练模块90,用于将满足条件的三元组图像输入至CNN模型中进行训练,得到训练完成的Triplets CNN模型。
[0103]
在其中一个实施例中,身份认证的系统,还包括:
[0104]
相似度计算模块30,还用于根据以下公式计算身份证图像、人脸可见光图像和人脸近红外光图像中任意两个图像的相似度:
[0105]
[0106]
sim(I 1,I 2)表示特征向量为I 1的图像与特征向量为I 2的图像的相似度,n是特征向量的维数,f 1k是特征向量I 1的第k个元素,f 2k是特征向量I 2的第k个元素。
[0107]
在其中一个实施例中,第一参考样本三元组图像、第二参考样本三元组图像和第三参考样本三元组图像为满足条件的三元组图像,三元组图像选择模块80,还包括:
[0108]
第一参考样本三元组图像生成模块81,用于从参考样本图像中选取任意一张身份证图像作为第一参考样本,从同类样本图像中选取一张与第一参考样本距离最远的人脸近红外光图像,并从异类样本图像选取一张与第一参考样本距离最近的人脸近红外光图像,生成第一参考样本三元组图像;
[0109]
第二参考样本三元组图像生成模块82,用于从参考样本图像中选取任意一张人脸近红外光图像作为第二参考样本,从同类样本图像中选取一张与第二参考样本距离最远的人脸可见光图像,并从异类样本图像选取一张与第一参考样本距离最近的人脸可见光图像,生成第二参考样本三元组图像;
[0110]
第三参考样本三元组图像生成模块83,用于从参考样本图像中选取任意一张人可见光图像作为第三参考样本,从同类样本图像中选取一张与第三参考样本距离最远的身份证图像,并从异类样本图像选取一张与第三参考样本距离最近的身份证图像,生成第三参考样本三元组图像。
[0111]
在其中一个实施例中,身份认证的系统,还包括:
[0112]
Triplets CNN模型训练模块90,还用于将满足条件的三元组图像输入至CNN模型中进行多个卷积层和池化层的学习训练,并计算Triplets的目标损失函数值,在Triplets的目标损失函数值收敛时,得到训练完成的Triplets CNN模型。
[0113]
上述身份认证的方法系统可执行本发明实施例所提供的身份认证的方法,具备执行方法相应的功能模块和有益效果。至于其中各个功能模块所执行的处理方法,例如图像获取模块10、特征向量获得模块20、相似度计算模块30、身份认证判断模块40、Triplets CNN模型训练模块90等,可参照上述方法实施例 中的描述,此处不再进行赘述。
[0114]
根据上述本发明的身份认证的方法和系统备,本发明还提供一种计算机可读存储介质,下面结合附图及较佳实施例对本发明的计算机可读存储介质进行详细说明。
[0115]
本发明实施例中的计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可以实现本发明方法实施例中的所有方法步骤。
[0116]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等”。
[0117]
上述计算机可读存储介质用于存储本发明实施例所提供的身份认证的方法的程序(指令),其中执行该程序可以执行本发明实施例所提供的身份认证的方法,具备执行方法相应有益效果。可参照上述方法实施例中的描述,此处不再进行赘述。
[0118]
根据上述本发明的身份认证的方法和系统,本发明还提供一种身份认证的装置,下面结合附图及较佳实施例对本发明的计算机设备进行详细说明。
[0119]
图9为本发明的身份认证的装置在一个实施例中的结构示意图。如图9所示,该实施例中的身份认证的装置,包括双目摄像头901、身份证图像采集装置902、处理器903以及显示屏904、;
[0120]
双目摄像头901用于采集待认证人员的人脸可见光图像和人脸近红外光图像;
[0121]
身份证图像采集装置902用于采集待认证人员的身份证图像;
[0122]
处理器903用于执行以下步骤:
[0123]
获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像;
[0124]
将身份证图像、人脸可见光图像和人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取身份证图像、人脸可见光图像和人脸近红外光图像的卷积特征,得到对应的特征向量;
[0125]
根据特征向量分别计算身份证图像、人脸可见光图像和人脸近红外光图像中任意两个图像的相似度;
[0126]
根据相似度对身份证图像、人脸可见光图像和人脸近红外光图像的一致性进行判断,并输出身份认证结果;
[0127]
显示屏904用于显示身份认证结果。
[0128]
上述的身份认证装置可以利用双目摄像图同时采集待认证人员的人脸可见 光图像和人脸近红外光图像,利用身份证图像采集装置采集待认证人员的身份证图像,然后将采集到的图像处理器,利用Triplets CNN模型计算身份证图像、人脸可见光图像和人脸近红外光图像中任意两个图像的相似度,根据相似度对身份证图像、人脸可见光图像和人脸近红外光图像的一致性进行判断,并输出身份认证结果。该身份认证装置使用方便,能快速进行身份认证。
[0129]
在一种具体的实施例中,身份认证的装置,包括壳体100、装设于壳体100侧面的显示屏200、装设于壳体100侧面上端的双目摄像头300、装设于壳体100侧面下端身份证图像采集装置400以及装设于壳体100内部的处理器(图中未示出)。该身份认证装置中将双目摄像头300设置于壳体100侧面上端方便对待认证人员人脸图像的采集,将身份证图像采集装置400设置与于壳体100侧面下端方便待认证人员放置身份证,并采集身份证图像,该身份认证装置结构简单,方便使用。
[0130]
进一步地,显示屏200为触摸显示屏。方便用于对身份认证装置操作,例如选择人脸图像的重新采集等。
[0131]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0132]
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

权利要求书

[权利要求 1]
一种身份认证的方法,其特征在于,包括以下步骤: 获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像; 将所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的卷积特征,得到对应的特征向量; 根据所述特征向量分别计算所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像中任意两个图像的相似度; 根据所述相似度对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的一致性进行判断,并输出身份认证结果。
[权利要求 2]
根据权利要求1所述的身份认证的方法,其特征在于,在将所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的卷积特征,得到对应的特征向量的步骤之前,还包括: 利用质量评估算法对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像进行质量评估; 在所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像质量满足要求时,对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像进行图像预处理。
[权利要求 3]
根据权利要求1所述的身份认证的方法,其特征在于,所述预先完成训练的Triplets CNN模型通过以下步骤获得: 预先获取多幅身份证图像、与所述身份证图像对应的人脸可见光图像和人脸近红外光图像,并以多幅所述身份中图像、所述人脸可见光图像和所述人脸近红外光图像构建训练集的三元组图像,所述三元组图像包括参考样本图像、同类样本图像和异类样本图像; 根据预设的三元组选择条件从所述三元组图像中选取满足条件的三元组图像; 将所述满足条件的三元组图像输入至CNN模型中进行训练,得到训练完成的Triplets CNN模型。
[权利要求 4]
根据权利要求3所述的身份认证的方法,其特征在于,所述第一参考样本三元组图像、所述第二参考样本三元组图像和所述第三参考样本三元组图像为满足条件的三元组图像,根据预设的三元组选择条件从所述三元组图像中选取满足条件的三元组图像的步骤中,包括: 从所述参考样本图像中选取任意一张身份证图像作为第一参考样本,从所 述同类样本图像中选取一张与所述第一参考样本距离最远的人脸近红外光图像,并从所述异类样本图像选取一张与所述第一参考样本距离最近的人脸近红外光图像,生成第一参考样本三元组图像; 从所述参考样本图像中选取任意一张人脸近红外光图像作为第二参考样本,从所述同类样本图像中选取一张与所述第二参考样本距离最远的人脸可见光图像,并从所述异类样本图像选取一张与所述第一参考样本距离最近的人脸可见光图像,生成第二参考样本三元组图像; 从所述参考样本图像中选取任意一张人可见光图像作为第三参考样本,从所述同类样本图像中选取一张与所述第三参考样本距离最远的身份证图像,并从所述异类样本图像选取一张与所述第三参考样本距离最近的身份证图像,生成第三参考样本三元组图像。
[权利要求 5]
根据权利要求3所述的身份认证的方法,其特征在于,在将所述满足条件的三元组图像输入至CNN模型中进行训练,得到训练完成的Triplets CNN模型的步骤中,包括: 将所述满足条件的三元组图像输入至CNN模型中进行多个卷积层和池化层的学习训练,并计算Triplets的目标损失函数值,在所述Triplets的目标损失函数值收敛时,得到训练完成的Triplets CNN模型。
[权利要求 6]
根据权利要求1所述的身份认证的方法,其特征在于,在根据所述特征向量分别计算所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像中任意两个图像的相似度的步骤中,包括: 根据以下公式计算所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像中任意两个图像的相似度: sim(I 1,I 2)表示特征向量为I 1的图像与特征向量为I 2的图像的相似度,n是特征向量的维数,f 1k是特征向量I 1的第k个元素,f 2k是特征向量I 2的第k个元素。
[权利要求 7]
根据权利要求1或6所述的身份认证的方法,其特征在于,在根据所述相似度对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的一致性进行判断,并输出身份认证结果的步骤中,包括: 在所述身份证图像与所述人脸可见光图像的相似度或所述身份证图像与所述人脸近红外光图像的相似度大于预设的阈值时,判定所述待认证人员的身份认证通过。
[权利要求 8]
一种身份认证的方法系统,其特征在于,包括: 图像获取模块,用于获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像; 特征向量获得模块,用于将所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的卷积特征,得到对应的特征向量; 相似度计算模块,用于根据所述特征向量分别计算所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像中任意两个图像的相似度; 身份认证判断模块,用于根据所述相似度对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的一致性进行判断,并输出身份认证结果。
[权利要求 9]
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7所述方法的步骤。
[权利要求 10]
一种身份认证的装置,其特征在于,包括显示屏、双目摄像头、身份证图像采集装置以及处理器; 所述双目摄像头用于采集待认证人员的人脸可见光图像和人脸近红外光图像; 所述身份证图像采集装置用于采集待认证人员的身份证图像; 所述处理器用于执行以下步骤: 获取待认证人员的身份证图像、人脸可见光图像和人脸近红外光图像; 将所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像输入至预先完成训练的Triplets CNN模型中,提取所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的卷积特征,得到对应的特征向量; 根据所述特征向量分别计算所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像中任意两个图像的相似度; 根据所述相似度对所述身份证图像、所述人脸可见光图像和所述人脸近红外光图像的一致性进行判断,并输出身份认证结果; 所述显示屏用于显示所述身份认证结果。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6A]  
[ 图 6B]  
[ 图 6C]  
[ 图 7]  
[ 图 8]  
[ 图 9]  
[ 图 10]