说明书
发明名称 : 手掌图像裁剪方法、装置、计算机设备及存储介质
[0002]
本申请以2019年5月15日提交的申请号为201910401330.4，名称为“手掌图像裁剪方法、装置、设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
[0003]
本申请属于图像识别领域，尤其涉及一种手掌图像裁剪方法、装置、计算机设备及存储介质。
[0004]
在常用的生物特征识别技术中，指纹识别应用范围最为广泛，虹膜的识别精度很高，然而这两种生物特征的采集区域较小，需要高分辨率的图像才能取得满意的识别精度，普通移动设备的成像系统很难采集到能够满足识别要求的高分辨率指纹或虹膜图像。而手形和掌纹的区域较大，相关的识别技术并不需要很高的图像分辨率。掌纹是指手指末端到手腕部分的手掌图像。其中很多特征可以用来进行身份识别：如主线、皱纹、细小的纹理、分叉点等。掌纹识别也是一种非侵犯性的识别方法，用户比较容易接受，对采集设备要求不高。
[0005]
但现有技术在获取手掌图像时，通常使用固定设备，通过模板匹配法，检测手的轮廓，要求手的姿态与图像采集设定的姿态一致，当手的姿态与图像采集设定的姿态不一致时，采集到的图像用于掌纹识别，存在识别误差率较高的问题。
[0007]
本申请提供一种手掌图像裁剪方法、装置、计算机设备及存储介质，以解决掌纹识别时手掌图像的获取问题。
[0008]
为解决上述技术问题，本申请提出一种手掌图像裁剪方法，包括如下步骤：
[0010]
将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归 模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
[0011]
根据所述手掌关键点，计算所述图像中手掌的掌心点C；
[0012]
以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[0013]
为解决上述问题，本申请还提供一种手掌图像裁剪装置，包括：
[0015]
处理模块，用于将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
[0016]
计算模块，用于根据所述手掌关键点，计算所述图像中手掌的掌心点C；
[0017]
执行模块，用于以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[0018]
为解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如下手掌图像裁剪方法的步骤:
[0020]
将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
[0021]
根据所述手掌关键点，计算所述图像中手掌的掌心点C；
[0022]
以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[0023]
为解决上述技术问题，本申请实施例还提供一个或多个存储有计算机可读指令的非易失性可读存储介质，所述非易失性可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得所述处理器执行如下手掌图像裁剪方法的步骤:
[0025]
将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的 手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
[0026]
根据所述手掌关键点，计算所述图像中手掌的掌心点C；
[0027]
以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[0028]
本发明实施例的有益效果为：通过获取待处理的图像；将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点；根据所述手掌关键点，计算所述图像中手掌的掌心点；以掌心点为中心进行裁剪，获取所述待处理图像中手掌的掌纹图像。经过裁剪后的图像包含了用于掌纹识别的关键点，且通过关键点可以确定手的姿态，同时避免了复杂背景的干扰，降低了掌纹识别的误差率。
[0029]
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
[0030]
图1为本申请实施例一种手掌图像裁剪方法基本流程示意图；
[0031]
图2为本申请实施例以掌心点C为中心，以AB为一条边的矩形对图像进行裁剪的示意图；
[0032]
图3为本申请实施例手掌关键点预测流程示意图；
[0033]
图4为本申请实施例图像旋转流程示意图；
[0034]
图5为本申请实施例级联姿势回归模型训练流程示意图；
[0035]
图6为本申请实施例一种手掌图像裁剪装置基本结构框图；
[0036]
图7为本申请实施计算机设备基本结构框图。
[0037]
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0038]
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用 于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
[0039]
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0041]
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
[0043]
具体地，请参阅图1，图1为本实施例一种手掌图像裁剪方法的基本流程示意图。
[0044]
如图1所示，一种手掌图像裁剪方法，包括下述步骤：
[0046]
通过具有图像采集功能的设备获取待处理的图片，包括带摄像头的手持设 备、移动设备等。
[0047]
S102、将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
[0048]
本申请实施例通过级联姿势回归模型对输入的图像进行手掌关键点的预测。级联姿势回归模型由一系列的卷积神经网络级联构成，级联姿势回归模型经过训练具备预测手掌关键点的功能，具体的训练过程请参见图5。本申请实施例检测的手的掌关键点包含食指指根A、小指指根B、中指指尖D。通过级联的卷积神经网络预测手的关键位置的优点是可以在初始阶段采用较简单的网络,减少计算量,提高关键点识别的效率。
[0049]
级联的卷积神经网络模型也可以称之为回归器。通过一系列回归器将一个指定的初始预测值逐步细化，每一个回归器都依靠前一个回归器的输出来执行简单的图像操作，整个系统从训练样本中学习手的关键点特征来预测手掌关键点。
[0050]
S103、根据所述手掌关键点，计算所述图像中手掌的掌心点C；
[0051]
根据步骤S102获取了食指指根A、小指指根B，以AB的中点E为一个端点，以垂直于AB的方向，并以至少等于AB长度的1/2取线段CE，C即为掌心点，且掌心点C与中指指尖D分别位于直线AB的两边。即掌心点在AB的中线上，与中指指尖D分别位于直线AB的两边。
[0052]
S104、以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[0053]
以掌心点C为中心，以至少包含食指指根A和小指指根B的圆形或矩形对图像进行裁剪，得到包含手掌关键点食指指根A和小指指根B的掌纹图像。特别地，如图2所示，当以AB长度的1/2取手掌掌心点C，并以掌心点C为中心，以AB为一条边的矩形对图像进行裁剪时，既全部保留了手掌的关键点和掌纹图像，又去除了干扰掌纹识别的背景图像，裁剪后的图像用于掌纹识别减少了掌纹识别的计算量，提高计算效率，没有背景图像的干扰，掌纹识别的精度更高。由于掌心点C位于AB的中线上，以C为中心，以AB为一条边的矩形的第3个顶点为BC延长到F，CF的长度等于BC，同理，第4个顶点为AC延长到G，CG的长度等于AC。则以C为中心，以AB为一条边的矩形为ABGF。
[0054]
如图3所示，在所述将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点的步骤中，包括下述步骤：
[0055]
S111、将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置；
[0056]
当图像采集设备采集到的手掌图像背景较复杂时，通过预设的目标检测模型预测手的位置，从而输出只包含待识别的手掌图像。预设的目标检测模型采用SSD(Single Shot MultiBox Detector)目标检测算法。SSD是基于一个前向传播CNN网络，产生一系列固定大小(fixed-size)的bounding boxes，以及每一个box中包含物体实例的可能性，即score。之后，进行一个非极大值抑制(Non-maximum suppression)得到最终的预测结果predictions。
[0057]
SSD模型的最开始部分，称作base network，是用于图像分类的标准架构。在base network之后，添加了额外辅助的网络结构：即用来进行特征提取的卷积层，这些卷积层的大小是逐层递减的，可以在多尺度下进行predictions。
[0058]
每一个新添加的层，可以使用一系列的卷积核进行预测。对于一个大小为m*n、p通道的特征层，使用3*3的卷积核进行预测，在某个位置上预测出一个值，该值是某一类别的得分，本申请实施例中也可以理解为包含在该位置上，以某一尺寸的box包含手的概率。图像经该模型计算，在每个位置都将产生一个值。概率最高的某一位置某一尺寸的box即为预测的手的位置。按照此位置和尺寸对待处理的图片进行裁剪，得到手掌图像。
[0059]
S112、将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
[0060]
将去除了背景的手掌图像输入到预先训练的级联姿势回归模型中，获得级联姿势回归模型输出的手掌关键点。
[0061]
如图4所示，在步骤S103之后；步骤之S104前，还包括下述步骤：
[0062]
S121、根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度；
[0063]
根据中指指尖D、食指指根A和小指指根B的连线来判断手的倾斜度，食指指根A的坐标为(A.x,A.y),小指指根B的坐标为(B.x,B.y)，以A为原点，则B可以表示(B.x-A.x，B.y-A.y)，AB与水平方向的倾斜角度a可表示为arctan (B.y-A.y)/(B.x-A.x)。
[0064]
S122、根据所述倾斜度，对所述图像进行旋转。
[0065]
以A为原点，D可以表示为(D.x-A.x，D.y-A.y)，DA与水平方向的倾斜角度b可表示为arctan(D.y-A.y)/(D.x-A.x)。当a小于b时，将手掌图像顺时针旋转a度，使AB处于水平位置，中指指尖D位于AB的上方，实现手掌姿势与掌纹识别装置预设的姿势对齐。可以理解地，将手掌图像逆时针旋转360-a度，可以达到相同的效果。当a大于b时，将手掌图像顺时针旋转180+a度，使AB处于水平位置，中指指尖D位于AB的上方，实现手掌姿势与掌纹识别装置预设的姿势对齐。可以理解地，将手掌图像逆时针旋转180-a度，可以达到相同的效果。
[0066]
如图5所示，级联姿势回归模型按照下述步骤训练：
[0067]
S131、获取训练样本，所述训练样本为标注了手掌关键点的手掌图片集，其中，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖；
[0068]
级联姿势回归模型通过级联的卷积神经网络构成，训练样本为标注了手掌关键点的手掌图片集，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖，使经过训练的姿势回归模型可以预测出食指指根、小指指根和中指之间的位置。
[0069]
S132、将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点；
[0070]
级联姿势回归模型的级联的卷积神经网络模型也可以称之为回归器，通过一系列回归器将一个指定的初始预测值逐步细化，每一个回归器都依靠前一个回归器的输出来执行简单的图像操作，整个系统从训练样本中学习手的关键点特征来预测手掌关键点。
[0071]
手掌关键点检测的目的是估计向量，K表示关键点的个数，由于每个关键点有横纵两个坐标，所以S的长度为2K。在每个阶段中首先进行特征提取，这里使用的是shape-indexed features，也可以使用诸如HOG、SIFT等人工设计的特征，或者其他可学习特征(learning based features)。
[0072]
训练过程是先初始化一个S
0，然后提取特征，用特征进行回归，再更新S。即当t＝1时，将预设的关键点初始化值S
0和所述训练样本输入到第1个回归器，获取第1个回归器输出的关键点预测值S
1；
[0073]
当t＝2～T时，将第t-1个回归器输出的关键点预测值S
t-1和所述训练样本输 入到第t个回归器，获取第t个回归器输出的关键点预测值S
t，所述第T个回归器输出的关键点预测值S
T即为所述级联姿势回归模型预测的手掌关键点。
[0074]
其中，回归器包括特征提取层、关键点增量估计层，在将第t-1个回归器输出的关键点预测值S
t-1和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值S
t的具体过程为：
[0075]
先将第t-1个回归器输出的关键点预测值S
t-1和所述训练样本输入到特征提取层，获取特征提取层输出的特征向量；然后将特征向量输入到所述关键点增量估计层，获取第t个回归器输出的关键点增量值ΔS
t；然后将所述第t-1个回归器输出的关键点预测值S
t-1与所述第t个回归器输出的关键点增量值ΔS
t相加，得到所述第t个回归器输出的关键点预测值S
t。
[0076]
第T个回归器输出的关键点预测值S
T即为级联姿势回归模型预测的手掌关键点。
[0077]
有时候初始化S
0选的不合适就会导致错误预测。所以可以对每一个图像，初始化K个不同姿态，级联神经网络模型运行K次得到K个不同结果。对这些结果进行聚类，选取密度最高的结果作为最终结果。即得到K个食指指根、小指指根和中指指尖的预测值，以每个预测值为圆心，以eps为半径画个圈(称为邻域eps-neigbourhood)，然后数有多少个点在这个圈内，这个数就是该点密度值。选取一个密度阈值MinPts，如圈内点数小于MinPts的圆心点为低密度的点，而大于或等于MinPts的圆心点高密度的点(称为核心点Core point)。则取密度最高的圆心点作为最终预测的手掌关键点。具体算法为DBSCAN算法。
[0078]
S133、计算所述标注的手掌关键点和所述预测的手掌关键点之间的距离；
[0079]
计算预测的手掌关键点与标注的手掌关键点之间的距离，这里指对应关键点之间的距离，例如标注的手掌关键点为食指指根、中指指尖、小指指根，则计算预测的食指指根与标注的食指指根的距离，预测的小指指根与标注的小指指根的距离，预测的中指指尖与标注中指指尖的距离。两个点之间的距离即两个坐标的差的平方。
[0080]
S134、调整所述级联姿势回归模型各节点的参数，至所述标注的手掌关键点和所述预测的手掌关键点之间的距离最小时，训练结束。
[0081]
调整级联姿势回归模型各节点的参数，即调整级联的各卷积神经网络模型各节点的权重，使预测的手掌关键点与标注的手掌关键的之间的距离最小时，训练结束，此时，认为各节点参数定义的级联姿势回归模型具备预测手掌关键 点的功能。
[0082]
为解决上述技术问题本申请实施例还提供一种手掌图像裁剪装置。具体请参阅图6，图6为本实施例手掌图像裁剪装置的基本结构框图。
[0083]
如图6所示，一种手掌图像裁剪装置，包括：获取模块210、处理模块220、计算模块230和执行模块240，其中获取模块210，用于获取待处理的图像；处理模块220，用于将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；计算模块230，用于根据所述手掌关键点，计算所述图像中手掌的掌心点C；执行模块240，用于以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[0084]
本申请实施例通过获取待处理的图像；将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；根据所述手掌关键点，计算所述图像中手掌的掌心点C；以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。经过裁剪后的图像包含了用于掌纹识别的关键点，且通过关键点可以确定手的姿态，同时避免了复杂背景的干扰，降低了掌纹识别的误差率。
[0085]
在一些实施方式中，计算模块230还包括：中点确定子模块，用于确定以食指指根A和所述小指指根B为端点构成的线段AB的中点E；掌心确定子模块，用于以所述中点E为端点，以垂直于所述线段AB的方向，确定掌心点C，使CE的长度至少为所述线段AB长度的1/2，且掌心点C与所述中指指尖D位于所述线段AB的两边。
[0086]
在一些实施方式中，所述处理模块220还包括：第一检测子模块，用于将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置；第一处理子模块，用于将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
[0087]
在一些实施方式中，所述手掌图像裁剪装置还包括：第一计算子模块，用 于根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度；第二处理子模块，用于根据所述倾斜度，对所述图像进行旋转。
[0088]
在一些实施方式中，所述执行模块240中还包括：第三处理子模块，用于以所述食指指根A和所述小指指根B之间的连线AB为矩形的其中一条边；以所述食指指根A或所述小指指根B为一个端点，以所述掌心点C为中心，以连线AC或者BC长度的2倍为矩形的对角线的矩形对所述图像进行裁剪。
[0089]
在一些实施方式中，所述手掌图像裁剪装置还包括：第一获取子模块，用于获取训练样本，所述训练样本为标注了手掌关键点的手掌图片集，其中，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖；第四处理子模块，用于将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点；第二计算子模块，用于计算所述标注的手掌关键点和所述预测的手掌关键点之间的距离；第一调整子模块，用于调整所述级联姿势回归模型各节点的参数，至所述标注的手掌关键点和所述预测的手掌关键点之间的距离最小时，训练结束。
[0090]
在一些实施方式中，所述手掌图像裁剪装置中的级联姿势回归模型包含T个回归器，T为大于1的正整数，所述第四处理子模块中包括：第一预测子模块，用于当t＝1时，将预设的关键点初始化值S
0和所述训练样本输入到第1个回归器，获取第1个回归器输出的关键点预测值S
1；第二预测子模块，用于当t＝2～T时，将第t-1个回归器输出的关键点预测值S
t-1和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值S
t，所述第T个回归器输出的关键点预测值S
T即为所述级联姿势回归模型预测的手掌关键点。
[0091]
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。
[0092]
如图7所示，计算机设备的内部结构示意图。如图7所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种手掌图像裁剪的方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种手掌图像裁剪的方法。该计算机设备的网络接口用于与终端连接通信。本 领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0093]
本实施方式中处理器用于执行图6中获取模块210、处理模块220、计算模块230和执行模块240的具体内容，存储器存储有执行上述模块所需的计算机可读指令和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有手掌图像裁剪方法中执行所有子模块所需的计算机可读指令及数据，服务器能够调用服务器的计算机可读指令及数据执行所有子模块的功能。
[0094]
计算机设备通过获取待处理的图像；将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；根据所述手掌关键点，计算所述图像中手掌的掌心点C；以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。经过裁剪后的图像包含了用于掌纹识别的关键点，且通过关键点可以确定手的姿态，同时避免了复杂背景的干扰，降低了掌纹识别的误差率。
[0095]
本申请还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述手掌图像裁剪方法的步骤。
[0096]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一个或多个非易失性可读取存储介质中，该计算机可读指令在被执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
[0097]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这 些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0098]
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
权利要求书
[权利要求 1]
一种手掌图像裁剪方法，其特征在于，包括下述步骤： 获取待处理的图像； 将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D； 根据所述手掌关键点，计算所述图像中手掌的掌心点C；以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[权利要求 2]
根据权利要求1所述的手掌图像裁剪方法，其特征在于，在所述根据所述手掌关键点，计算所述图像中手掌的掌心点C的步骤中，包括下述步骤： 确定以所述食指指根A和所述小指指根B为端点构成的线段AB的中点E； 以所述中点E为端点，以垂直于所述线段AB的方向，确定掌心点C，使CE的长度至少为所述线段AB长度的1/2，且掌心点C与所述中指指尖D位于所述线段AB的两边。
[权利要求 3]
根据权利要求1所述的手掌图像裁剪方法，其特征在于，在所述将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点的步骤中，包括下述步骤： 将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置； 将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
[权利要求 4]
根据权利要求1所述的手掌图像裁剪方法，其特征在于，在所述根据所述手掌关键点，计算所述图像中手掌的掌心点C的步骤之后；所述以掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪的步骤之前，还包括下述步骤： 根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度； 根据所述倾斜度，对所述图像进行旋转。
[权利要求 5]
根据权利要求3所述的手掌图像裁剪方法，其特征在于，在所述以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪的步骤中，包括下述步骤： 以所述食指指根A和所述小指指根B之间的连线AB为矩形的其中一条边； 以所述食指指根A或所述小指指根B为一个端点，以所述掌心点C为中心，以连线AC或者BC长度的2倍为矩形的对角线对所述图像进行裁剪。
[权利要求 6]
根据权利要求1～5所述的手掌图像裁剪方法，其特征在于，所述级联姿势回归模型按照下述步骤训练： 获取训练样本，所述训练样本为标注了手掌关键点的手掌图片集，其中，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖； 将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点； 计算所述标注的手掌关键点和所述预测的手掌关键点之间的距离； 调整所述级联姿势回归模型各节点的参数，至所述标注的手掌关键点和所述预测的手掌关键点之间的距离最小时，训练结束。
[权利要求 7]
根据权利要求6所述的手掌图像裁剪方法，其特征在于，所述级联姿势回归模型包含T个回归器，T为大于1的正整数，在所述将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点的步骤中，包括下述步骤： 当t＝1时，将预设的关键点初始化值S
0和所述训练样本输入到第1个回归器，获取第1个回归器输出的关键点预测值S
1； 当t＝2～T时，将第t-1个回归器输出的关键点预测值S
t-1和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值S
t，所述第T个回归器输出的关键点预测值S
T即为所述级联姿势回归模型预测的手掌关键点。
[权利要求 8]
一种手掌图像裁剪装置，其特征在于，包括： 获取模块，用于获取待处理的图像； 处理模块，用于将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D； 计算模块，用于根据所述手掌关键点，计算所述图像中手掌的掌心点C； 执行模块，用于以所述掌心点C为中心，以至少包含所述食指指根A和所 述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[权利要求 9]
根据权利要求8所述的手掌图像裁剪装置，其特征在于，所述计算模块包括： 中点确定子模块，用于确定以所述食指指根A和所述小指指根B为端点构成的线段AB的中点E； 掌心确定子模块，用于以所述中点E为端点，以垂直于所述线段AB的方向，确定掌心点C，使CE的长度至少为所述线段AB长度的1/2，且掌心点C与所述中指指尖D位于所述线段AB的两边。
[权利要求 10]
根据权利要求8所述的手掌图像裁剪装置，其特征在于，所述处理模块： 第一检测子模块，用于将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置； 第一处理子模块，用于将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
[权利要求 11]
一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述计所述处理器执行所述计算机可读指令时，实现如下手掌图像裁剪方法的步骤： 获取待处理的图像； 将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D； 根据所述手掌关键点，计算所述图像中手掌的掌心点C；以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[权利要求 12]
根据权利要求11所述的计算机设备，其特征在于，在所述根据所述手掌关键点，计算所述图像中手掌的掌心点C的步骤中，包括下述步骤： 确定以所述食指指根A和所述小指指根B为端点构成的线段AB的中点E； 以所述中点E为端点，以垂直于所述线段AB的方向，确定掌心点C，使CE的长度至少为所述线段AB长度的1/2，且掌心点C与所述中指指尖D位于 所述线段AB的两边。
[权利要求 13]
根据权利要求11所述的计算机设备，其特征在于，在所述将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点的步骤中，包括下述步骤： 将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置； 将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
[权利要求 14]
根据权利要求11所述的计算机设备，其特征在于，在所述根据所述手掌关键点，计算所述图像中手掌的掌心点C的步骤之后；所述以掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪的步骤之前，还包括下述步骤： 根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度； 根据所述倾斜度，对所述图像进行旋转。
[权利要求 15]
根据权利要求13所述的计算机设备，其特征在于，在所述以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪的步骤中，包括下述步骤： 以所述食指指根A和所述小指指根B之间的连线AB为矩形的其中一条边； 以所述食指指根A或所述小指指根B为一个端点，以所述掌心点C为中心，以连线AC或者BC长度的2倍为矩形的对角线对所述图像进行裁剪。
[权利要求 16]
一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被处理器执行时实现如下手掌图像裁剪方法的步骤： 获取待处理的图像； 将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D； 根据所述手掌关键点，计算所述图像中手掌的掌心点C；以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
[权利要求 17]
根据权利要求16所述的非易失性可读存储介质，其特征在于，在所述根据所述手掌关键点，计算所述图像中手掌的掌心点C的步骤中，包括下述步骤： 确定以所述食指指根A和所述小指指根B为端点构成的线段AB的中点E； 以所述中点E为端点，以垂直于所述线段AB的方向，确定掌心点C，使CE的长度至少为所述线段AB长度的1/2，且掌心点C与所述中指指尖D位于所述线段AB的两边。
[权利要求 18]
根据权利要求16所述的非易失性可读存储介质，其特征在于，在所述将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点的步骤中，包括下述步骤： 将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置； 将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
[权利要求 19]
根据权利要求16所述的非易失性可读存储介质，其特征在于，在所述根据所述手掌关键点，计算所述图像中手掌的掌心点C的步骤之后；所述以掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪的步骤之前，还包括下述步骤： 根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度； 根据所述倾斜度，对所述图像进行旋转。
[权利要求 20]
根据权利要求18所述的非易失性可读存储介质，其特征在于，在所述以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪的步骤中，包括下述步骤： 以所述食指指根A和所述小指指根B之间的连线AB为矩形的其中一条边； 以所述食指指根A或所述小指指根B为一个端点，以所述掌心点C为中心，以连线AC或者BC长度的2倍为矩形的对角线对所述图像进行裁剪。
附图