Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020107834 - PROCÉDÉ DE GÉNÉRATION DE CONTENU DE VÉRIFICATION POUR LA RECONNAISSANCE DU LANGAGE LABIAL, ET APPAREIL ASSOCIÉ

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

附图

1   2   3   4   5   6-A   6-B   7   8  

说明书

发明名称 : 唇语识别的验证内容生成方法及相关装置

[0001]
本申请要求于2018年11月28日提交中国专利局、申请号为201811430520.0、申请名称为“唇语识别的验证内容生成方法及相关装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

[0002]
本申请涉及计算机技术领域,尤其涉及一种唇语识别的验证内容生成方法及相关装置。

背景技术

[0003]
目前,客户的远程身份验证需求逐渐显现,采用人脸识别对客户进行身份验证成为了远程身份验证的常用手段之一。在人脸识别过程中,为了进行反欺诈识别,在采用视频验证的基础上,加入眨眼、摇头、随机数字和/或文字唇读检验等活体检测策略。其中,在随机数字和/或文字的唇读检验的过程中所采用的唇语识别虽然有进行检测唇部动作,但是这个过程仍然以语音识别为主,唇部动作匹配为辅。现有技术中,唇语识别是直接通过机器视觉技术,从图像中识别出人脸,并提取此人连续的口型变化特征,将连续变化的口型特征输入到唇语识别模型中识别出对应的发音,再计算出可能性最大的自然语言语句。现有技术中的唇语识别主要依赖上下文语义的支持以获得最可能匹配的结果,在大量汉语和/或数字单字口型重合度较高时,单纯的唇语识别难度大。
[0004]
发明内容
[0005]
本申请实施例提供了一种唇语识别的验证内容生成方法及相关装置,可降低唇语识别过程中唇形变化难以识别的出现概率,提高了唇语识别的准确率和便捷性,适用性更强。
[0006]
本申请实施例一方面提供了一种唇语识别的验证内容生成方法,包括:
[0007]
获取终端设备的唇语识别请求,根据所述唇语识别请求得到验证请求参数;
[0008]
根据所述验证请求参数确定唇语识别验证所需的验证对象的数量n,并从预置的多个识别对象分组中选取n个识别对象作为n个验证对象组成唇语识别的验证内容,所述n个验证对象至少属于两个识别对象分组且所述验证内容中相邻的验证对象分别属于不同的识别对象分组,其中,不同识别对象分组中所包括的识别对象的发音唇形变化不同;
[0009]
将所述验证内容输出到唇语识别的验证界面,基于所述验证界面对所述终端设备的用户进行所述验证内容的唇语识别验证。
[0010]
本申请实施例另一方面提供了一种唇语识别的验证内容生成装置,包括:
[0011]
响应模块,用于获取终端设备的唇语识别请求,根据所述唇语识别请求得到验证请求参数;
[0012]
处理模块,用于根据所述响应模块得到的所述验证请求参数确定唇语识别验证所需的验证对象的数量n,并从预置的多个识别对象分组中选取n个识别对象作为n个验证对象组成唇语识别的验证内容,所述n个验证对象至少属于两个识别对象分组且所述验证内容中相邻的验证对象分别属于不同的识别对象分组,其中,不同识别对象分组中所包括的识别对象的发音唇形变化不同;
[0013]
输出模块,用于将所述处理模块组成的所述验证内容输出到唇语识别的验证界面,基于所述验证界面对所述终端设备的用户进行所述验证内容的唇语识别验证。
[0014]
本申请实施例另一方面提供了一种终端设备,包括:处理器、收发器和存储器,所述处理器、所述收发器和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器和所述收发器被配置用于调用所述程序指令,执 行如本申请实施例中一方面中所述的方法。
[0015]
本申请实施例另一方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序指令,所述计算机程序指令当被处理器执行时使处理器执行如本申请实施例中一方面中的方法。
[0016]
采用本申请实施例可减少发音唇形变化难以识别的情况的发生,提高唇语识别的准确率。

附图说明

[0017]
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
[0018]
图1是本申请实施例提供的识别对象分组的流程示意图;
[0019]
图2是本申请实施例提供的音素分类结果示意图;
[0020]
图3是本申请实施例提供的数字发音唇形变化示意图;
[0021]
图4是本申请实施例提供的唇语识别的验证内容生成方法的流程示意图;
[0022]
图5是本申请实施例提供的唇语识别的验证内容生成的场景示意图;
[0023]
图6-a是本申请实施例提供的唇语识别的验证内容生成方法的一交互流程图;
[0024]
图6-b是本申请实施例提供的唇语识别的验证内容生成方法的又一交互流程图;
[0025]
图7是本申请实施例提供的唇语识别的验证内容生成装置的结构示意图;
[0026]
图8是本申请实施例提供的终端设备的结构示意图。

具体实施方式

[0027]
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
[0028]
基于唇语识别的活体验证是区别于语音验证之外的另一种活体检测方式。唇语识别隶属于人脸识别检测的一部分,通过机器视觉识别,仅靠识别说话人唇部动作,就能解读说话者所说的内容,因此唇语识别可以辅助语音交互及图像识别,比如在周围噪音过大时,通过唇语识别技术则可以规避干扰,大大提高系统识别的准确性。目前,唇语识别是通过图像提取人脸,获得此人的连续口型变化特征,与唇语识别模型中识别出的对应发音匹配,从而计算出可能性最大的自然语言语句,并不能直接得出结果,因此本申请实施例提供的唇语识别的验证内容生成方法及相关装置,旨在从生成阶段减少发音唇形变化难以识别的情况出现,提高唇语识别的准确率。
[0029]
本申请实施例提供的唇语识别的验证内容生成方法(为方便描述可简称本申请实施例提供的方法)可适用于手机、电脑、移动互联网设备(mobile internet device,MID)或其他可获取唇部图像的终端设备,具体可根据实际应用场景确定,在此不做限制。为方便描述,下面将以终端设备为例进行说明。具体的,本申请实施例是通过从预置的识别对象分组中按照一定的验证内容生成规则选取多个识别对象,将选取的多个识别对象作为验证对象组成用作唇语识别验证的验证内容。识别对象分组是以发音唇形变化相同的识别对象为一组进行分组得到的,不同组之间的发音唇形变化不同。本申请实施例提供的方法可以基于识别对象分组选择发音唇形变化不同的识别对象用于组成唇语识别验证的验证内容,从而可使得验证内容中各个识别对象的发音唇形变化不同,提高唇语识别的准确率,适用性更强。为方便描述,下面将首先对预置的识别对象分组的生成过程进行说明。
[0030]
参见图1,图1是本申请实施例提供的识别对象分组的流程示意图。其中,如图1所示,本申请实施例提供的识别对象分组的过程可包括如下步骤:
[0031]
步骤S101,将汉语音素按发音唇形分类,得到音素分类结果。
[0032]
在一些可行的实施方式中,汉语音素是根据语音的自然属性划分出的最小语音单位,简称音素。依据音节里的发音动作进行分析,一个发音动作构成一个音素,相同发音动作发出的音就是同一音素,上述每个发音动作各自对应一个发音唇形。其中,音素分为元音和辅音两大类,具体的,元音包括a、o、e、ê、i、u、ü、-i[ 1](前i)和-i[ι](后i)、er,辅音包括b、p、m、f、z、c、s、d、t、n、l、zh、ch、sh、r、j、q、x、g、k、h、ng。基于音素的发音唇形,可以将所有的汉语音素按发音唇形进行分类,得到音素分类结果。具体的,上述音素分类结果包括音素和发音唇形的对应关系,所有的汉语音素可分成7类音素,其中,上述音素分类结果如图2所示,图2是本申请实施例提供的音素分类结果示意图。如图2所示,上述音素分类结果如下7类:
[0033]
第一类(比如形变1),为半张唇形,如图片1所示,这里第一类的音素分类结果中可包括e,i,d,t,n,l,g,k,h,j,q,x,z,c,s,zh,ch,sh,ng,y等音素;
[0034]
第二类(比如形变2),为全张唇形,如图片2所示,这里第二类的音素分类结果中可包括a,er等音素;
[0035]
第三类(比如形变3),为AO形唇形,如图片3所示,这里第三类的音素分类结果中可包括ao;
[0036]
第四类(比如形变4),为w形唇形,如图片4所示,这里第四类的音素分类结果中可包括u,v,o,w;
[0037]
第五类(比如形变5),为ou形唇形,如图片5所示,这里第五类的音素分类结果中可包括ou,iu;
[0038]
第六类(比如形变6),为闭嘴唇形,如图片6所示,这里第六类的音素分类结果中可包括b,p,m;
[0039]
第七类(比如形变7),为咬唇唇形,如图片7所示,这里第七类的音素分类结果中可包括f。
[0040]
其中,ao,ou,iu由多个音素组成,但基于单口型匹配原则,由于这三个音素组合的发音唇形均为单口型,因此这里也被认为可作为单个音素进行发音唇形分类。其中,单口型匹配原则指以唇形无变化的音素或音素组合作为后续识别对象进行发音唇形匹配的标准。可以理解,音素作为最小语音单位,是识别对象拼音组成的基本单位,可以作为后续进行验证内容的发音唇形匹配的基础。
[0041]
步骤S102,将多个识别对象的任一识别对象进行拼音分解,将上述拼音分解的结果与上述音素分类结果进行发音唇形匹配。
[0042]
在一些可行的实施方式中,任一识别对象的读音可以是一个独立的音节,而每个音节可以由音素或音素组合组成。具体的,可获取多个识别对象,将多个识别对象中的任一识别对象进行拼音分解,分解后得到组成上述任一识别对象拼音的辅音音素和元音音素,将上述辅音音素和上述元音音素与步骤S101中得到的音素分类结果进行发音唇形匹配,通过上述音素分类结果中音素和发音唇形的对应关系确定上述辅音音素对应的辅音发音唇形和上述元音音素对应的元音发音唇形,将上述辅音发音唇形和上述元音发音唇形组合得到任一识别对象的发音唇形变化。
[0043]
其中,这里假设识别对象为数字,数字包括0~9十个识别对象,基于拼音分解得到各个数字对应的辅音音素和元音音素,将上述辅音音素和元音音素与上述音素分类结果进行匹配,得到对应的辅音发音唇形和元音发音唇形,将上述辅音发音唇形和元音发音唇形组合得到该数字对应的发音唇形变化,具体的参见图3,图3是本申请实施例提供的一种数字的发音唇形变化示意图,如图3所示,数字的发音唇形变化如下:
[0044]
第一识别对象,例如数字0,其中,0的拼音为ling,可分解为辅音形变1和元音形变ing,其中,上述辅音形变1和元音形变ing均对应上述音素分类结果中的第一类(即形变1)。上述音素分类结果中的第一类对应的发音唇形为半张,因此,上述辅音形变1和元音形变ing组合得到数字0的发音唇形变化为半张,如图1所示唇形变化。
[0045]
第二识别对象,例如数字1,其中,1的拼音为yi,可分解为辅音形变y和元音形变i,其中,上述辅音形变y和元音形变i均对应上述音素分类结果中的第一类(即形变1)。上述音素分类结果中的第一类对应的发音唇形为半张,因此,上述辅音形变y和元音形变i组合得到数字1的发音唇形变化为半张,如图1所示唇形变化。
[0046]
第二识别对象,例如数字1,其中,1的拼音还可以为yao,可分解为辅音形变y和元音形变ao,其中,上述辅音形变y和元音形变ao分别对应上述音素分类结果中的第一类(即形变1)和第三类(即形变3)。上述音素分类结果中的第一类对应的发音唇形为半张,上述音素分类结果中的第三类对应的发音唇形为AO形,因此,上述辅音形变y和元音形变ao组合得到数字1对应的发音唇形变化为半张到AO形,如图1到图3所示唇形变化。
[0047]
第三识别对象,例如数字2,其中,2的拼音为er,可分解为辅音形变e和元音形变er,其中,上述辅音形变e和元音形变er分别对应上述音素分类结果中的第一类(即形变1)和第二类(即形变2)。上述音素分类结果中的第一类对应的发音唇形为半张,上述音素分类结果中的第二类对应的发音唇形为全张,因此,上述辅音形变e和元音形变er组合得到数字2对应的发音唇形变化为半张到全张,如图1到图2所示唇形变化。
[0048]
第四识别对象,例如数字3,其中,3拼音为san,可分解为辅音形变s和元音形变an,其中,上述辅音形变s和元音形变an分别对应上述音素分类结果中的第一类(即形变1)和第二类(即形变2)。上述音素分类结果中的第一类对应的发音唇形为半张,上述音素分类结果中第二类对应的发音唇形为全张,因此,上述辅音形变s和元音形变an组合得到数字3对应的发音唇形变化为半张到全张,如图1到图2所示唇形变化。
[0049]
第五识别对象,例如数字4,其中,4拼音为si,可分解为辅音形变s和元音形变i,其中,上述辅音形变s和元音形变i均对应上述音素分类结果中的第一类(即形变1)。上述音素分类结果中的第一类对应的发音唇形为半张,因此,上述辅音形变s和元音形变i组合得到数字4对应的发音唇形变化为半张,如图1所示唇形变化。
[0050]
第六识别对象,例如数字5,其中,5拼音为wu,可分解为辅音形变w和元音形变u,其中,上述辅音形变w和元音形变u均对应上述音素分类结果中的第四类(即形变4)。上述音素分类结果中的第四类对应的发音唇形为W形,因此,上述辅音形变w和元音形变u组合得到数字5对应的发音唇形变化为W形,如图4所示唇形变化。
[0051]
第七识别对象,例如数字6,其中,6拼音为liu,可分解为辅音形变l和元音形变iu,其中,上述辅音形变l和元音形变iu分别对应上述音素分类结果中的第一类(即形变1)和第五类(即形变5)。上述音素分类结果中的第一类对应的发音唇形为半张,上述音素分类结果中的第五类对应的发音唇形为ou形,因此,上述辅音形变l和元音形变iu组合得到数字6对应的发音唇形变化为半张到ou形,如图1到图5所示唇形变化。
[0052]
第八识别对象,例如数字7,其中,7拼音为qi,可分解为辅音形变q和元音形变i,其中,上述辅音形变q和元音形变i均对应上述音素分类结果中的第一类(即形变1)。上述音素分类结果中第一类对应的发音唇形为半张因此,上述辅音形变q和元音形变i组合得到数字7对应的发音唇形变化为半张,如图1所示唇形变化。
[0053]
第九识别对象,例如数字8,其中,8拼音为ba,可分解为辅音形变b和元音形变a,其中,上述辅音形变b和元音形变a分别对应上述音素分类结果中的第六类(即形变6)和第二类(即形变2)。上述音素分类结果中的第六类对应的发音唇形为闭嘴,上述音素分类 结果中的第二类对应的发音唇形为全张,因此,上述辅音形变b和元音形变a组合得到数字8对应的发音唇形变化为闭嘴到全张,如图6到图2所示唇形变化。
[0054]
第十识别对象,例如数字9,其中,9拼音为jiu,可分解为辅音形变j和元音形变iu,其中,上述辅音形变j和元音形变iu分别对应上述音素分类结果中的第一类(即形变1)和第五类(即形变5)。上述音素分类结果中的第一类对应的发音唇形为半张,上述音素分类结果中的第五类对应的发音唇形为ou形,因此,上述辅音形变j和元音形变iu组合得到数字9对应的发音唇形变化为半张到ou形,如图1到图5所示唇形变化。
[0055]
可选的,若识别对象为文字,由于文字基数较多,可以根据身份活体识别产生的验证码及文字的使用频率,采用大数据统计分析,对大概率出现的文字进行拼音分解及发音唇形匹配,得到文字对应的发音唇形变化。此外,还可以根据预设的更新时间或获取更新指令学习新的文字作为新的识别对象,并根据新的文字的拼音分解得到新的文字的拼音分解结果,将上述新的文字的拼音分解结果与上述音素分类结果进行发音唇形匹配得到新的文字对应的发音唇形变化。其中,文字的拼音分解及发音唇形变化生成方式与上述数字的拼音分解及发音唇形变化生成方式相同,这里假定获取到文字“号、语、丰、谷、故”五个识别对象。
[0056]
具体的,“号”的拼音hao可以分解为辅音形变h和元音形变ao,上述辅音形变h和元音形变ao分别对应图2所示的音素分类结果中的第一类和第三类,如图2可知对应的辅音形变h的发音唇形为半张,元音形变ao的发音唇形为AO形,因此,基于上述辅音形变h和元音形变ao的发音唇形组合得到“号”对应的发音唇形变化为半张到AO形。
[0057]
“语”的拼音yu可以分解为辅音形变y和元音形变u,上述辅音形变y和元音形变u分别对应图2所示的音素分类结果中的第一类和第四类,如图2可知对应的辅音形变y的发音唇形为半张,元音形变u的发音唇形为W形,因此,基于上述辅音形变y和元音形变u的发音唇形组合得到“语”对应的发音唇形变化为半张到W形。
[0058]
“丰”的拼音feng可以分解为辅音形变f和元音形变ng,上述辅音形变f和元音形变ng分别对应图2所示的音素分类结果中的第七类和第一类,如图2可知对应的辅音形变f的发音唇形为咬唇,元音形变ng的发音唇形为半张,因此,基于上述辅音形变f和元音形变ng的发音唇形组合得到“丰”对应的发音唇形变化为咬唇到半张。
[0059]
“谷”的拼音gu可以分解为辅音形变g和元音形变u,上述辅音形变g和元音形变u分别对应图2所示的音素分类结果中的第一类和第四类,如图2可知对应的辅音形变g的发音唇形为半张,元音形变u的发音唇形为W形,因此,基于上述辅音形变g和元音形变u的发音唇形组合得到“谷”对应的发音唇形变化为半张到W形。
[0060]
“故”的拼音gu可以分解为辅音形变g和元音形变u,上述辅音形变g和元音形变u分别对应图2所示的音素分类结果中的第一类和第四类,如图2可知对应的辅音形变g的发音唇形为半张,元音形变u的发音唇形为W形,因此,基于上述辅音形变g和元音形变u的发音唇形组合得到“故”对应的发音唇形变化为半张到W形。
[0061]
上述文字“号、语、丰、谷、故”五个识别对象的拼音分解及发音唇形变化生成方式仅是文字对应的拼音分解及发音唇形变化生成方式的示例,包括但不限于上述五个文字,具体可根据实际应用场景确定,在此不做限制。
[0062]
步骤S103,基于上述唇形匹配得到的识别对象的发音唇形变化将多个识别对象进行分组。
[0063]
在一些可行的实施方式中,基于上述各个识别对象的发音唇形变化可将上述多个识别对象进行分组,将发音唇形变化相同的识别对象分为一组,不同则为不同组。具体的,可以对任一识别对象执行上述步骤S102后,查找上述识别对象分组的分组情况,若存在该任 一识别对象的发音唇形变化对应的识别对象分组,即上述任一识别对象与上述得到的多个识别对象分组中某一个识别对象分组中所包括的识别对象的发音唇形变化相同,则将该识别对象存入该发音唇形变化对应的识别对象分组。若不存在该任一识别对象的发音唇形变化对应的识别对象分组,即上述任一识别对象与上述得到的多个识别对象分组中任一识别对象分组中所包括的识别对象的发音唇形变化均不相同,则创建新的识别对象分组,并存储该任一识别对象的发音唇形变化情况,获得新的识别对象分组中所包括的识别对象的发音唇形变化。基于上述任一识别对象相同的识别对象分组操作方式可最终将获取的多个识别对象分别放入各自发音唇形变化对应的识别对象分组,得到多个识别对象分组。可选的,还可以对获取的多个识别对象的发音唇形变化进行标记,在将多个识别对象的发音唇形变化情况统计完后,将发音唇形变化相同的对应识别对象添加相同的标记,将具有相同标记的识别对象分为一组,得到多个识别对象分组。
[0064]
可选的,假定识别对象为0~9十个数字,根据步骤S102得到的数字发音唇形变化情况,如图3所示,根据数字识别对象的发音唇形变化情况可依次对数字进行分组,从而得到数字的多个识别对象分组。具体的,数字按发音唇形变化分组可得到如下情况:
[0065]
第一分组,包括0、1(yi)、4、7,对应的发音唇形变化为半张;
[0066]
第二分组,包括2、3、1(yao),对应的发音唇形变化为半张到全张/AO形;
[0067]
第三分组,包括6、9,对应的发音唇形变化为半张到ou形;
[0068]
第四分组,包括5,对应的发音唇形变化为w形;
[0069]
第五分组,包括8,对应的发音唇形变化为闭嘴到半张。
[0070]
其中,1(yao)的发音唇形变化为半张到AO形,与2、3相似,因此可划分为同一分组。
[0071]
可选的,若识别对象为文字,假定已存在上述数字的多个识别对象分组,则将获取的多个文字识别对象依次执行步骤S102,得到上述多个文字识别对象的任一文字识别对象对应的发音唇形变化,匹配上述数字的多个识别对象分组。若存在与上述任一文字识别对象的发音唇形变化相同的识别对象分组,则将上述任一文字识别对象存入该组,否则新建识别对象分组,将上述任一文字识别对象存入该新建识别对象分组中。
[0072]
可选的,这里假定已经存在数字的识别对象分组,文字识别对象分组与数字识别对象分组在同一地址存储。对如步骤S102所示的五个文字识别对象进行分组,具体的,“号”的发音唇形变化为半张到AO形,与上述第二分组对应的发音唇形变化相同,将“号”放入上述第二分组;“语”的发音唇形变化为半张到W形,经检测与W形的发音唇形变化相同,可认为与上述第四分组对应的发音唇形变化相同,将“语”放入上述第四分组;丰的发音唇形变化为咬唇到半张,上述分组中没有该发音唇形变化对应的分组,因此新建分组第六分组,将“丰”放入上述第六分组中;谷的发音唇形变化为半张到W形,经检测与W形的发音唇形变化相同,可认为与上述第四分组对应的发音唇形变化相同,将“谷”放入第四分组;故的发音唇形变化与谷相同,分组方式与谷的相同,将“故”放入上述第四分组。
[0073]
具体的,得到的识别对象分组情况如下:
[0074]
第一分组,包括0、1(yi)、4、7,对应的发音唇形变化为半张;
[0075]
第二分组,包括2、3、1(yao)、号,对应的发音唇形变化为半张到全张/AO形;
[0076]
第三分组,包括6、9,对应的发音唇形变化为半张到ou形;
[0077]
第四分组,包括5、语、谷、故,对应的发音唇形变化为w形;
[0078]
第五分组,包括8,对应的发音唇形变化为闭嘴到半张;
[0079]
第六分组,包括丰,对应的发音唇形变化为咬唇到半张。
[0080]
可选的,数字识别对象分组可以和文字识别对象分组分别存储,即数字识别对象分组 与文字识别对象分组以不同的地址空间进行存储,从而可以在获取到组成验证内容的验证对象的类型后,从对应的识别对象分组中选取识别对象作为验证对象,组成验证内容。可选的,分组过程如上述数字和文字混合存储时的分组过程相同,只是对数字进行分组时访问对应的数字识别对象分组,对文字进行分组时访问对应的文字识别对象分组。
[0081]
本申请实施例提供的识别对象的分组过程,可通过发音唇形变化进行分组,同一识别对象分组中的识别对象对应的发音唇形变化相同,不同的识别对象分组中的识别对象对应的发音唇形变化不同,为唇语识别的验证内容生成提供了选择依据,只需在选取识别对象作为验证对象时,相邻的验证对象对应的识别对象不属于同一识别对象分组,从而使得相邻的验证对象的发音唇形变化不同,可以较为方便的得到相邻验证对象的发音唇形变化不同的验证内容,减少了验证内容难以识别的情况的出现,提高了唇语识别的准确率。
[0082]
本申请实施例提供的方法可基于上述图1所示的各个步骤所生成的多个识别对象分组,生成唇语识别验证所需的验证内容,下面将结合图4对本申请实施例提供的方法进行说明。
[0083]
参见图4,图4是本申请实施例提供的一种唇语识别的验证内容生成方法的流程图。其中,如图4所示,本申请实施例提供的一种唇语识别的验证内容生成方法可以包括如下:
[0084]
步骤S401,获取终端设备的唇语识别请求,根据上述唇语识别请求得到验证请求参数。
[0085]
在一些可行的实施方式中,获取到终端设备的唇语识别请求后,根据上述唇语识别请求得到上述终端设备的验证请求参数,上述验证请求参数至少包括唇语识别验证所需的验证对象的数量n。可选的,本申请实施例提供的方法可通过终端设备执行,具体的,终端设备可通过唇语识别的验证请求界面获取到用户的唇语识别指令后,基于该验证请求界面发送唇语识别请求到该终端设备的处理器,该处理器基于上述验证请求界面确定组成验证内容的验证对象的数量等信息,得到验证请求参数。可选的,终端设备可通过其显示器展示唇语识别的验证界面,并基于该验证界面上获取得到的用户操作指令向终端设备所连接的服务器发送唇语识别的验证请求。这里,上述服务器可用于存储上述图1所示步骤S101至步骤S103所提供的实现方式处理得到的各个识别对象分组以及各个识别对象分组中所包括的发音唇形变化等数据。
[0086]
具体的,这里假定用户需要进行身份验证,该身份验证方式为唇语识别,该唇语识别的验证内容由服务器生成,其中,上述用户在终端设备的身份验证界面提交验证申请,终端设备接收到该验证申请后,向服务器发送唇语识别请求,服务器获取到终端设备的唇语识别请求,基于上述终端设备的身份验证界面提取唇语识别请求中的信息,包括终端设备的验证界面信息:验证内容长度及验证内容类型,从而得到上述终端设备的验证请求参数。
[0087]
步骤S402,根据上述验证请求参数确定唇语识别验证所需的验证对象的数量,并从预置的多个识别对象分组中选取识别对象作为验证对象组成验证内容。
[0088]
在一些可行的实施方式中,根据上述验证请求参数从预置的多个识别对象分组中选取n个识别对象作为n个验证对象组成唇语识别的验证内容。其中,上述预置的多个识别对象分组为图1所示的步骤S101-步骤S103得到的多个识别对象分组。具体的,上述n个验证对象至少属于两个识别对象分组且上述验证内容中相邻的验证对象分别属于不同的识别对象分组,上述验证对象通过验证内容的生成规则组成唇语识别的验证内容,上述n个验证对象至少属于两个识别对象分组且上述验证内容中相邻的验证对象分别属于不同的识别对象分组是由验证内容的生成规则决定的。具体的,假定上述验证内容由四位验证对象组成(即n为4),从识别对象的多个分组中选取一个识别对象作为第一验证对象,再从唇形变化不同的分组中选取一个识别对象作为第二验证对象,同理选取识别对象得到第三验证对象及第四验证对象,最终将上述第一验证对象、第二验证对象、第三验证对象及第四验证对象组合生成上述验证内容。
[0089]
在一些可行的实施方式中,可以通过验证内容生成规则生成验证内容,其中可以获取根据识别对象的分组情况制定的验证内容生成规则,从多个识别对象中选取识别对象作为验证对象组成验证内容。其中,组成验证内容的相邻验证对象不属于同一识别对象分组。具体的,若相邻两个验证对象同属于上述第一分组,无唇形变化;初始状态为半张或闭嘴时,若首位验证对象属于第一分组则无法检测到发音唇形变化,若首位验证对象属于第二分组或第五分组时,无法检测出具体的发音唇形变化对应的识别对象分组等。可以由此制定规则:1、相邻的验证对象不同属于第一分组;2、不以第一分组中识别对象作为验证内容的首位验证对象;3、不以第二分组或第五分组中的识别对象作为验证内容的首位验证对象;4、验证内容中只存在一个验证对象属于第一分组;5、相邻两个验证对象不属于同一分组;6、验证内容中的验证对象不属于同一分组等。
[0090]
具体的,这里假定要生成四位验证内容,上述验证内容由数字组成,获取到该验证内容的生成规则为规则5。则从多个识别对象分组中随机选取一个识别对象作为第一验证对象,假定第一验证对象为4,4属于第一分组,则根据验证内容的生成规则,从第二分组到第五分组中选取识别对象作为第二验证对象,假定第二验证对象为5,5属于第四分组,因此从第一、二、三、五分组中选取识别对象作为第三验证对象,假定第三验证对象为2,2属于第二分组,则从第一、三、四、五分组中选取识别对象作为第四验证对象,假定第四验证对象为6,6属于第三分组,则将上述第一验证对象、第二验证对象、第三验证对象、第四验证对象组成验证内容,得到四位验证内容4526。
[0091]
步骤S403,将该验证内容输出到唇语识别的验证界面,基于上述验证界面对上述终端设备的用户进行该验证内容的唇语识别验证。
[0092]
将通过以上步骤生成的验证内容输出到验证页面,对终端设备的用户进行上述验证内容的唇语识别验证,获取上述用户的唇部动作,提取上述用户的唇部特征,匹配音素,组成相应的识别对象,与输出的验证内容进行对比得到验证结果,反馈给上述用户。
[0093]
具体的,将生成的上述验证内容输出到唇语识别的验证界面,基于上述验证界面获取识别图像,从上述识别图像中连续识别出人脸,提取用户连续的唇形变化特征,将唇形变化特征与音素分类结果进行匹配,得到对应的音素,将音素组合得到相应的发音,与验证内容进行对比得到唇语识别结果。如假定对上述步骤S402所示生成的验证内容4526进行识别,在提取到用户连续的唇形变化特征后,对上述唇形变化特征进行识别,得到用户的唇形变化为半张到W形到半张到全张形到半张再到ou形,经过与识别对象分组进行匹配,得到上述唇形变化特征对应第一分组、第四分组、第二分组及第三分组,再根据真实数据学习结果得到最终的唇语识别内容,与上述验证内容4526进行对比,得到验证内容的识别结果,显示在验证界面反馈给用户。
[0094]
本申请实施例基于图1所示的步骤S101-步骤S103得到的识别对象分组,从上述识别对象分组中选取识别对象作为验证对象组成验证内容,其中,相邻的验证对象不属于同一识别对象分组,从而使得相邻的验证对象对应的发音唇形变化不同,减少了验证内容难以识别情况的出现,提高了唇语识别的准确性。
[0095]
具体的参见图5,图5是本申请实施例提供的唇语识别的验证内容生成的场景示意图。假定使用终端设备智能手机200a,上述使用的识别对象的分组情况、音素唇形分类结果及获取的验证内容生成规则等存储在服务器100a上,当上述智能手机200a完成信息录入后,为了保障获取的信息为本人提供,需要进行活体检测,此处使用本申请实施例提供的唇语识别。当获取到唇语识别请求,生成验证页面201,其中,上述验证页面201包括验证内容显示界面、人脸识别界面,上述验证内容显示界面显示验证内容202。假设上述验证内容202由四位验证对象组成,分别为第一验证对象2021、第二验证对象2022、第三验证对 象2023及第四验证对象2024。可选的,上述终端设备200a收到唇语识别的验证请求后,根据验证内容的生成规则,从服务器100a中随机选取一个识别对象,作为第一验证对象2021输入到验证内容202,选取与上述第一验证对象2021发音唇形变化不同的识别对象作为第二验证对象2022输入到验证内容202,从服务器100a中选取与上述第二验证对象2022发音唇形变化不同的识别对象,作为第三验证对象2023输入到验证内容202,选取与上述第三验证对象2023发音唇形变化不同的识别对象,作为第四验证对象2024输入到验证内容202,即第二验证对象2022与第一验证对象2021不属于同一识别对象分组,第三验证对象2023与第二验证对象2022不属于同一识别对象分组,第四验证对象2024与第三验证对象2023不属于同一识别对象分组。最后由第一验证对象2021、第二验证对象2022、第三验证对象2023及第四验证对象2024组合生成验证内容202,将上述验证内容202输出到上述验证页面201的验证内容显示界面,从人脸识别部分获取用户的脸部图像,获取上述用户的唇部变化,提取上述用户的唇形特征,进行唇语识别验证。
[0096]
可选的,还可以是终端设备200a发送唇语识别的验证请求给服务器100a,服务器100a收到上述唇语识别的验证请求后,执行上述终端设备选取识别对象作为验证对象组成验证内容的操作,得到第一验证对象2021、第二验证对象2022、第三验证对象2023及第四验证对象2024,组合生成验证内容202,服务器100a将上述验证内容202发送给终端设备200a,终端设备将验证内容202在上述验证页面201中显示出来,对用户进行验证内容的唇语识别。
[0097]
可选的,可以在预设的更新时间或获取到更新指令后,学习新的识别对象,对上述新的识别对象执行图1所示的步骤S102到S103,将上述新的识别对象加入多个识别对象分组中,更新多个识别对象分组的情况。
[0098]
可选的,可以通过终端设备发送唇语识别请求给服务器,由服务器生成唇语识别的验证内容,具体的参见图6-a,图6-a是本申请实施例提供的一种唇语识别的验证内容生成方法的交互流程图。具体的如图6-a所示,这里以服务器为主体实现唇语识别的验证过程,上述唇语识别的验证内容生成方法的交互流程如下:
[0099]
步骤S601a、发送唇语识别请求。
[0100]
具体的,终端设备在用户进行唇语识别时,向服务器发送唇语识别的验证请求,具体的可参考图4所示步骤S401。
[0101]
步骤S602a、确定验证对象的数量及验证内容的生成规则。
[0102]
具体的,服务器根据收到的唇语识别的验证请求,确定组成验证内容的验证对象的数量n,及验证内容生成规则。可选的,服务器中可以包括终端设备应用程序和验证内容生成规则标记的对应关系,或者服务器在收到唇语识别的验证请求时随机选取验证内容生成规则。
[0103]
具体的,假定用户使用终端设备应用程序微信,在登录时由于账号长期未使用,需要进行身份验证,假定这里验证方式为唇语识别验证,则服务器收到唇语识别的验证请求后,查找微信所对应的验证内容生成规则,确定上述验证内容的验证对象选取和组合方式。
[0104]
步骤S603a、根据验证内容的生成规则选取多个识别对象作为验证对象组成验证内容。具体的,如图4所示步骤S403。
[0105]
步骤S604a、将上述验证内容发送给终端设备。
[0106]
步骤S605a、终端设备获取用户的验证图像。
[0107]
具体的,上述验证图像为终端设备的验证界面获取到的用户验证图像,即用户的脸部图像。
[0108]
步骤S606a、终端设备将获取的验证图像反馈给服务器。
[0109]
步骤S607a、服务器提取上述验证图像的连续唇形变化。
[0110]
步骤S608a、服务器对上述连续唇形变化进行识别,得到相应的发音,与验证内容进行匹配。
[0111]
步骤S609a、服务器将上述验证内容的唇语识别结果反馈给终端设备,终端设备进行显示。
[0112]
具体的,上述步骤S604a至S609a是验证内容的唇语识别过程,通过机器视觉从图像中连续识别出人脸,提取口型的连续变化特征,将上述连续变化的特征输入到识别模型,与多个识别对象分组进行匹配,得到对应的识别对象发音,将上述识别对象发音与验证内容对比,得到上述验证内容的唇语识别结果,将上述唇语识别结果反馈显示到验证界面,反馈给用户。
[0113]
具体的,上述终端设备通过向服务器发送唇语识别请求,由服务器执行上述步骤S602a-步骤S604a及步骤S607a-步骤S609a;可选的,可以通过服务器执行上述步骤S601a至步骤S609a,上述步骤S601a为终端设备的应用程序向服务器发送唇语识别请求,上述服务器可以被包括上述图5所示的终端设备访问并调用唇语识别的验证内容生成过程。
[0114]
可选的,可以由终端设备直接执行唇语识别的验证内容生成过程,通过访问存储器中的数据实现验证内容的生成。其中,上述存储器可以是终端设备的内部存储器或外接存储器,或者可以与其他终端设备共享访问的云服务器,上述存储器存储有图1所示的步骤S101-步骤S103得到的数据,包括音素分类结果,多个识别对象分组及各个识别对象分组对应的发音唇形变化等。
[0115]
具体的,参见图6-b,图6-b是本申请实施例提供的又一种唇语识别的验证内容生成方法的交互示意图。具体的如下所示:
[0116]
步骤601b,获取唇语识别请求。
[0117]
步骤602b,确定验证对象的数量及验证内容的生成规则。
[0118]
步骤603b,根据验证内容的生成规则选取多个识别对象。
[0119]
具体的,终端设备根据验证内容的生成规则从存储步骤S101-步骤S103中数据的存储器中依次选取识别对象。
[0120]
步骤604b,将上述多个识别对象作为验证对象组成验证内容。
[0121]
步骤605b,将验证内容反馈给用户。
[0122]
步骤606b,终端设备获取用户的验证图像。
[0123]
步骤607b,提取上述验证图像的连续唇形变化。
[0124]
步骤608b,对上述连续唇形变化进行识别,得到相应的发音,与验证内容进行匹配。
[0125]
具体的,终端设备在步骤607b后从存储器中获取音素分类结果、多个识别对象分组及各个识别对象分组对应的发音唇形变化等,从而与上述连续唇形变化进行匹配,得到唇语识别的验证结果。
[0126]
其中,上述步骤S601b-步骤S608b的具体实现方式如图6-a所示步骤S601a-步骤S608a,这里是直接由终端设备执行上述步骤,只从存储器中获取上述存储器存储的图1所示步骤S101-步骤S103中的数据,从而实现上述步骤中识别对象的选取及验证内容的唇语识别验证。
[0127]
可选的,参见图7,图7是本申请实施例提供的一种唇语识别的验证内容生成装置。如图7所示,该唇语识别的验证内容生成装置70可以用于上述图5所对应实施例中的终端设备,该装置可以包括:响应模块701、处理模块704和输出模块705。
[0128]
响应模块701,用于获取终端设备的唇语识别请求,根据上述唇语识别请求得到验证 请求参数。
[0129]
处理模块704,用于根据上述响应模块得到的验证请求参数确定唇语识别验证所需的验证对象的数量n,并从预置的多个识别对象分组中选取n个识别对象作为n个验证对象组成唇语识别的验证内容,上述n个验证对象至少属于两个识别对象分组且验证内容中相邻的验证对象分别属于不同的识别对象分组,其中,不同识别对象分组中所包括的识别对象的发音唇形变化不同。
[0130]
输出模块705,用于将上述验证内容输出到唇语识别的验证界面,基于上述验证界面对上述终端设备的用户进行该验证内容的唇语识别验证。
[0131]
其中,上述处理模块704还用于:
[0132]
获取多个识别对象,上述多个识别对象中包括至少两种类型唇形变化的识别对象;
[0133]
确定上述多个识别对象中各个识别对象的发音唇形变化;
[0134]
将上述多个识别对象中发音唇形变化为上述至少两种类型唇形变化中的第一类型唇形变化的识别对象分为第一识别对象分组,将上述多个识别对象中发音唇形变化为上述至少两种类型唇形变化中的第二类型唇形变化的识别对象划分为第二识别对象分组,以得到多个识别对象分组。
[0135]
其中,上述处理模块704还用于:
[0136]
将多个汉语音素按发音唇形进行分类,得到音素分类结果,所述音素分类结果中包括音素和发音唇形的对应关系;
[0137]
将所述多个识别对象中任一识别对象的拼音进行音素分解,根据分解得到的各个音素与所述音素和发音唇形的对应关系,确定所述各个音素对应的发音唇形;
[0138]
将所述各个音素对应的发音唇形进行组合以生成所述任一识别对象的发音唇形变化,以得到所述各个识别对象的发音唇形变化。
[0139]
其中,上述处理模块704还用于:
[0140]
获取多个汉语音素,所述多个汉语音素中包括至少两种发音唇形的音素;
[0141]
将所述多个汉语音素中发音唇形为所述至少两种发音唇形中的第一种发音唇形对应的汉语音素分为第一类别,将所述多个汉语音素中发音唇形为所述至少两种发音唇形中的第二种发音唇形对应的汉语音素分为第二类别;
[0142]
将所述第一类别的汉语音素与所述第二类别的汉语音素存储到所述音素分类结果。
[0143]
其中,上述处理模块704还用于:
[0144]
将所述多个识别对象中的任一识别对象的拼音分解成辅音音素和元音音素,将所述辅音音素和所述元音音素与所述音素分类结果进行唇形匹配,通过所述音素分类结果中所述音素和发音唇形的对应关系得到所述辅音音素对应的辅音发音唇形和所述元音音素对应的元音发音唇形;
[0145]
所述将所述各个音素对应的发音唇形进行组合以生成所述任一识别对象的发音唇形变化包括:将所述辅音音素对应的所述辅音发音唇形和所述元音音素对应的所述元音发音唇形组合得到所述任一识别对象的发音唇形变化。
[0146]
其中,上述装置还可以包括:存储模块702、唇语识别模块703。
[0147]
存储模块702,用于存储音素分类结果、多个识别对象分组、制定的验证内容生成方式及其他验证内容生成时使用的数据;
[0148]
唇语识别模块703,用于识别用户的唇部动作,将上述用户的唇部动作与生成的唇语识别的验证内容的发音唇形进行匹配,得到唇语识别的结果。
[0149]
其中,上述处理模块704还用于:
[0150]
根据系统需求选择上述唇语识别的验证内容的生成规则,根据上述生成规则选取上述 识别对象作为上述验证对象组合成上述唇语识别的验证内容。
[0151]
具体实现中,上述装置可通过上述各个模块执行上述图1或图4所提供的实现方式中各个步骤所提供的实现方式,实现上述各实施例中所实现的功能,具体可参见上述图1或图4所示的方法实施例中各个步骤提供的相应描述,在此不再赘述。
[0152]
在本申请实施例中,上述验证内容生成装置(或简称装置)可通过从预置的识别对象分组中选取识别对象作为验证对象组成验证内容,其中,相邻的验证对象对应的识别对象不属于同一识别对象分组,即相邻验证对象对应的发音唇形变化不同,从而使组成的验证内容中相邻的验证对象发音唇形变化发生改变,进而减少验证内容难以识别情况的出现,提高唇语识别的准确性。
[0153]
参见图8,图8是本申请实施例提供的终端设备的结构示意图。如图8所示,本实施例中的终端设备可以包括:一个或多个处理器801、存储器802和收发器803。上述处理器801、存储器802和收发器803通过总线804连接。存储器802用于存储计算机程序,该计算机程序包括程序指令。上述处理器801和收发器803用于调用存储器802存储的程序指令,执行如下操作:
[0154]
上述收发器803,用于获取终端设备的唇语识别请求。
[0155]
上述处理器801,用于根据上述收发器803获取的唇语识别请求得到验证请求参数,根据上述验证请求参数确定唇语识别验证所需的验证对象的数量n,并从预置的多个识别对象分组中选取n个识别对象作为n个验证对象组成唇语识别的验证内容,上述n个验证对象至少属于两个识别对象分组且上述验证内容中相邻的验证对象分别属于不同的识别对象分组,其中,不同识别对象分组中所包括的识别对象的发音唇形变化不同;
[0156]
上述收发器803,还用于将验证内容输出到唇语识别的验证界面。
[0157]
上述处理器801,还用于基于上述验证界面对上述终端设备的用户进行验证内容的唇语识别验证。
[0158]
在一些可行的实施方式中,上述唇语识别的验证内容中首位验证对象的发音唇形变化不包括以半张嘴或闭嘴开始的发音唇形变化。
[0159]
在一些可行的实施方式中,上述处理器801用于:
[0160]
获取多个识别对象,上述多个识别对象中包括至少两种类型唇形变化的识别对象;
[0161]
确定上述多个识别对象中各个识别对象的发音唇形变化;
[0162]
将上述多个识别对象中发音唇形变化为上述至少两种类型唇形变化中的第一类型唇形变化的识别对象分为第一识别对象分组,将上述多个识别对象中发音唇形变化为上述至少两种类型唇形变化中的第二类型唇形变化的识别对象划分为第二识别对象分组,以得到多个识别对象分组。
[0163]
在一些可行的实施方式中,上述处理器801用于:
[0164]
将多个汉语音素按发音唇形进行分类,得到音素分类结果,上述音素分类结果中包括音素和发音唇形的对应关系;
[0165]
将上述多个识别对象中任一识别对象的拼音进行音素分解,根据分解得到的各个音素与上述音素和发音唇形的对应关系,确定上述各个音素对应的发音唇形;
[0166]
将上述各个音素对应的发音唇形进行组合以生成上述任一识别对象的发音唇形变化,以得到上述各个识别对象的发音唇形变化。
[0167]
在一些可行的实施方式中,上述处理器801用于:
[0168]
获取多个汉语音素,上述多个汉语音素中包括至少两种发音唇形的音素;
[0169]
将上述多个汉语音素中发音唇形为至少两种发音唇形中的第一种发音唇形对应的汉语音素分为第一类别,将上述多个汉语音素中发音唇形为至少两种发音唇形中的第二种发音 唇形对应的汉语音素分为第二类别;
[0170]
将上述第一类别与上述第二类别存储到音素分类结果。
[0171]
在一些可行的实施方式中,上述处理器801用于:
[0172]
将上述多个识别对象中的任一识别对象的拼音分解成辅音音素和元音音素,将上述辅音音素和上述元音音素与上述音素分类结果进行唇形匹配,通过音素分类结果中音素和发音唇形的对应关系得到上述辅音音素对应的辅音发音唇形和上述元音音素对应的元音发音唇形,将上述辅音发音唇形和上述元音发音唇形组合得到任一识别对象的发音唇形变化。
[0173]
在一些可行的实施方式中,上述处理器801可以是中央处理单元(central processing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0174]
该存储器802可以包括只读存储器和随机存取存储器,并向处理器801和收发器803提供指令和数据。存储器802的一部分还可以包括非易失性随机存取存储器。例如,存储器802还可以存储设备类型的信息。
[0175]
具体实现中,上述终端设备可通过其内置的各个功能模块执行如上述图1或图4中各个步骤所提供的实现方式,具体可参见上述图1或图4中各个步骤所提供的实现方式,在此不再赘述。
[0176]
在本申请实施例中,终端设备可通过从预置的识别对象分组中选取识别对象作为验证对象组成验证内容,其中,相邻的验证对象对应的识别对象不属于同一识别对象分组,即相邻验证对象对应的发音唇形变化不同,从而使组成的验证内容中相邻的验证对象发音唇形变化发生改变,进而减少验证内容难以识别情况的出现,提高唇语识别的准确性。
[0177]
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时实现图1或图4中各个步骤所提供的唇语识别的验证内容生成方法,具体可参见上述图1或图4各个步骤所提供的实现方式,在此不再赘述。
[0178]
上述计算机可读存储介质可以是前述任一实施例提供的唇语识别的验证内容生成装置或者上述终端设备的内部存储单元,例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备,例如该电子设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0179]
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。另,术语“至少”是用于列举部分情况,以反映实施过程,而非只包括给出的方法实施要求。本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
[0180]
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

权利要求书

[权利要求 1]
一种唇语识别的验证内容生成方法,其特征在于,包括: 获取终端设备的唇语识别请求,根据所述唇语识别请求得到验证请求参数; 根据所述验证请求参数确定唇语识别验证所需的验证对象的数量n,并从预置的多个识别对象分组中选取n个识别对象作为n个验证对象组成唇语识别的验证内容,所述n个验证对象至少属于两个识别对象分组且所述验证内容中相邻的验证对象分别属于不同的识别对象分组,其中,不同识别对象分组中所包括的识别对象的发音唇形变化不同; 将所述验证内容输出到唇语识别的验证界面,基于所述验证界面对所述终端设备的用户进行所述验证内容的唇语识别验证。
[权利要求 2]
如权利要求1所述的方法,其特征在于,所述唇语识别的验证内容中首位验证对象的发音唇形变化不包括以半张嘴或闭嘴开始的发音唇形变化。
[权利要求 3]
如权利要求1或2所述的方法,其特征在于,所述方法还包括: 获取多个识别对象,所述多个识别对象中包括至少两种类型唇形变化的识别对象; 确定所述多个识别对象中各个识别对象的发音唇形变化; 将所述多个识别对象中发音唇形变化为所述至少两种类型唇形变化中的第一类型唇形变化的识别对象分为第一识别对象分组,将所述多个识别对象中发音唇形变化为所述至少两种类型唇形变化中的第二类型唇形变化的识别对象划分为第二识别对象分组,以得到多个识别对象分组。
[权利要求 4]
如权利要求3所述的方法,其特征在于,所述确定所述多个识别对象中各个识别对象的发音唇形变化包括: 将多个汉语音素按发音唇形进行分类,得到音素分类结果,所述音素分类结果中包括音素和发音唇形的对应关系; 将所述多个识别对象中任一识别对象的拼音进行音素分解,根据分解得到的各个音素与所述音素和发音唇形的对应关系,确定所述各个音素对应的发音唇形; 将所述各个音素对应的发音唇形进行组合以生成所述任一识别对象的发音唇形变化,以得到所述各个识别对象的发音唇形变化。
[权利要求 5]
如权利要求4所述的方法,其特征在于,所述将多个汉语音素按发音唇形进行分类,得到音素分类结果包括: 获取多个汉语音素,所述多个汉语音素中包括至少两种发音唇形的音素; 将所述多个汉语音素中发音唇形为所述至少两种发音唇形中的第一种发音唇形对应的汉语音素分为第一类别,将所述多个汉语音素中发音唇形为所述至少两种发音唇形中的第二种发音唇形对应的汉语音素分为第二类别; 将所述第一类别的汉语音素与所述第二类别的汉语音素存储到所述音素分类结果。
[权利要求 6]
如权利要求4或5所述的方法,其特征在于,所述将所述多个识别对象中任一识别对象的拼音进行音素分解,根据分解得到的各个音素与所述音素和发音唇形的对应关系,确定所述各个音素对应的发音唇形包括: 将所述多个识别对象中的任一识别对象的拼音分解成辅音音素和元音音素,将所述辅音音素和所述元音音素与所述音素分类结果进行唇形匹配,通过所述音素分类结果中所述音素和发音唇形的对应关系得到所述辅音音素对应的辅音发音唇形和所述元音音素对应的元音发音唇形; 所述将所述各个音素对应的发音唇形进行组合以生成所述任一识别对象的发音唇形变化包括:将所述辅音音素对应的所述辅音发音唇形和所述元音音素对应的所述元音发音唇 形组合得到所述任一识别对象的发音唇形变化。
[权利要求 7]
一种唇语识别的验证内容生成装置,其特征在于,包括: 响应模块,用于获取终端设备的唇语识别请求,根据所述唇语识别请求得到验证请求参数; 处理模块,用于根据所述响应模块得到的所述验证请求参数确定唇语识别验证所需的验证对象的数量n,并从预置的多个识别对象分组中选取n个识别对象作为n个验证对象组成唇语识别的验证内容,所述n个验证对象至少属于两个识别对象分组且所述验证内容中相邻的验证对象分别属于不同的识别对象分组,其中,不同识别对象分组中所包括的识别对象的发音唇形变化不同; 输出模块,用于将所述处理模块组成的所述验证内容输出到唇语识别的验证界面,基于所述验证界面对所述终端设备的用户进行所述验证内容的唇语识别验证。
[权利要求 8]
如权利要求7所述的装置,其特征在于,所述唇语识别的验证内容中首位验证对象的发音唇形变化不包括以半张嘴或闭嘴开始的发音唇形变化。
[权利要求 9]
如权利要求7或8所述的装置,其特征在于,所述处理模块还用于: 获取多个识别对象,所述多个识别对象中包括至少两种类型唇形变化的识别对象; 确定所述多个识别对象中各个识别对象的发音唇形变化; 将所述多个识别对象中发音唇形变化为所述至少两种类型唇形变化中的第一类型唇形变化的识别对象分为第一识别对象分组,将所述多个识别对象中发音唇形变化为所述至少两种类型唇形变化中的第二类型唇形变化的识别对象划分为第二识别对象分组,以得到多个识别对象分组。
[权利要求 10]
如权利要求9所述的装置,其特征在于,所述处理模块还用于: 将多个汉语音素按发音唇形进行分类,得到音素分类结果,所述音素分类结果中包括音素和发音唇形的对应关系; 将所述多个识别对象中任一识别对象的拼音进行音素分解,根据分解得到的各个音素与所述音素和发音唇形的对应关系,确定所述各个音素对应的发音唇形; 将所述各个音素对应的发音唇形进行组合以生成所述任一识别对象的发音唇形变化,以得到所述各个识别对象的发音唇形变化。
[权利要求 11]
如权利要求10所述的装置,其特征在于,所述处理模块还用于: 获取多个汉语音素,所述多个汉语音素中包括至少两种发音唇形的音素; 将所述多个汉语音素中发音唇形为所述至少两种发音唇形中的第一种发音唇形对应的汉语音素分为第一类别,将所述多个汉语音素中发音唇形为所述至少两种发音唇形中的第二种发音唇形对应的汉语音素分为第二类别; 将所述第一类别的汉语音素与所述第二类别的汉语音素存储到所述音素分类结果。
[权利要求 12]
如权利要求10或11所述的装置,其特征在于,所述处理模块还用于: 将所述多个识别对象中的任一识别对象的拼音分解成辅音音素和元音音素,将所述辅音音素和所述元音音素与所述音素分类结果进行唇形匹配,通过所述音素分类结果中所述音素和发音唇形的对应关系得到所述辅音音素对应的辅音发音唇形和所述元音音素对应的元音发音唇形; 将所述辅音音素对应的所述辅音发音唇形和所述元音音素对应的所述元音发音唇形组合得到所述任一识别对象的发音唇形变化。
[权利要求 13]
如权利要求7所述的装置,其特征在于,所述装置还包括: 存储模块,用于存储音素分类结果,多个识别对象分组及制定的验证内容生成规则; 唇语识别模块,用于识别用户的唇部动作,将所述用户的唇部动作与生成的所述唇语 识别的验证内容的发音唇形变化进行匹配,得到所述验证内容的唇语识别结果。
[权利要求 14]
一种终端设备,其特征在于,所述终端设备包括处理器、收发器和存储器,所述处理器、所述收发器和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器和所述收发器被配置用于调用所述程序指令,执行如下操作: 所述处理器,用于获取终端设备的唇语识别请求,根据所述唇语识别请求得到验证请求参数; 所述处理器,还用于根据所述验证请求参数确定唇语识别验证所需的验证对象的数量n,并从预置的多个识别对象分组中选取n个识别对象作为n个验证对象组成唇语识别的验证内容,所述n个验证对象至少属于两个识别对象分组且所述验证内容中相邻的验证对象分别属于不同的识别对象分组,其中,不同识别对象分组中所包括的识别对象的发音唇形变化不同; 所述收发器,用于将所述验证内容输出到唇语识别的验证界面,基于所述验证界面对所述终端设备的用户进行所述验证内容的唇语识别验证。
[权利要求 15]
如权利要求14所述的终端设备,其特征在于,所述唇语识别的验证内容中首位验证对象的发音唇形变化不包括以半张嘴或闭嘴开始的发音唇形变化。
[权利要求 16]
如权利要求14或15所述的终端设备,其特征在于,所述处理器还用于: 获取多个识别对象,所述多个识别对象中包括至少两种类型唇形变化的识别对象; 确定所述多个识别对象中各个识别对象的发音唇形变化; 将所述多个识别对象中发音唇形变化为所述至少两种类型唇形变化中的第一类型唇形变化的识别对象分为第一识别对象分组,将所述多个识别对象中发音唇形变化为所述至少两种类型唇形变化中的第二类型唇形变化的识别对象划分为第二识别对象分组,以得到多个识别对象分组。
[权利要求 17]
如权利要求16所述的终端设备,其特征在于,所述处理器用于: 将多个汉语音素按发音唇形进行分类,得到音素分类结果,所述音素分类结果中包括音素和发音唇形的对应关系; 将所述多个识别对象中任一识别对象的拼音进行音素分解,根据分解得到的各个音素与所述音素和发音唇形的对应关系,确定所述各个音素对应的发音唇形; 将所述各个音素对应的发音唇形进行组合以生成所述任一识别对象的发音唇形变化,以得到所述各个识别对象的发音唇形变化。
[权利要求 18]
如权利要求17所述的终端设备,其特征在于,所述处理器用于: 获取多个汉语音素,所述多个汉语音素中包括至少两种发音唇形的音素; 将所述多个汉语音素中发音唇形为所述至少两种发音唇形中的第一种发音唇形对应的汉语音素分为第一类别,将所述多个汉语音素中发音唇形为所述至少两种发音唇形中的第二种发音唇形对应的汉语音素分为第二类别; 将所述第一类别的汉语音素与所述第二类别的汉语音素存储到所述音素分类结果。
[权利要求 19]
如权利要求14所述的终端设备,其特征在于,所述处理器用于: 将所述多个识别对象中的任一识别对象的拼音分解成辅音音素和元音音素,将所述辅音音素和所述元音音素与所述音素分类结果进行唇形匹配,通过所述音素分类结果中所述音素和发音唇形的对应关系得到所述辅音音素对应的辅音发音唇形和所述元音音素对应的元音发音唇形; 所述将所述各个音素对应的发音唇形进行组合以生成所述任一识别对象的发音唇形变化包括:将所述辅音音素对应的所述辅音发音唇形和所述元音音素对应的所述元音发音唇 形组合得到所述任一识别对象的发音唇形变化。
[权利要求 20]
一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序指令,所述计算机程序指令当被处理器执行时使处理器执行如权利要求1-6任一项所述的方法。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6-A]  
[ 图 6-B]  
[ 图 7]  
[ 图 8]