Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019024751) FACIAL EXPRESSION SYNTHESIS METHOD AND APPARATUS, ELECTRONIC DEVICE, AND STORAGE MEDIUM
Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

附图

1   2   3   4A   4B   4C   4D   4E   4F   5   6   7   8   9A   9B   9C   9D   9E   9F   10   11   12   13  

说明书

发明名称 : 一种面部表情合成方法、装置、电子设备及存储介质

[0001]
本申请要求于2017年07月31日提交中国专利局、申请号为201710640537.8、发明名称“一种面部表情合成方法、装置及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

[0002]
本申请涉及数据处理技术领域,具体涉及一种面部表情合成方法、装置、电子设备及存储介质。

背景技术

[0003]
面部表情是指通过眼部肌肉、颜面肌肉和口部肌肉的变化,来表现各种情绪状态,如高兴、惊奇、伤心、害怕、害羞、生气等等。面部表情作为一种微妙的形体语言,是人们传递情感信息的重要手段,通过对人脸图像进行表情分析,可有效洞悉用户的内心世界,从而使得面对面的交流更加生动。
[0004]
近年来,面部表情的合成在人物动画、人机交互以及电视会议等应用中备受关注,人们可以根据个人兴趣或实际需要,将面部的某一种状态替换成多种状态进行多样化呈现,从而提高大众娱乐性和趣味性。
[0005]
相关技术中,常用采用基于颜色直方图、肤色融合算法以及直接黏贴等方式,实现面部表情的替换,如将用户A生气的嘴巴替换成用户B微笑的嘴巴、将用户C的微笑的单眼皮眼睛替换成用户D生气的双眼皮眼睛等。然而,面部表情的变化不仅包括整体面部特征的运动变形(如嘴巴和眼睛的睁开或闭合),而且包括局部外观的细微变化。现有的面部表情合成方法达到的合成效果差强人意,往往会存在肤色融合不均、面部器官定位不准、边缘棱角突兀等问题,导致面部表情的合成效率较低。
[0006]
发明内容
[0007]
有鉴于此,本申请实施例提供一种面部表情合成方法、装置、电子设备及存储介质,解决了现有的面部表情合成方法得到的合成图像中,存在的肤色融合不均、面部器官定位不准,边缘棱角突兀等技术问题。
[0008]
为解决上述技术问题,本申请实施例提供如下技术方案:
[0009]
本申请实施例提供了一种面部表情合成方法,所述方法包括:
[0010]
获得目标对象的待处理面部图像,并利用人脸识别技术对所述待处理面部图像进行处理,得到所述待处理面部图像的肤色信息;
[0011]
筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像;
[0012]
提取所述目标表情素材图像中目标合成区域对应的区域图像;
[0013]
对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像。
[0014]
本申请实施例还提供了一种面部表情合成装置,所述装置包括:
[0015]
图像获得模块,被设置为获得目标对象的待处理面部图像;
[0016]
图像处理模块,被设置为利用人脸识别技术对所述待处理面部图像进行处理,得到所述待处理面部图像的肤色信息;
[0017]
图像筛选模块,被设置为筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像;
[0018]
图像提取模块,被设置为提取所述目标表情素材图像中目标合成区域对应的区域图像;
[0019]
图像融合模块,被设置为对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像。
[0020]
本申请实施例还提供了一种电子设备,所述电子设备包括:
[0021]
通信接口;
[0022]
存储器,被设置为存储实现如上所述的面部表情合成方法的多个指令;
[0023]
处理器,被设置为加载并执行所述多个指令,包括:
[0024]
获得目标对象的待处理面部图像,并利用人脸识别技术对所述待处理面部图像进行处理,得到所述待处理面部图像的肤色信息;
[0025]
筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像;
[0026]
提取所述目标表情素材图像中目标合成区域对应的区域图像;
[0027]
对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像。
[0028]
基于上述技术方案,本申请实施例在选择目标表情素材来与待处理面部图像进行合成时,考虑到了待处理面部图像与表情素材图像的肤色差异性,使得所选取的目标表情素材图像与待处理面部的肤色非常相近甚至相同,从而保证了将提取的区域图像合成到待处理面部图像时,两者之间能够无缝融合,使得最终得到的合成图像整体肤色协调、自然,且保留了区域图像中表情细节,提高了面部器官定位精准度,从而使得到的合成图像更加生动形象。

附图说明

[0029]
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
[0030]
图1为本申请实施例提供的一种电子设备的硬件结构图;
[0031]
图2为本申请实施例提供的一种面部表情合成方法的流程示意图;
[0032]
图3为本申请实施例提供的一种面部图像中提取的面部特征点的示意 图;
[0033]
图4a为本申请实施例提供的一种目标对象的待处理面部图像示意图;
[0034]
图4b为本申请实施例提供的一种目标表情素材图像的示意图;
[0035]
图4c为本申请实施例提供的针对图4b的目标表情素材图像得到的目标合成区域;
[0036]
图4d为本申请实施例提供的图4b的目标表情素材图像中,与图4c所示的目标合成区域对应的区域图像;
[0037]
图4e和图4f分别是本申请实施例提供的目标面部图像的示意图;
[0038]
图5为本申请实施例提供的图像合成示意图;
[0039]
图6为本申请实施例提供的一种面部表情合成方法的信令图;
[0040]
图7为本申请实施例提供的一种待处理面部表情选择界面;
[0041]
图8为本申请实施例提供的另一种面部表情合成方法的流程示意图;
[0042]
图9a和图9d分别为本申请实施例提供的目标对象的待处理面部图像;
[0043]
图9b为针对图9a的待处理面部图像筛选出的目标表情素材图像;
[0044]
图9c为将图9b所示的区域图像合成到图9a的待处理面部图像中得到的合成图像;
[0045]
图9e为针对图9d的待处理面部图像筛选出的目标表情素材图像;
[0046]
图9f为将图9e所示的区域图像合成到图9d的待处理面部图像中得到的合成图像;
[0047]
图10为本申请实施例提供的一种面部表情合成装置的结构框图;
[0048]
图11为本申请实施例提供的另一种面部表情合成装置的结构框图;
[0049]
图12为本申请实施例提供的又一种面部表情合成装置的结构框图;
[0050]
图13为本申请实施例提供的又一种面部表情合成装置的结构框图。

具体实施方式

[0051]
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0052]
需要说明的是,本申请实施例提供的面部表情合成方法可以应用于具有数据处理能力的电子设备,该电子设备可能是网络侧设置的服务器,也可能是用户侧设置的PC(个人计算机)等终端设备;该计算设备可以通过装载功能与本申请实施例提供的面部表情合成方法相应的程序,实施本申请实施例提供的面部表情合成方法,该程序可以存储于计算设备的存储器中,并由处理器调用实现程序功能;
[0053]
可选的,图1示出了本申请实施例提供的电子设备的硬件结构框图,参照图1,该电子设备可以包括:通信接口11,存储器12,处理器13和通信总线14等,其中:
[0054]
在本申请实施例中,通信接口11,存储器12,处理器13、通信总线14的数量均可以为至少一个,且通信接口11,存储器12,处理器13可以通过通信总线14完成相互间的通信。
[0055]
可选的,通信接口11可以为通信模块的接口,如GSM模块的接口,用于实现与其他设备的数据交互,如接收表情素材库反馈的所需的目标表情素材图像等等。
[0056]
处理器13可以是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例提供的面部表情合成方法的 一个或多个集成电路。
[0057]
存储器12可以包含高速RAM存储器,也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
[0058]
在本申请中,存储器12可以存储用于实现本申请实施例提供的面部表情合成方法的多个指令构成的程序,由处理器13调用并加载存储器13所存储的程序,从而实现本本申请实施例提供的面部表情合成方法,实现过程可以参照下文相应实施例的描述。
[0059]
需要说明的是,图1所示电子设备的硬件结构仅是可选的,根据使用需要,计算设备还可以设置显示屏、信息输入装置(键盘、鼠标等)、图形处理器、图像采集器等,本申请在此不再一一详述。
[0060]
下面站在电子设备的角度,对本申请实施例提供的面部表情合成方法进行介绍,下文描述的方法步骤可以由电子设备执行相应的程序实施。
[0061]
图2为本申请实施例提供的面部表情合成方法的流程图,该方法可应用于电子设备,参照图2,该方法可以包括:
[0062]
步骤S201,获得目标对象的待处理面部图像;
[0063]
本申请中,面部图像可以是二维图像,可以是终端设备通过摄像头采集到的包含目标对象的图像,或者是从本地图像库中调取的包含目标对象的图像,或者是其他设备发送的图像,本申请对目标对象的面部图像的获取方式不作限定。
[0064]
可选的,若实现本实施例提供的面部表情合成方法的电子设备是终端设备,在实际应用中,终端设备可以直接通过摄像头进行图像采集,并利用人脸检测算法对采集到的图像进行处理,判断该图像中是否存在目标对象的面部图像,若不存在,继续对下一帧图像进行人脸检测,直至获得目标对象的面部图像;若存在,可以提取目标对象的面部区域部分,得到待 处理的面部图像。
[0065]
当然,终端设备还可以直接将本地图像库中存储的多个面部图像显示出来,由用户根据需要从中选择一个作为目标对象的待处理面部图像。此外,终端设备还可以通过其他方式获得目标对象的待处理面部图像,如通过网络从网页中下载等等,本申请在此不再一一列举。
[0066]
作为本申请另一实施例,若实现本实施例提供的面部表情合成方法的电子设备是服务器,此时,用户利用终端设备确定目标对象的待处理面部图像后,可以直接上传至该服务器进行后续处理。
[0067]
步骤S202,利用人脸识别技术对待处理面部图像进行处理,得到待处理面部图像的肤色信息;
[0068]
可选的,在本申请中,在获得目标对象的待处理面部图像之后,本申请可以利用面部特征点定位算法,对该待处理面部图像进行处理,自动定位出的多个面部关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及面部各部件轮廓点等等,如图3所示黑点。可见,第一面部特征点可以是待处理面部图像的多个面部关键特征点。
[0069]
其中,面部特征点定位算法还可以包括主动形状模型(Active Shape Model,简称为ASM)算法、主动外观模型(Active Appearance Model,简称为AAM)算法等等,主要是利用人脸纹理特征和各个特征点之间的位置约束结合实现,本申请对识别面部特征点的实现方法不作详述。
[0070]
可选的,根据需要可以将确定的面部关键特征点进行标记,以便确定上述各部件所在区域的形状,本申请对面部关键特征点的标记方法不作限定。
[0071]
在确定需要检测肤色信息的目标合成区域和/或整个面部区域后,可以利用对应区域内的面部特征点,形成对应的多边形图形,其中,该多边形图像的端点可以为对应区域中的第一面部特征点,边通常不包含对应区域 中的第一面部特征点,如图3中嘴巴边界的关键特征点连接形成的多边形图形,但并不局限于此。
[0072]
之后,本申请可以采用肤色检测算法对形成的各多边形图形中的图像进行检测,得到对应的肤色信息,作为后续筛选目标表情素材图像的条件。
[0073]
需要说明的是,在本申请中,根据筛选条件的不同,需要检测肤色信息的区域(即多边形图形的所围成的区域)不同,如对待处理面部图像的整个面部区域进行肤色检测、和/或对如嘴巴区域等目标合成区域进行肤色检测、对待处理面部图像中的其他区域进行肤色检测等等。
[0074]
其中,对于不同的肤色信息的检测区域,要求表情素材图像库中各表情素材图像的分类存储方式不同,实现过程可以参照下文相应实施例的描述,本实施例在此不再详述。
[0075]
步骤S203,筛选表情素材图像库中与该肤色信息匹配的目标表情素材图像;
[0076]
在实际应用中,由于不同用户的肤色会有一定差异,如果使用同一表情素材,往往无法满足用户的肤色要求,将导致待处理面部图像与表情素材图像融合时,两者肤色相差较大,使得得到的合成图像非常不自然。基于此,本申请在筛选用于目标对象的待处理面部表情合成的素材时,考虑了两者的肤色差异情况。
[0077]
可选的,在表情素材图像库中,其包含的多个表情素材图像可以按照其对应的肤色信息进行分类存储;而且,由于同一表情素材图像的光照条件不同的情况下,所检测到的肤色信息通常会有所差异,所以,本实施例对于同一表情素材图像,还可以进一步结合光照条件,实现肤色信息的分类存储,本申请对其存储方式不作限定,如表格对应关系表、映射函数等方式,本申请在此不作详述。
[0078]
其中,在对多个表情素材图像按照肤色信息进行分类时,可以根据 各表情素材图像的整个面部肤色信息、目标合成区域的肤色信息和/或其他区域的肤色信息等多个肤色信息实现分类,从而提高表情素材图像的分类精确度。基于此,当从中筛选目标表情素材图像时,可以按照多个肤色信息实现筛选,大大提高了筛选所得图像与待处理面部图像的肤色匹配度,保证了最终所得目标面部图像自然。
[0079]
可选的,本申请可以采用人脸识别算法,获得各表情素材图像的面部图像区域、各部件区域以及对应的肤色信息,实现方法不作详述。
[0080]
步骤S204,提取所目标表情素材图像中目标合成区域对应的区域图像;
[0081]
可选的,与上述待处理面部图像的目标合成区域的获取方式类似,本申请也可以通过识别目标表情素材图像的面部特征点,从而利用得到的多个面部特征点,形成多边形图形,从而获取目标合成区域对应的区域图像。
[0082]
例如,假设目标对象的面部图像如图4a所示,所获取的目标表情素材图像如图4b所示,假设当需要对目标对象的待处理面部图像中的嘴巴区域进行替换,即将目标表情素材图像中的嘴巴区域合成到待处理面部图像中,可以利用目标表情素材图像的嘴巴区域的关键特征点连接,形成如图4c所示的多边形图形,从而获得该多边形图形对应的如图4d所示的区域图像。
[0083]
需要说明的是,对于提取目标表情素材图像中的目标合成区域的区域图像的方式,并不局限于上文描述的方式。
[0084]
步骤S205,对区域图像和待处理面部图像进行泊松融合处理,得到目标对象的目标面部图像。
[0085]
在实际应用中,常用的图像滤波去噪算法通过可以分为两大类,一类是对图像进行全局处理,一类是使用局部算子,其中,全局处理的主要思想是先对图像进行数学变换,然后再在变换域中进行滤波,最后进行逆变 换得到去噪后的图像,使用局部算子的方法的主要思想是对含噪图像的某一像素进行处理,仅对该像素使用局部算子,适用于无法或不便估计噪声模型的情况,通常包括传统的领域平均法、中值滤波算法以及模板平滑算法等,然而,这些方法在有效滤除图像中噪声的同时,会使图像的边缘及细节变得较为模糊,在一定程度上影响了图像的处理效果,不符合保持尽量多的细节信息,使得合成后的图像更加真实、自然的初衷。
[0086]
针对此,本申请将考虑光照等因素在表明细节图像中的空间位置信息,使用泊松算法对获取的区域图像进行滤波处理,再对滤波后的图像使用泊松融合方法,将其合成到待处理面部图像上,得到目标面部图像。其中,关于泊松算法对区域图像以及待处理面部图像的处理过程可以参照下文实施例的描述,本实施例在此不再详述。但需要说明的是,关于利用泊松算法,实现区域图像与待处理面部图像的融合处理方法,并不局限于本申请下文实施例描述的方法,本申请在此仅以此为例进行说明。
[0087]
综上所述,本申请在选择目标表情素材时,考虑到了待处理面部图像与表情素材图像的肤色差异性,使得所选取的目标表情素材图像与待处理面部的肤色非常相近甚至相同,从而保证了将提取的区域图像合成到待处理面部图像时,两者之间能够无缝融合,得到的合成图像整体肤色自然、流畅。
[0088]
而且,在图像融合过程中,本申请是才泊松融合方式对获取的区域图像进行滤波处理,使得处理后的表情细节更加的鲁棒,减少了合成结果中嘴巴区域的重影,有效的保持了目标对象的面部的光照和肤色信息。
[0089]
可选的,为了更加清楚说明上述图像融合处理过程,本申请将结合图5所示的示意图进行描述,其中,图5中的图像A(ImageA)为输入的目标对象的待处理面部图像,图像B(ImageB)为获得的目标表情素材的区域图像。
[0090]
在图像融合过程中,期望ImageB能够根据ImageA进行颜色变换,同时能够以某种方式保留自身图像的特征细节,比如边缘、角落、过渡等。在实际应用中,泊松算法通常是允许调整ImageB的绝对信息(如颜色),但在其黏贴到ImageA上之后,将会尽可能保留ImageB的相对信息(如图像梯度)。为了实现该技术效果,可以会通过如下公式(1)来实现目标面部图像的边界约束,但并不局限于此。
[0091]
[0092]
公式(1)中,A表示上述输入的目标对象的待处理面部图像ImageA,B表示目标表情素材的区域图像ImageB,H表示合成后的目标面部图像, 表示H的所有像素, 表示区域图像ImageB的边界。
[0093]
在本申请中,经过图像融合处理后得到的目标面部图像H的边界上的像素,通常是与该边界上的A中的像素完全相同,从而使B能够匹配其边界外侧的像素,将A在B边界处的像素向内混合。
[0094]
其中,为了保证合成后目标面部图像的合成质量,使得合成得到的目标面部图像的合成区域不突兀,通常要求H内部的像素的梯度等于B内部像素的梯度,对此,本申请可以定义图像的梯度斑点 是该像素B(x,y)与其所有邻居像素(如B(x-1,y)、B(x+1,y)、B(x,y-1)、B(x,y+1)等四个与像素B(x,y)相邻的像素点)之间的差异的总和,即下面公式(2),通过这种方式计算像素的梯度,但并不局限于这一种像素梯度计算方法。
[0095]
[0096]
公式(2)中,B(x,y)表示图像B中的像素, 表示图像像素的梯度符号。
[0097]
可选的,在计算像素的梯度过程中,若存在某像素的邻居像素是图像的边界像素,可以采用公式(3)所示的方式计算B内像素的方式,所得结果通常是固定值。若存在邻居像素恰好位于选择的像素边界之外,可以 将该邻居像素排除。
[0098]
[0099]
其中,(x,y)是二维(2D)网络上感兴趣的像素位置,N是H中的像素在包括边界(图像向外扩展的像素个数小于或等于4)的选择区域内,实际具有的有效相邻像素的数量,Ω是除去边界的B和H的选择区域,局部“Ω”是选择区域的边界,并且(dx,dy)属于{(-1,0),(1,0),(0,-1),(0,1)}的子集。可选的,关于上述公式(3)可以分解如下:
[0100]
公式(3)等式左边通过对H(x,y)与其所有N个邻居像素之间的差进行求和,来计算未知点H(x,y)的空间梯度;等式左边第一个求和表示H(x,y)与选择区域Ω上的其他像素点(x',y')的差,(x',y')为H(x,y)中邻居像素的位置,第二个求和表示H(x,y)与边界像素点的差异。等式右边仅仅是(x,y)处的图像B的梯度,希望与H(x,y)处的新图像H的梯度匹配。
[0101]
需要说明的是,对于彩色图像,可以分别对R、G、B三个通道的像素进行方程组的求解,每个通道的求解过程可以参照上文描述的计算过程,本申请在此不再一一详述。
[0102]
如图6所示,为本申请实施例提供的另一种面部表情合成方法的信令图,本实施例从电子设备的各组成硬件角度进行描述,但并不局限于本实施例描述的这种实现方式,参照图6,该方法可以包括:
[0103]
步骤S601,图像采集器对目标对象进行图像采集,得到待处理面部图像;
[0104]
在本申请中,可以结合人脸识别技术对采集到的图像进行识别,确定当前采集到的图像包含目标对象的面部信息,将该图像作为待处理面部图像,或者提取该图像中的面部图像作为待处理面部图像,本申请对此不作限定。
[0105]
步骤S602,图像采集器将待处理面部图像发送至处理器;
[0106]
需要说明的是,对于处理器获得待处理面部图像的方式,不局限于本实施例描述的这种图像采集器采集并发送给处理器的方式,如上述图2对应的实施例相应部分的描述,还可以获取本地存储的有关目标对象的多个图像,如图7所示,再由用户根据自己需要,从中选择一个图像,作为待处理面部图像等等,本申请在此不再一一详述。
[0107]
步骤S603,处理器识别待处理面部图像的第一面部特征点;
[0108]
参照图3,本申请可以利用面部特征点定位算法,对该待处理面部图像进行处理,自动定位出的多个面部关键特征点即第一面部特征点。同时,还可以根据需要可以将确定的面部关键特征点进行标记,以便确定上述各部件所在区域的形状,本申请对面部关键特征点的标记方法不作限定。
[0109]
步骤S604,处理器利用第一面部特征点的标记信息,确定待处理面部图像中目标合成区域的第一区域图像;
[0110]
由于待处理面部图像的第一面部特征点位于眉毛、眼睛、鼻子、嘴以及脸的轮廓线上,这样,根据得到的多个面部关键特征点的标记信息,就能够得到目标对象的各部件(如眼睛、鼻子、嘴巴、眉毛以及面部等)的形状,如嘴巴区域、眼睛区域、鼻子区域等等,本实施例仅以嘴巴区域的替换为例进行说明,对于其他区域的替换方式与此类型,本申请在此不再一一详述。
[0111]
可见,目标合成区域可以是待处理面部图像中的嘴巴区域,第一区域图像即为该待处理面部图像中的嘴巴区域图像。如上述3所示,可以通过将嘴巴关键特征点连接起来,确定嘴巴区域及其图像,但并不局限于此。
[0112]
也就是说,通过获取待处理面部图像中目标合成区域的第一面部特征点相应的多边形图形,该多边形图形的端点为目标合成区域的第一面部特征点,其边通常并不包含该第一面部特征点。之后,提取该多边形图形对 应的图像,作为待处理面部图像需要替换的第一区域。
[0113]
步骤S605,处理器对第一区域图像以及待处理面部图像中的其他区域图像进行肤色检测,确定第一区域图像的第一肤色信息以及其他区域图像的第二肤色信息;
[0114]
在本申请中,可以采用如OpenCV皮肤检测算法、基于不同颜色空间区域划分的皮肤算法等,实现对待处理面部图像中第一区域图像以及其他区域图像(尤其是与目标合成区域相邻的区域图像)的肤色检测,关于图像肤色检测的实现过程本申请在此不作详述,且本申请对得到的第一肤色信息以及第二肤色信息包含的内容也不作限定,如相应部分的像素值等。
[0115]
可见,上述第一肤色信息是指目标对象的待处理面部图像中需要替换的区域图像的肤色信息,即嘴巴区域的肤色信息;而第二肤色信息可以是目标对象的嘴巴之外的其他区域的图像的肤色信息。
[0116]
作为本申请另一实施例,本申请还可以利用上述方式,仅对对待处理面部图像中的目标合成区域进行肤色检测,得到相应的第一肤色信息。
[0117]
步骤S606,处理器读取表情素材图像库,筛选与第一肤色信息和所述第二肤色信息匹配的目标表情素材图像;
[0118]
在本实施例中,在对表情素材图像库进行图像筛选时,同时考虑了目标合成区域的肤色信息以及其他区域的肤色信息,提高了所得目标表情素材图像的精确度,进而保证了最终所得合成图像整体肤色自然、流畅。
[0119]
作为本申请另一实施例,在实际应用中,当目标对象面部的其他部分图像(即除目标合成区域之外区域的图像)不需要改变,可以对面部其他部分的肤色差异情况不作考虑,直接考虑第一目标区域的肤色匹配度,也就是说,直接筛选与第一肤色信息匹配的目标表情素材图像。
[0120]
需要说明的是,基于上述不同筛选方式的描述,本申请对于表情素材图像库中的各表情素材图像的分类存储方式可能有所差别,若需要利用第 一肤色信息和第二肤色信息进行目标表情素材图像的筛选,可以根据目标合成区域的肤色信息以及其他区域的肤色信息等至少两方面标准进行分类存储。若需要利用第一肤色信息进行目标表情素材图像的筛选,可以根据各表情素材图像中目标合成区域(即与上述目标对象的面部表情合成的区域)的肤色信息进行分类存储,本申请对各表情素材图像的分类存储方式不作限定。
[0121]
可选的,在本申请中,可以采用表格方式实现各表情素材图像的面部图像区域、各部件区域以及对应的肤色信息的存储,这样,在确定对该表格的筛选条件(如上述第一肤色信息和第二肤色信息,或者仅第二肤色信息或第一肤色信息等)后,可以将其与该表格中对应项的肤色信息进行对比,如将第一肤色信息与各表情素材图像中与第一目标区域对应区域图像的肤色信息进行对比,将第二肤色信息与各表情素材图像的面部图像的肤色信息进行对比,从而筛选出与该第一肤色信息和第二肤色信息匹配的目标表情素材图像。
[0122]
作为本申请另一实施例,在筛选表情素材图像之前,本申请也可预先设定表情素材图像的肤色信息与第一肤色信息的匹配值(如相似值)的第一范围,以及表情素材图像的肤色信息与第二肤色信息的匹配值的第二范围。这样,在筛选时,可以检测各表情素材图像的肤色信息中是否存在与第一肤色信息和第二肤色信息都相同的表情素材图像;若存在,可以直接将其作为目标素材图像;若不存在,可以筛选与第二肤色信息的匹配度在第二范围内的表情素材图像中,与第一肤色信息最匹配的肤色信息对应的表情素材图像作为目标表情素材图像;或者筛选与第一肤色信息的匹配度在第一范围内的表情素材图像中,与第二肤色信息最匹配的肤色信息对应的表情素材图像作为目标表情素材图像,可以根据用户设定确定,本申请对此不作限定。
[0123]
可选的,当检测到各表情素材图像的肤色信息中不存在与第一肤色信息和第二肤色信息都相同的表情素材图像,还可以筛选出与第一肤色信息 的匹配度在第一范围内的表情素材图像,以及与第二肤色信息的匹配度在第二范围内的多个表情素材图像,并将这多个表情素材图像显示出来,由用户根据个人兴趣选择一个作为目标表情素材图像等。
[0124]
当然,若仅需要筛选与第一肤色信息或第二肤色信息相匹配的目标表情素材图像,以筛选与第一肤色信息匹配的目标表情素材图像为例进行说明,可以先检测各表情素材图像的肤色信息中是否存在与第一肤色信息相同的表情素材图像;若存在,可以直接将其作为目标素材图像;若不存在,可以筛选与该第一肤色信息最匹配的肤色信息对应的表情素材图像作为目标表情素材图像。
[0125]
可选的,本申请的表情素材图像库可以位于电子设备本地,也可以位于网络侧,由电子设备根据将第一肤色信息以及第二肤色信息发送至网络侧进行筛选,再将筛选得到的目标表情素材图像反馈至电子设备,过程与本实施例类似,本申请不再举例说明。
[0126]
步骤S607,处理器识别目标表情素材图像的第二面部特征点,并利用第二面部特征点,确定目标表情素材图像中目标合成区域的第二区域图像;
[0127]
其中,关于识别目标表情素材图像的第二面部特征点,以及确定第二区域图像的实现方法,可以参照上述识别待处理面部图像的第一面部特征点,并确定第一区域图像的实现方法的描述,本实施例在此不再赘述。
[0128]
在实际应用中,待确定目标表情素材图像的第二面部特征点(即目标表情素材的关键特征点,如图3所示黑点)后,可以根据预设要求,选定用于与待处理面部图像进行合成的第二区域图像。其中,预设要求是基于待处理面部图像需要替换的第一区域图像确定,可以包括表征目标合成区域的信息,如目标合成区域的空间坐标等,本申请对该预设要求包含的内容不作限定。
[0129]
参照上图4a、图4b、图4c以及图4d,目标合成区域是图4a中的嘴 巴区域,所以,本实施例在筛选得到图4b所示的目标表情素材图像后,可以利用关键特征点所形成的多边形图形,得到如图4d所示的嘴巴区域的图像,即第二区域图像。也就是说,获取目标表情素材图像中目标合成区域的第二面部特征点形成的多边形图形,提取该多边形图形所对应的第二区域图像,即为目标表情素材图像中,用来与待处理面部表情合成的区域图像。
[0130]
可选的,为了保证所获取的第二区域图像与待处理面部图像需要替换区域吻合,也就是说,所得到如图4d所示的嘴巴区域图像融合到如图4a所示的待处理面部图像中,该嘴巴尺寸与面部尺寸关系协调,可以利用预先通过多个样本用户的面部图像,得到的面部图像三维模型实现,可选的,可以先在面部图像三维模型上确定目标区域,再分别将目标对象的待处理面部图像以及目标表情素材图像映射到该三维模型中,从而获得第一区域图像以及第二区域图像,从而保证了第一区域图像与第二区域图像能够对齐吻合。
[0131]
其中,本申请也可以通过对第二区域图像进行缩放处理,从而使处理后的第二区域图像能够与待处理面部图像的整体协调,避免出现如图4e所示的第二区域图像过小等不协调的情况,导致得到的合成图像整体不自然。
[0132]
作为本申请另一个实施例,本申请也可以在筛选得到目标表情素材图像之后,且提取第二区域图像之前,对目标表情素材图像整体进行缩放处理,从而使处理后的目标表情素材图像与待处理面部图像对齐,保证提取的第二区域图像合成到待处理面部图像中协调等等。
[0133]
需要说明的是,关于第一区域图像以及第二区域图像的获取方法,并不局限于上文描述的实现方式,还可以利用坐标定位等方式确定,本申请在此不再一一详述。
[0134]
步骤S608,处理器通过泊松融合方式,将第二区域图像合成到待处 理面部图像中,得到目标对象的目标面部图像;
[0135]
可选的,结合上述实施例对泊松融合方式的解释,步骤S608可以包括:利用第二区域图像中的像素以及对应的邻居像素,计算第二区域图像的像素梯度;利用泊松算法将第二区域图像合成到所述待处理面部图像,并计算得到的合成图像的像素梯度;确定合成图像的像素梯度等于第二区域图像的像素梯度,将该合成图像作为目标对象的目标面部图像;反之,确定合成图像的像素梯度不等于第二区域图像的像素梯度,调整第二区域图像中的像素,直至合成图像的像素梯度等于第二区域图像的像素梯度,从而保证所得目标面部图像协调。
[0136]
步骤S609,处理器将得到的目标面部图像发送至显示器;
[0137]
可选的,处理器还可以将得到的目标面部图像发送至存储器进行存储,或者发送至网络侧,以实现合成图像的共享,本申请对此实现方法不作限定。
[0138]
步骤S610,显示器显示该目标面部图像。
[0139]
在本实施例,可以根据显示器显示的合成图像,如图4f所示,判断其是否为用户所需要的图像,若不是,还可以按照上述方式重新进行图像合成,以便得到用户希望的合成图像。
[0140]
综上,本实施例中,结合待处理面部图像中需要替换的区域的肤色信息,以及其他区域的肤色信息,实现对目标表情素材图像的筛选,大大提高了目标表情素材图像中目标合成区域的区域图像与待处理面部图像的吻合度,保证所得合成图像整体肤色协调、自然,且保证了面部器官定位,保留了区域图像中表情细节,从而使得到的合成图像更加生动形象,提高了面部表情图像的合成效率。
[0141]
基于上述对本申请提供的面部表情合成方案的描述,在实际应用中, 如在社交平台中,为了增加乐趣,可以采用上述图像合成方法,会自己选定的两个面部图像进行表情互换,或利用选定的一个面部图像的某一区域图像替换另一面部图像中对应区域图像,从而获得面部换表情的结果,如将愤怒对象换成高兴对象等。
[0142]
可选的,结合图8所示的面部表情合成方法的流程示意图,当用户希望对A对象(如图9a或图9d)的嘴巴表情进行替换时,可以按照上述方式,结合A对象及其嘴巴区域的肤色信息,选择实现图像合成的B对象的图像。例如,针对图9a所示的待处理面部图像,筛选出如图9b所示的目标表情素材图像;针对图9d所示的待处理面部图像,筛选出如图9e所示的目标表情素材图像。之后,经过区域图像的提取与预处理,可以结合泊松融合算法,将B对象的嘴巴区域融合到A对象的图像中,从而使A对象具有B对象的嘴巴表情。如图9c所示的合成图像,将图9a中闭嘴笑的嘴巴替换成图9b所示的开口笑的嘴巴;图9f所示的合成图像中,将图9d中呲牙笑的嘴巴替换成图9e所示的吐舌头的嘴巴等等。
[0143]
由此可见,本申请可以采用上述方式得到目标对象各种各样的表情,增加了用户使用面部表情的乐趣。
[0144]
需要说明的是,本申请上述目标合成区域并不局限于嘴巴区域,还可以是眼睛区域、鼻子区域等等,实现方法类似,本申请在此不再一一详述。
[0145]
如图10所示,为本申请实施例提供了一种面部表情合成装置的结构框图,该装置应用于电子设备中,该电子设备可以是终端设备或服务器等,也就是说,本申请提供的该装置可以应用终端侧或网络侧,组成结构相同,本申请对此不再分别描述。在本实施例中,该装置可以包括:
[0146]
图像获得模块101,被设置为获得目标对象的待处理面部图像;
[0147]
可选的,在本申请中,图像获得模块101可以通过图像采集器获得待 处理面部图像,也可以通过通信接口获得其他设备传输的待处理面部图像,本申请对此不作限定。
[0148]
图像处理模块102,被设置为利用人脸识别技术对所述待处理面部图像进行处理,得到所述待处理面部图像的肤色信息;
[0149]
可选的,参照图11,该图像处理模块102可以包括:
[0150]
第一面部特征点识别单元1021,被设置为识别所述待处理面部图像的第一面部特征点;
[0151]
第一区域图像确定单元1022,被设置为利用所述第一面部特征点,确定所述待处理面部图像中目标合成区域的第一区域图像;
[0152]
第一肤色检测单元1023,被设置为对所述第一区域图像进行肤色检测,得到第一肤色信息。
[0153]
其中,关于面部特征点的提取以及图像的肤色检测方法,可以参照上述实施例相应部分的描述,本实施例在此不再赘述。
[0154]
另外,如图11所示,该图像处理模块102还可以包括:
[0155]
第二肤色检测单元1024,被设置为对所述待处理面部图像的其他区域图像进行肤色检测,得到第二肤色信息。
[0156]
其中,对于图像处理模块102不同的组成结构,被设置为筛选目标表情素材图像的筛选依据可以不同。
[0157]
图像筛选模块103,被设置为筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像;
[0158]
本申请中,若图像处理模块102仅获得了第一肤色信息或第二肤色信息,该图像筛选模块103可以被设置为筛选与第一肤色信息或第二肤色信息相匹配的目标表情素材图像;若图像处理模块102获得了第一肤色信息和第二肤色信息,该图像筛选模块103可以被设置为筛选与第一肤色信息 和第二肤色信息相匹配的目标表情素材图像。
[0159]
其中,对于不同的筛选方式,表情素材图像库中存储各表情素材图像的方式可以不同,内容可以参照上述方法实施例相应部分的描述。
[0160]
图像提取模块104,被设置为提取所述目标表情素材图像中目标合成区域对应的区域图像;
[0161]
可选的,如图12所示,图像提取模块104可以包括:
[0162]
第二面部特征点识别单元1041,被设置为识别所述目标表情素材图像的第二面部特征点;
[0163]
第二区域图像确定单元1042,被设置为利用所述第二面部特征点,确定所述目标表情素材图像中目标合成区域对应的第二区域图像。
[0164]
图像融合模块105,被设置为对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像。
[0165]
可选的,如图13所示,该图像融合模块105可以包括:
[0166]
像素梯度计算单元1051,被设置为利用所述区域图像中的像素以及对应的邻居像素,计算所述区域图像的像素梯度;
[0167]
图像合成单元1052,被设置为利用泊松算法将所述区域图像合成到所述待处理面部图像,并计算得到的合成图像的像素梯度;
[0168]
目标面部图像确定单元1053,被设置为确定所述合成图像的像素梯度等于所述区域图像的像素梯度,将所述合成图像作为所述目标对象的目标面部图像;
[0169]
区域图像调整单元1054,被设置为确定所述合成图像的像素梯度不等于所述区域图像的像素梯度,调整所述区域图像中的像素,直至所述合成图像的像素梯度等于所述区域图像的像素梯度。
[0170]
作为本申请另一实施例,在上述各实施例的基础上,该装置还可以包 括:
[0171]
图像调整模块,被设置为根据所述待处理面部图像,对所述目标表情素材图像进行缩放处理,以使处理后的目标表情素材图像与所述待处理面部图像对齐。
[0172]
需要说明的是,对于在图像融合处理之前,对区域图像的调整方法并不局限于图像调整模块的方式,可以参照上述方法实施例相应部分的描述,本实施例在此不再赘述。
[0173]
综上所述,本申请中,当需要更改目标对象的待处理面部图像的某区域的表情图像时,可以根据该区域的肤色信息以及其他区域的肤色信息,来选择肤色相匹配的目标表情素材图像,从而保证从该目标表情素材图像得到的目标合成区域的区域图像合成到待处理面部图像后,所得合成图像的整体肤色协调,且保留了区域图像中的表情细节,从而使合成图像更加生动形象。并且,由于本申请基于面部特征点定位目标合成区域,保证了所需替换的器官定位准确,提高了面部表情图像的合成效率。
[0174]
上面主要是从面部表情合成装置的功能模块进行的描述,下面将从由硬件组成结构的角度,来介绍电子设备的硬件结构。
[0175]
参照上图1所示的电子设备的硬件结构图,该电子设备可以包括:通信接口11、存储器12以及处理器13,其中:
[0176]
通信接口11可以用来实现与其他设备通信,或读取本地存储器12中存储的表情素材图像等等。
[0177]
存储器12,被设置为存储实现如上所述的面部表情合成方法的多个指令;
[0178]
处理器13,被设置为加载并执行存储器12存储的多个指令,包括:
[0179]
获得目标对象的待处理面部图像,并利用人脸识别技术对所述待处理 面部图像进行处理,得到所述待处理面部图像的肤色信息;
[0180]
筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像;
[0181]
提取所述目标表情素材图像中目标合成区域对应的区域图像;
[0182]
对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像。
[0183]
本申请的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行数据加载方法。
[0184]
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
[0185]
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
[0186]
S1,获得目标对象的待处理面部图像,并利用人脸识别技术对所述待处理面部图像进行处理,得到所述待处理面部图像的肤色信息;
[0187]
S2,筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像;
[0188]
S3,提取所述目标表情素材图像中目标合成区域对应的区域图像;
[0189]
S4,对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像。
[0190]
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:识别所述待处理面部图像的第一面部特征点;利用所述第一面部特征点,确定所述待处理面部图像中目标合成区域的第一区域图像;对所述第一区域图像进行肤色检测,得到第一肤色信息。
[0191]
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:筛 选表情素材图像库中与所述第一肤色信息匹配的目标表情素材。
[0192]
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:对所述待处理面部图像的其他区域图像进行肤色检测,得到第二肤色信息;所述筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像,包括:筛选表情素材图像库中与所述第一肤色信息和所述第二肤色信息匹配的目标表情素材。
[0193]
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:识别所述目标表情素材图像的第二面部特征点;利用所述第二面部特征点,确定所述目标表情素材图像中目标合成区域对应的第二区域图像。
[0194]
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在所述提取所述目标表情素材图像中目标合成区域对应的区域图像之前,根据所述待处理面部图像,对所述目标表情素材图像进行缩放处理,以使处理后的目标表情素材图像与所述待处理面部图像对齐。
[0195]
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取所述目标表情素材图像中目标合成区域的面部特征点相应的多边形图形,所述多边形图形的端点为所述目标合成区域的面部特征点;提取所述多边形图形对应的图像,作为用于与待处理面部表情合成的区域图像。
[0196]
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:利用所述区域图像中的像素以及对应的邻居像素,计算所述区域图像的像素梯度;利用泊松算法将所述区域图像合成到所述待处理面部图像,并计算得到的合成图像的像素梯度;确定所述合成图像的像素梯度等于所述区域图像的像素梯度,将所述合成图像作为所述目标对象的目标面部图像;确定所述合成图像的像素梯度不等于所述区域图像的像素梯度,调整所述区域图像中的像素,直至所述合成图像的像素梯度等于所述区域图像的像素梯度。
[0197]
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例, 本实施例在此不再赘述。
[0198]
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0199]
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置和电子设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0200]
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
[0201]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0202]
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的核心思想或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所 示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

权利要求书

[权利要求 1]
一种面部表情合成方法,所述方法包括: 获得目标对象的待处理面部图像,并利用人脸识别技术对所述待处理面部图像进行处理,得到所述待处理面部图像的肤色信息; 筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像; 提取所述目标表情素材图像中目标合成区域对应的区域图像; 对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像。
[权利要求 2]
根据权利要求1所述的方法,其中,所述利用人脸识别技术对所述待处理面部图像进行处理,得到所述待处理面部图像的肤色信息,包括: 识别所述待处理面部图像的第一面部特征点; 利用所述第一面部特征点,确定所述待处理面部图像中目标合成区域的第一区域图像; 对所述第一区域图像进行肤色检测,得到第一肤色信息。
[权利要求 3]
根据权利要求2所述的方法,其中,所述筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像,包括: 筛选表情素材图像库中与所述第一肤色信息匹配的目标表情素材。
[权利要求 4]
根据权利要求2所述的方法,其中,所述方法还包括: 对所述待处理面部图像的其他区域图像进行肤色检测,得到第二肤色信息; 所述筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像,包括: 筛选表情素材图像库中与所述第一肤色信息和所述第二肤色信息匹配的目标表情素材。
[权利要求 5]
根据权利要求2-4任意一项所述的方法,其中,所述提取所述目标表情素材图像中目标合成区域对应的区域图像,包括: 识别所述目标表情素材图像的第二面部特征点; 利用所述第二面部特征点,确定所述目标表情素材图像中目标合成区域对应的第二区域图像。
[权利要求 6]
根据权利要求5所述的方法,其中,在所述提取所述目标表情素材图像中目标合成区域对应的区域图像之前,所述方法还包括: 根据所述待处理面部图像,对所述目标表情素材图像进行缩放处理,以使处理后的目标表情素材图像与所述待处理面部图像对齐。
[权利要求 7]
根据权利要求1所述的方法,其中,所述提取所述目标表情素材图像中目标合成区域对应的区域图像,包括: 获取所述目标表情素材图像中目标合成区域的面部特征点相应的多边形图形,所述多边形图形的端点为所述目标合成区域的面部特征点; 提取所述多边形图形对应的图像,作为用于与待处理面部表情合成的区域图像。
[权利要求 8]
根据权利要求1所述的方法,其中,所述对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像,包括: 利用所述区域图像中的像素以及对应的邻居像素,计算所述区域图像的像素梯度; 利用泊松算法将所述区域图像合成到所述待处理面部图像,并计算得到的合成图像的像素梯度; 确定所述合成图像的像素梯度等于所述区域图像的像素梯度,将所述合成图像作为所述目标对象的目标面部图像; 确定所述合成图像的像素梯度不等于所述区域图像的像素梯度, 调整所述区域图像中的像素,直至所述合成图像的像素梯度等于所述区域图像的像素梯度。
[权利要求 9]
一种面部表情合成装置,包括一个或多个处理器,以及一个或多个存储程序单元的存储器,其中,所述程序单元由所述处理器执行,所述程序单元包括: 图像获得模块,被设置为获得目标对象的待处理面部图像; 图像处理模块,被设置为利用人脸识别技术对所述待处理面部图像进行处理,得到所述待处理面部图像的肤色信息; 图像筛选模块,被设置为筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像; 图像提取模块,被设置为提取所述目标表情素材图像中目标合成区域对应的区域图像; 图像融合模块,被设置为对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像。
[权利要求 10]
根据权利要求9所述的装置,其中,所述图像处理模块包括: 第一面部特征点识别单元,被设置为识别所述待处理面部图像的第一面部特征点; 第一区域图像确定单元,被设置为利用所述第一面部特征点,确定所述待处理面部图像中目标合成区域的第一区域图像; 第一肤色检测单元,被设置为对所述第一区域图像进行肤色检测,得到第一肤色信息。
[权利要求 11]
根据权利要求10所述的装置,其中,所述图像处理模块还包括: 第二肤色检测单元,被设置为对所述待处理面部图像的其他区域图像进行肤色检测,得到第二肤色信息; 所述图像筛选模块被设置为筛选表情素材图像库中与所述第一肤色信息和所述第二肤色信息匹配的目标表情素材。
[权利要求 12]
根据权利要求10或11所述的装置,其中,所述图像提取模块包括: 第二面部特征点识别单元,被设置为识别所述目标表情素材图像的第二面部特征点; 第二区域图像确定单元,被设置为利用所述第二面部特征点,确定所述目标表情素材图像中目标合成区域对应的第二区域图像。
[权利要求 13]
根据权利要求12所述的装置,其中,所述装置还包括: 图像调整模块,被设置为根据所述待处理面部图像,对所述目标表情素材图像进行缩放处理,以使处理后的目标表情素材图像与所述待处理面部图像对齐。
[权利要求 14]
根据权利要求9所述的装置,其中,所述图像融合模块包括: 像素梯度计算单元,被设置为利用所述区域图像中的像素以及对应的邻居像素,计算所述区域图像的像素梯度; 图像合成单元,被设置为利用泊松算法将所述区域图像合成到所述待处理面部图像,并计算得到的合成图像的像素梯度; 目标面部图像确定单元,被设置为确定所述合成图像的像素梯度等于所述区域图像的像素梯度,将所述合成图像作为所述目标对象的目标面部图像; 区域图像调整单元,被设置为确定所述合成图像的像素梯度不等于所述区域图像的像素梯度,调整所述区域图像中的像素,直至所述合成图像的像素梯度等于所述区域图像的像素梯度。
[权利要求 15]
一种电子设备,所述电子设备包括: 通信接口; 存储器,被设置为存储实现如权利要求1-9任意一项所述的面部表情合成方法的多个指令; 处理器,被设置为加载并执行所述多个指令,包括: 获得目标对象的待处理面部图像,并利用人脸识别技术对所述待 处理面部图像进行处理,得到所述待处理面部图像的肤色信息; 筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像; 提取所述目标表情素材图像中目标合成区域对应的区域图像; 对所述区域图像和所述待处理面部图像进行泊松融合处理,得到所述目标对象的目标面部图像。
[权利要求 16]
一种存储介质,其中,所述存储介质中存储有计算机程序,所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4A]  
[ 图 4B]  
[ 图 4C]  
[ 图 4D]  
[ 图 4E]  
[ 图 4F]  
[ 图 5]  
[ 图 6]  
[ 图 7]  
[ 图 8]  
[ 图 9A]  
[ 图 9B]  
[ 图 9C]  
[ 图 9D]  
[ 图 9E]  
[ 图 9F]  
[ 图 10]  
[ 图 11]  
[ 图 12]  
[ 图 13]