说明书
[0001]
本发明是要求由申请人提出的，申请日为2017年01月25日，申请号为CN201710060919.3，名称为“一种图像互动方法及互动装置”的申请的优先权。以上申请的全部内容通过整体引用结合于此。
[0002]
本发明涉及计算机图形处理领域，特别涉及一种图像互动方法及互动装置。
[0004]
对于让静止人物图像活动起来，通常是采用计算机动画处理。针对脸部特写的活动，美术设计人员需要提前做好脸部特写的图片模型，然后形成连续的序列帧画面，或者是对头脸部建模，绑定好骨头或肌肉，按帧率进行拉伸、纹理贴图、实时渲染，形成序列帧画面。以上处理方法需要确定的人物或脸部特写。
[0005]
在现有人机交互行为中，需要实现在移动终端上实现活照片模式，主要特点是首先在移动终端屏幕上呈现获得的静止的脸部特写，通常为一张照片中的部分图像，然后利用移动终端摄像头捕捉操作者的面部变化，并识别为一种具体表情，在移动终端摄屏幕上控制脸部特写做出相应的变化。
[0006]
上述计算机动画处理方法处理活照片模式存在技术缺陷。首先无法为随机获得的脸部特写预先形成各种表情的序列帧画面用于实时调用切换。即使在获得具体表情数据后能够实时生成脸部特写表情的序列帧画面，也会对移动终端的处理能力要求过高，造成系统反应延迟，以及过高的能耗，只能通过减低图像分辨率的方式衰减表情细节，降低表情质量。
[0008]
有鉴于此，本发明实施例提供了一种图像互动方法及互动装置，用于解决活照片模式下无法形成高效实时交互动画的技术问题。
[0010]
第一部分：建立照片与控制人的相应五官位置的映射联系；
[0011]
第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
[0015]
利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
[0016]
捕捉控制人初始面部，识别初始面部的五官初始关键部位；
[0017]
将五官初始关键部位与五官关键点位形成映射联系；
[0019]
捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
[0020]
利用偏差数据拉伸相应五官关键点位涉及的网格；
[0021]
更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
[0022]
重复第二部分，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
[0023]
所述利用五官关键点位构建表情网格，划分脸部特写的纹理图案包括：
[0024]
利用五官关键点位构建覆盖脸部特写的连续二维网格；
[0025]
关联每个网格与覆盖的局部脸部特写的特征数据。
[0026]
所述将五官初始关键部位与五官关键点位形成映射联系包括：
[0027]
控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五官关键点位关联；关联的映射策略包括：
[0028]
将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
[0029]
所述捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据包括：
[0030]
捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
[0031]
所述利用偏差数据拉伸相应五官关键点位涉及的网格包括：
[0032]
体现在偏差数据中的五官关键点位围成的网格的拉伸；
[0033]
包含偏差数据中的五官关键点位的网格的拉伸。
[0034]
所述更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面包括：
[0035]
控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成比例关系，优选1:1、5:1～1:10。
[0037]
映射装置，用于建立照片与控制人的相应五官位置的映射联系；
[0038]
识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
[0040]
照片轮廓识别模块，用于识别照片中的脸部特写；
[0041]
关键点位识别模块，用于识别脸部特写中的五官关键点位；
[0042]
表情网格生成模块，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
[0043]
控制人初始表情识别模块，用于捕捉控制人初始面部，识别初始面部的五官初始关键部位；
[0044]
映射模块，用于将五官初始关键部位与五官关键点位形成映射联系。
[0046]
控制人表情数据生成模块，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
[0047]
表情网格变化生成模块，用于利用偏差数据拉伸相应五官关键点位涉及的网 格；
[0048]
表情网格渲染模块，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
[0049]
表情生成模块，用于循环调用控制人表情数据生成模块、表情网格变化生成模块和表情网格渲染模块，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
[0051]
连续二维网格生成子模块，用于利用五官关键点位构建覆盖脸部特写的连续二维网格；
[0052]
纹理网格划分子模块，用于关联每个网格与覆盖的局部脸部特写的特征数据。
[0054]
第一关联子模块，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联；
[0055]
第二关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；
[0056]
第三关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
[0058]
附加偏差生成子模块，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
[0059]
所述主要网格拉伸子模块，用于拉伸体现在偏差数据中的五官关键点位围成的网格；
[0060]
次要网格拉伸子模块，用于拉伸包含偏差数据中的五官关键点位的网格。
[0061]
所述更新频率子模块，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。
[0062]
本发明实施例的图像互动装置，包括处理器和存储器，
[0063]
所述存储器用于存储完成权利要求1至8任一所述的视觉跟踪方法的程序 代码；
[0065]
本发明的图像互动方法与互动装置，利用对脸部特写的网格化形成五官关键点位的关联坐标点，利用控制人的五官初始关键部位替换五官关键点位，通过对五官后续关键部位的识别，利用形成的偏差数据调整网格的变化，网格变化后渲染形成的帧序列图像形成表情效果，避免了现有技术中的非实时人工处理和实时建模渲染复杂度。利用本发明实施例的图像互动方法，可以快速形成对任意图像中脸部特写的互动过程，使得活照片模式得以推广。
[0067]
图1为本发明一种图像互动方法实施例的处理流程图。
[0068]
图2为本发明一种图像互动装置实施例的架构示意图。
[0070]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0071]
图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。
[0073]
第一部分：建立照片与控制人的相应五官位置的映射联系；
[0074]
第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
[0075]
本发明基本的图像互动方法利用在相似坐标空间内建立相似特征的转换模型，将主动变化的特征数据作为控制信号完成静止画面的被动变化，形成新颖视觉效果。
[0076]
图1为本发明一种图像互动方法实施例的处理流程图。如图1所示，本发明实施例的图像互动方法，
[0079]
步骤20：识别脸部特写中的五官关键点位；
[0080]
步骤30：利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
[0081]
步骤40：捕捉控制人初始面部，识别初始面部的五官初始关键部位；
[0082]
步骤50：将五官初始关键部位与五官关键点位形成映射联系；
[0084]
步骤60：捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
[0085]
步骤70：利用偏差数据拉伸相应五官关键点位涉及的网格；
[0086]
步骤80：更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
[0087]
步骤90：重复第二部分的步骤60、步骤70和步骤80，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
[0088]
本发明实施例的图像互动方法，利用对脸部特写的网格化形成五官关键点位的关联坐标点，利用控制人的五官初始关键部位替换五官关键点位，通过对五官后续关键部位的识别，利用形成的偏差数据调整网格的变化，网格变化后渲染形成的帧序列图像形成表情效果，避免了现有技术中的非实时人工处理和实时建模渲染复杂度。利用本发明实施例的图像互动方法，可以快速形成对任意图像中脸部特写的互动过程，使得活照片模式得以推广。
[0089]
在本发明一实施例的图像互动方法中，步骤10中，包括对照片中单独面部轮廓、包括单独头面部轮廓或单独头部轮廓的识别。头部、面部或头面部可以采用现有的识别过程和方法。头部、面部或头面部可以存在识别过程和方法可容忍的扭曲或歪曲。
[0090]
在本发明一实施例的图像互动方法中，步骤20中，五官关键点位包括但不限 于五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。识别可以采用现有的识别过程和方法。
[0091]
在本发明一实施例的图像互动方法中，步骤30中，包括：
[0092]
利用五官关键点位构建覆盖脸部特写的连续二维网格，形成表情网格。二维网格的每个顶点为一个五官关键点位。每个网格与覆盖的局部脸部特写的面积、形状、纹理、明暗度等局部脸部特写特征相对应。
[0093]
在本发明一实施例的图像互动方法中，步骤40中，控制人初始面部指采用摄像部件捕捉的第一帧可有效识别五官初始关键部位的控制人面部图像。五官初始关键部位包括但不限于面部轮廓、五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。控制人面部可以存在识别过程和方法可容忍的扭曲或歪曲。
[0094]
在本发明一实施例中，控制人的五官初始关键部位与照片中脸部特写的五官关键点位受不同识别过程或方法的影响可能会存在数量上和种类上的差异，即同一类型的五官关键特征可以存在一个或一组点标记。例如鼻头，可以是由一个点标记，也可以由围成圆形的若干个点标记。
[0095]
在本发明一实施例的图像互动方法中，步骤50中包括：
[0096]
控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五官关键点位关联。距离矢量矩阵变化包括旋转、平移、缩放等处理过程，关联包括相互包括、相互覆盖、相互叠加、相互对应等关联关系。
[0097]
在本发明一实施例中，在控制人的五官初始关键部位与脸部特写中的五官关键点位之间根据映射策略形成相应的关联。映射策略包括：
[0098]
将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；
[0099]
或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
[0100]
不同的映射策略可以调和照片的脸部特写和捕捉的控制人面部的分辨率，也 可以调和照片的拟人形象的脸部特写和捕捉的控制人面部的偏离度。
[0101]
在本发明一实施例的图像互动方法中，步骤60中还包括：
[0102]
捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。附加偏差数据可以作为偏差数据的组成部分，提供五官后续关键部位间的微小差异数据，对于高清表情的表现具有促进作用。
[0103]
在本发明一实施例的图像互动方法中，附加偏差数据的利用可以采用如下步骤：
[0104]
捕捉到控制人的五官后续关键部位后，把这些关键部位经过矩阵的旋转平移和缩放，映射到识别图片中，此时的控制人的人脸关键部位和图片中人脸关键点会大致重合，然后用控制人的五官关键部位替换图片中的五官关键点。由于控制人的人脸关键部位是每一帧实时都生成的，且与上一帧数据出现偏差，所以会拉伸关键部位涉及的网格。
[0105]
在本发明一实施例的图像互动方法中，步骤70中，包括体现在偏差数据中的五官关键点位围成的网格的拉伸，以及包含偏差数据中的五官关键点位的网格的拉伸。这样的拉伸可以在保证表情主要动作到位的同时，形成与控制人表情一致的面部过渡动作，避免表情生硬。
[0106]
在本发明一实施例的图像互动方法中，步骤80中，控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成一定的比例关系，如1:1、5:1～1:10。在本发明一实施例中，这种比例关系与附加偏差数据中的数值正相关，可以有效控制表情变化剧烈程度与渲染处理资源间的平衡。
[0107]
本发明实施例的图像互动方法可以适应较高分辨率的照片中的脸部特写与相对较低分辨率的控制人表情间的互动适配，从分辨率、捕捉频率、表情剧烈程度和面部差异几方面满足活照片模式的实际应用。
[0108]
与基本的图像互动方法相应的图像互动装置，包括：
[0109]
映射装置，用于建立照片与控制人的相应五官位置的映射联系；
[0110]
识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
[0111]
图2为本发明一种图像互动装置实施例的架构示意图。如图2所示，本发明实施例的图像互动装置中，映射装置包括：
[0112]
照片轮廓识别模块100，用于识别照片中的脸部特写；
[0113]
关键点位识别模块200，用于识别脸部特写中的五官关键点位；
[0114]
表情网格生成模块300，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案；
[0115]
控制人初始表情识别模块400，用于捕捉控制人初始面部，识别初始面部的五官初始关键部位；
[0116]
映射模块500，用于将五官初始关键部位与五官关键点位形成映射联系；
[0118]
控制人表情数据生成模块600，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；
[0119]
表情网格变化生成模块700，用于利用偏差数据拉伸相应五官关键点位涉及的网格；
[0120]
表情网格渲染模块800，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；
[0121]
表情生成模块900，用于循环调用控制人表情数据生成模块600、表情网格变化生成模块700和表情网格渲染模块800，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
[0122]
在本发明一实施例的图像互动装置中，照片轮廓识别模块100进一步用于对照片中单独面部轮廓、包括单独头面部轮廓或单独头部轮廓的识别。
[0123]
在本发明一实施例的图像互动装置中，关键点位识别模块200主要识别五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。
[0124]
在本发明一实施例的图像互动装置中，表情网格生成模块300包括：
[0125]
连续二维网格生成子模块310，用于利用五官关键点位构建覆盖脸部特写的连续二维网格；
[0126]
纹理网格划分子模块320，用于关联每个网格与覆盖的局部脸部特写的特征数据。
[0127]
在本发明一实施例的图像互动装置中，控制人初始表情识别模块400进一步用于识别摄像部件捕捉的第一帧可有效识别五官初始关键部位的控制人面部图像。主要识别面部轮廓、五官轮廓、五官的颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。
[0128]
在本发明一实施例的图像互动装置中，映射模块500包括：
[0129]
第一关联子模块510，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联。
[0130]
第二关联子模块520，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联。
[0131]
第三关联子模块530，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
[0132]
在本发明一实施例的图像互动装置中，控制人表情数据生成模块600包括：
[0133]
附加偏差生成子模块610，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
[0134]
在本发明一实施例的图像互动装置中，表情网格变化生成模块700包括：
[0135]
主要网格拉伸子模块710，用于拉伸体现在偏差数据中的五官关键点位围成的网格。
[0136]
次要网格拉伸子模块720，用于拉伸包含偏差数据中的五官关键点位的网格。
[0137]
在本发明一实施例的图像互动装置中，表情网格渲染模块800包括：
[0138]
更新频率子模块810，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。
[0139]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
[0140]
本发明一实施例的图像互动装置包括存储器和处理器，其中：
[0141]
存储器用于存储实现上述实施例的图像互动方法的处理步骤的程序代码；
[0142]
处理器用于运行实现上述实施例的图像互动方法的处理步骤的程序代码。
[0143]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0144]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0145]
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0146]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0147]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0148]
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件 产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
[0149]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
[0150]
本发明的图像互动方法及互动装置利用对脸部特写的网格化形成五官关键点位的关联坐标点，利用控制人的五官初始关键部位替换五官关键点位，通过对五官后续关键部位的识别，利用形成的偏差数据调整网格的变化，网格变化后渲染形成的帧序列图像形成表情效果，避免了现有技术中的非实时人工处理和实时建模渲染复杂度。图像互动方法及互动装置可以应用在智能移动终端上，提高面部识别反馈效率。
权利要求书
[权利要求 1]
一种图像互动方法，包括： 第一部分：建立照片与控制人的相应五官位置的映射联系； 第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
[权利要求 2]
如权利要求1所述的图像互动方法，其特征在于，所述第一部分： 识别照片中的脸部特写； 识别脸部特写中的五官关键点位； 利用五官关键点位构建表情网格，划分脸部特写的纹理图案； 捕捉控制人初始面部，识别初始面部的五官初始关键部位； 将五官初始关键部位与五官关键点位形成映射联系。
[权利要求 3]
如权利要求2所述的图像互动方法，其特征在于，所述第二部分： 捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据； 利用偏差数据拉伸相应五官关键点位涉及的网格； 更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面； 重复第二部分，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
[权利要求 4]
如权利要求3所述的图像互动方法，其特征在于，所述利用五官关键点位构建表情网格，划分脸部特写的纹理图案包括： 利用五官关键点位构建覆盖脸部特写的连续二维网格； 关联每个网格与覆盖的局部脸部特写的特征数据。
[权利要求 5]
如权利要求3所述的图像互动方法，其特征在于，所述将五官初始关键部位与五官关键点位形成映射联系包括： 控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五 官关键点位关联；关联的映射策略包括： 将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
[权利要求 6]
如权利要求3所述的图像互动方法，其特征在于，所述捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据包括： 捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
[权利要求 7]
如权利要求3所述的图像互动方法，其特征在于，所述利用偏差数据拉伸相应五官关键点位涉及的网格包括： 体现在偏差数据中的五官关键点位围成的网格的拉伸； 包含偏差数据中的五官关键点位的网格的拉伸。
[权利要求 8]
如权利要求3所述的图像互动方法，其特征在于，所述更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面包括： 控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成比例关系，优选1:1、5:1～1:10。
[权利要求 9]
一种图像互动装置，包括： 映射装置，用于建立照片与控制人的相应五官位置的映射联系； 识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。
[权利要求 10]
如权利要求9所述的图像互动装置，其特征在于，所述映射装置包括： 照片轮廓识别模块，用于识别照片中的脸部特写； 关键点位识别模块，用于识别脸部特写中的五官关键点位； 表情网格生成模块，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案； 控制人初始表情识别模块，用于捕捉控制人初始面部，识别初始面部的五官 初始关键部位； 映射模块，用于将五官初始关键部位与五官关键点位形成映射联系。
[权利要求 11]
如权利要求10所述的图像互动装置，其特征在于，所述识别控制装置包括： 控制人表情数据生成模块，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据； 表情网格变化生成模块，用于利用偏差数据拉伸相应五官关键点位涉及的网格； 表情网格渲染模块，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面； 表情生成模块，用于循环调用控制人表情数据生成模块、表情网格变化生成模块和表情网格渲染模块，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。
[权利要求 12]
如权利要求11所述的图像互动装置，其特征在于，所述表情网格生成模块包括： 连续二维网格生成子模块，用于利用五官关键点位构建覆盖脸部特写的连续二维网格； 纹理网格划分子模块，用于关联每个网格与覆盖的局部脸部特写的特征数据。
[权利要求 13]
如权利要求11所述的图像互动装置，其特征在于，所述映射模块包括： 第一关联子模块，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联； 第二关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联； 第三关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。
[权利要求 14]
如权利要求11所述的图像互动装置，其特征在于，所述控制人表情数据生成模块包括： 附加偏差生成子模块，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。
[权利要求 15]
如权利要求11所述的图像互动装置，其特征在于，所述主要网格拉伸子模块，用于拉伸体现在偏差数据中的五官关键点位围成的网格； 次要网格拉伸子模块，用于拉伸包含偏差数据中的五官关键点位的网格。
[权利要求 16]
如权利要求11所述的图像互动装置，其特征在于，所述更新频率子模块，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。
[权利要求 17]
一种图像互动装置，包括处理器和存储器，其特征在于， 所述存储器用于存储完成权利要求1至8任一所述的图像互动方法的程序代码； 所述处理器用于运行所述程序代码。
附图
