Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Goto Application

1. WO2020092069 - SYSTÈME INFORMATIQUE POUR ANIMATION FACIALE TRIDIMENSIONNELLE EXPRESSIVE

Numéro de publication WO/2020/092069
Date de publication 07.05.2020
N° de la demande internationale PCT/US2019/057504
Date du dépôt international 22.10.2019
CIB
G06T 13/40 2011.01
GPHYSIQUE
06CALCUL; COMPTAGE
TTRAITEMENT OU GÉNÉRATION DE DONNÉES D'IMAGE, EN GÉNÉRAL
13Animation
20Animation tridimensionnelle
40de personnages, p.ex. d’êtres humains, d’animaux ou d’êtres virtuels
H04L 12/58 2006.01
HÉLECTRICITÉ
04TECHNIQUE DE LA COMMUNICATION ÉLECTRIQUE
LTRANSMISSION D'INFORMATION NUMÉRIQUE, p.ex. COMMUNICATION TÉLÉGRAPHIQUE
12Réseaux de données à commutation
54Systèmes de commutation par mémorisation et restitution
58Systèmes de commutation de messages
G06T 7/11 2017.01
GPHYSIQUE
06CALCUL; COMPTAGE
TTRAITEMENT OU GÉNÉRATION DE DONNÉES D'IMAGE, EN GÉNÉRAL
7Analyse d'image
10Découpage; Détection de bords
11Découpage basé sur les zones
G06T 7/246 2017.01
GPHYSIQUE
06CALCUL; COMPTAGE
TTRAITEMENT OU GÉNÉRATION DE DONNÉES D'IMAGE, EN GÉNÉRAL
7Analyse d'image
20Analyse du mouvement
246utilisant des procédés basés sur les caractéristiques, p.ex. le suivi des coins ou des segments
G06T 17/20 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
TTRAITEMENT OU GÉNÉRATION DE DONNÉES D'IMAGE, EN GÉNÉRAL
17Modélisation tridimensionnelle pour infographie
20Description filaire, p.ex. polygonalisation ou tessellation
CPC
G06N 3/04
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
G06T 13/40
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
13Animation
203D [Three Dimensional] animation
40of characters, e.g. humans, animals or virtual beings
G06T 17/20
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
17Three dimensional [3D] modelling, e.g. data description of 3D objects
20Finite element generation, e.g. wire-frame surface description, ; tesselation
G06T 7/11
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
10Segmentation; Edge detection
11Region-based segmentation
G06T 7/246
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
20Analysis of motion
246using feature-based methods, e.g. the tracking of corners or segments
G10L 2021/105
GPHYSICS
10MUSICAL INSTRUMENTS; ACOUSTICS
LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
21Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
10Transforming into visible information
105Synthesis of the lips movements from speech, e.g. for talking heads
Déposants
  • MICROSOFT TECHNOLOGY LICENSING, LLC [US]/[US]
Inventeurs
  • MITTAL, Gaurav
  • WANG, Baoyuan
Mandataires
  • MINHAS, Sandip, S.
  • CHEN, Wei-Chen Nicholas
  • HINOJOSA, Brianna L.
  • HOLMES, Danielle J.
  • SWAIN, Cassandra T.
  • WONG, Thomas S.
  • CHOI, Daniel
  • HWANG, William C.
  • WIGHT, Stephen A.
  • CHATTERJEE, Aaron C.
  • JARDINE, John S.
  • GOLDSMITH, Micah P.
Données relatives à la priorité
16/173,49129.10.2018US
Langue de publication anglais (EN)
Langue de dépôt anglais (EN)
États désignés
Titre
(EN) COMPUTING SYSTEM FOR EXPRESSIVE THREE-DIMENSIONAL FACIAL ANIMATION
(FR) SYSTÈME INFORMATIQUE POUR ANIMATION FACIALE TRIDIMENSIONNELLE EXPRESSIVE
Abrégé
(EN)
A computer-implemented technique for animating a visual representation of a face based on spoken words of a speaker is described herein. A computing device receives an audio sequence comprising content features reflective of spoken words uttered by a speaker. The computing device generates latent content variables and latent style variables based upon the audio sequence. The latent content variables are used to synchronized movement of lips on the visual representation to the spoken words uttered by the speaker. The latent style variables are derived from an expected appearance of facial features of the speaker as the speaker utters the spoken words and are used to synchronize movement of full facial features of the visual representation to the spoken words uttered by the speaker. The computing device causes the visual representation of the face to be animated on a display based upon the latent content variables and the latent style variables.
(FR)
L'invention concerne une technique mise en œuvre par ordinateur pour animer une représentation visuelle d'un visage sur la base de mots prononcés par un locuteur. Un dispositif informatique reçoit une séquence audio comprenant des caractéristiques de contenu reflétant des paroles prononcées par un locuteur. Le dispositif informatique génère des variables de contenu latent et des variables de style latent sur la base de la séquence audio. Les variables de contenu latent sont utilisées pour synchroniser le mouvement des lèvres sur la représentation visuelle avec les paroles prononcées par le locuteur. Les variables de style latent sont dérivées d'une apparence attendue des caractéristiques faciales du locuteur lorsque le locuteur prononce les paroles et sont utilisées pour synchroniser le mouvement des caractéristiques faciales complètes de la représentation visuelle avec les paroles prononcées par le locuteur. Le dispositif informatique amène la représentation visuelle du visage à être animée sur un dispositif d'affichage sur la base des variables de contenu latent et des variables de style latent.
Également publié en tant que
Dernières données bibliographiques dont dispose le Bureau international