Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020112729 - SUIVI GUIDÉ PAR DÉTECTION DE DYNAMIQUE HUMAINE

Numéro de publication WO/2020/112729
Date de publication 04.06.2020
N° de la demande internationale PCT/US2019/063187
Date du dépôt international 26.11.2019
CIB
G06T 15/00 2011.01
GPHYSIQUE
06CALCUL; COMPTAGE
TTRAITEMENT OU GÉNÉRATION DE DONNÉES D'IMAGE, EN GÉNÉRAL
15Rendu d'images tridimensionnelles
G06T 17/00 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
TTRAITEMENT OU GÉNÉRATION DE DONNÉES D'IMAGE, EN GÉNÉRAL
17Modélisation tridimensionnelle pour infographie
CPC
G06T 15/00
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
153D [Three Dimensional] image rendering
G06T 17/00
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
17Three dimensional [3D] modelling, e.g. data description of 3D objects
Déposants
  • SONY CORPORATION [JP]/[JP]
  • ZHANG, Qing [CN]/[US] (US)
Inventeurs
  • ZHANG, Qing
Mandataires
  • FUJII, Harold, T.
Données relatives à la priorité
62/772,19028.11.2018US
Langue de publication anglais (EN)
Langue de dépôt anglais (EN)
États désignés
Titre
(EN) DETECTION-GUIDED TRACKING OF HUMAN DYNAMICS
(FR) SUIVI GUIDÉ PAR DÉTECTION DE DYNAMIQUE HUMAINE
Abrégé
(EN)
A system and method for detection-guided tracking of human-dynamics is provided. The system receives an input human-dynamics sequence including geometry information and an RGB video of a human object. The system inputs the RGB video to the neural network and estimates a pose of the human object in each frame of the RGB video based on output of the neural network for the input. The system selects, from the input human-dynamics sequence, a key-frame for which the estimated pose is closest to a reference human pose. From the selected key-frame and up to a number of frames of the input human-dynamics sequence, the system generates a tracking sequence for a 3D human mesh of the human object. The generated tracking sequence includes final values of parameters of articulate motion and non-rigid motion of the 3D human mesh. Based on the generated tracking sequence, the system generates a free-viewpoint video.
(FR)
L'invention concerne un système et un procédé de suivi guidé par détection de dynamique humaine. Le système reçoit une séquence de dynamique humaine d'entrée comprenant des informations géométriques et une vidéo RVB d'un objet humain. Le système entre la vidéo RVB sur le réseau neuronal et estime une pose de l'objet humain dans chaque trame de la vidéo RVB sur la base de la sortie du réseau neuronal pour l'entrée. Le système sélectionne, à partir de la séquence de dynamique humaine d'entrée, une trame clé pour laquelle la pose estimée est la plus proche d'une pose humaine de référence. À partir de la trame clé sélectionnée et jusqu'à un certain nombre de trames de la séquence de dynamique humaine d'entrée, le système génère une séquence de suivi pour un maillage humain 3D de l'objet humain. La séquence de suivi générée comprend des valeurs finales de paramètres de mouvement articulé et de mouvement non rigide du maillage humain 3D. Sur la base de la séquence de suivi générée, le système génère une vidéo à point de vue libre.
Dernières données bibliographiques dont dispose le Bureau international