Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020112729 - DETECTION-GUIDED TRACKING OF HUMAN DYNAMICS

Publication Number WO/2020/112729
Publication Date 04.06.2020
International Application No. PCT/US2019/063187
International Filing Date 26.11.2019
IPC
G06T 15/00 2011.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
153D  image rendering
G06T 17/00 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
173D modelling for computer graphics
CPC
G06T 15/00
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
153D [Three Dimensional] image rendering
G06T 17/00
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
17Three dimensional [3D] modelling, e.g. data description of 3D objects
Applicants
  • SONY CORPORATION [JP]/[JP]
  • ZHANG, Qing [CN]/[US] (US)
Inventors
  • ZHANG, Qing
Agents
  • FUJII, Harold, T.
Priority Data
62/772,19028.11.2018US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) DETECTION-GUIDED TRACKING OF HUMAN DYNAMICS
(FR) SUIVI GUIDÉ PAR DÉTECTION DE DYNAMIQUE HUMAINE
Abstract
(EN)
A system and method for detection-guided tracking of human-dynamics is provided. The system receives an input human-dynamics sequence including geometry information and an RGB video of a human object. The system inputs the RGB video to the neural network and estimates a pose of the human object in each frame of the RGB video based on output of the neural network for the input. The system selects, from the input human-dynamics sequence, a key-frame for which the estimated pose is closest to a reference human pose. From the selected key-frame and up to a number of frames of the input human-dynamics sequence, the system generates a tracking sequence for a 3D human mesh of the human object. The generated tracking sequence includes final values of parameters of articulate motion and non-rigid motion of the 3D human mesh. Based on the generated tracking sequence, the system generates a free-viewpoint video.
(FR)
L'invention concerne un système et un procédé de suivi guidé par détection de dynamique humaine. Le système reçoit une séquence de dynamique humaine d'entrée comprenant des informations géométriques et une vidéo RVB d'un objet humain. Le système entre la vidéo RVB sur le réseau neuronal et estime une pose de l'objet humain dans chaque trame de la vidéo RVB sur la base de la sortie du réseau neuronal pour l'entrée. Le système sélectionne, à partir de la séquence de dynamique humaine d'entrée, une trame clé pour laquelle la pose estimée est la plus proche d'une pose humaine de référence. À partir de la trame clé sélectionnée et jusqu'à un certain nombre de trames de la séquence de dynamique humaine d'entrée, le système génère une séquence de suivi pour un maillage humain 3D de l'objet humain. La séquence de suivi générée comprend des valeurs finales de paramètres de mouvement articulé et de mouvement non rigide du maillage humain 3D. Sur la base de la séquence de suivi générée, le système génère une vidéo à point de vue libre.
Latest bibliographic data on file with the International Bureau