Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020096368 - IMAGE RESYNTHESIS USING FORWARD WARPING, GAP DISCRIMINATORS, AND COORDINATE-BASED INPAINTING

Publication Number WO/2020/096368
Publication Date 14.05.2020
International Application No. PCT/KR2019/015051
International Filing Date 07.11.2019
IPC
G06T 5/50 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
5Image enhancement or restoration
50by the use of more than one image, e.g. averaging, subtraction
G06T 3/00 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
3Geometric image transformation in the plane of the image
G06T 15/04 2011.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
153D  image rendering
04Texture mapping
Applicants
  • SAMSUNG ELECTRONICS CO., LTD. [KR]/[KR]
Inventors
  • GRIGORIEV, Artur Andreevich
  • LEMPITSKY, Victor Sergeevich
  • SEVASTOPOLSKY, Artem Mikhailovich
  • VAKHITOV, Alexander Timurovich
Agents
  • KIM, Tae-hun
  • JEONG, Hong-sik
Priority Data
201813954309.11.2018RU
201911311729.04.2019RU
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) IMAGE RESYNTHESIS USING FORWARD WARPING, GAP DISCRIMINATORS, AND COORDINATE-BASED INPAINTING
(FR) RESYNTHÈSE D'IMAGES UTILISANT UNE DÉFORMATION DIRECTE, DISCRIMINATEURS D'ESPACE ET RETOUCHE BASÉE SUR DES COORDONNÉES
Abstract
(EN)
The invention relates to image processing and, in particular, to image resynthesis for synthesizing new views of a person or an object based on an input image, to resolve tasks such as predicting views of a person or an object from new viewpoints and in new poses. Technical result consists in improved accuracy of image resynthesis based on at least one input image. An image resynthesis system, a system for training a gap filling module to be used in the image resynthesis system, an image resynthesis method, a computer program product and a computer-readable medium are provided. The image resynthesis system comprises a source image input module, a forward warping module configured to predict, for each source image pixel, a corresponding position in a target image, the forward warping module being configured to predict a forward warping field which is aligned with the source image, and a gap filling module configured to fill in the gaps resulting from the application of the forward warping module. The image resynthesis method comprises the steps of: inputting a source image, predicting, for each source image pixel, a corresponding position in a target image, wherein a forward warping field which is aligned with the source image is predicted, predicting a binary mask of gaps which result from the forward warping, filling in the gaps based on said binary mask of gaps by generating a texture image by means of predicting a pair of coordinates in the source image for each pixel in the texture image, and mapping the whole texture back to a new pose using backward warping.
(FR)
L'invention concerne le traitement d'images et, en particulier, la resynthèse d'images pour synthétiser de nouvelles vues d'une personne ou d'un objet sur la base d'une image d'entrée, pour résoudre des tâches telles que la prédiction de vues d'une personne ou d'un objet à partir de nouveaux points de vue et dans de nouvelles poses. Le résultat technique consiste en une meilleure précision de la resynthèse d'images sur la base d'au moins une image d'entrée. L'invention concerne également un système de resynthèse d'images, un système d'apprentissage d'un module de remplissage d'espace à utiliser dans le système de resynthèse d'images, un procédé de resynthèse d'images, un produit programme d'ordinateur et un support lisible par ordinateur. Le système de resynthèse d'images comprend un module d'entrée d'image source, un module de déformation directe conçu pour prédire, pour chaque pixel d'image source, une position correspondante dans une image cible, le module de déformation directe étant conçu pour prédire un champ de déformation directe qui est aligné sur l'image source, et un module de remplissage d'espace conçu pour remplir les espaces résultant de l'application du module de déformation directe. Le procédé de resynthèse d'images comprend les étapes consistant à : entrer une image source, prédire, pour chaque pixel d'image source, une position correspondante dans une image cible, un champ de déformation directe qui est aligné sur l'image source étant prédit, prédire un masque binaire d'espaces résultant de la déformation directe, remplir les espaces sur la base dudit masque binaire d'espaces par génération d'une image de texture au moyen de la prédiction d'une paire de coordonnées dans l'image source pour chaque pixel de l'image de texture, et mapper la texture entière de nouveau vers une nouvelle pose à l'aide d'une déformation indirecte.
Latest bibliographic data on file with the International Bureau