Processing

Please wait...

Settings

Settings

Goto Application

1. WO2021042208 - DYNAMICALLY ESTIMATING LIGHT-SOURCE-SPECIFIC PARAMETERS FOR DIGITAL IMAGES USING A NEURAL NETWORK

Publication Number WO/2021/042208
Publication Date 11.03.2021
International Application No. PCT/CA2020/051194
International Filing Date 02.09.2020
IPC
G06T 15/50 2011.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
153D  image rendering
50Lighting effects
G06T 1/40 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
1General purpose image data processing
20Processor architectures; Processor configuration, e.g. pipelining
40Neural networks
CPC
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06T 15/506
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
153D [Three Dimensional] image rendering
50Lighting effects
506Illumination models
G06T 2200/24
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
2200Indexing scheme for image data processing or generation, in general
24involving graphical user interfaces [GUIs]
G06T 2207/20081
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
2207Indexing scheme for image analysis or image enhancement
20Special algorithmic details
20081Training; Learning
G06T 2207/20084
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
2207Indexing scheme for image analysis or image enhancement
20Special algorithmic details
20084Artificial neural networks [ANN]
G06T 7/50
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
50Depth or shape recovery
Applicants
  • UNIVERSITÉ LAVAL [CA]/[CA]
  • ADOBE INC. [US]/[US] (US)
Inventors
  • SUNKAVALLI, Kalyan
  • HOLD-GEOFFROY, Yannick
  • GAGNE, Christian
  • GARDNER, Marc-andre
  • LALONDE, Jean-Francois
Agents
  • HUNTER, Christopher N.
  • WRIGHT, Laurie
Priority Data
16/558,97503.09.2019US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) DYNAMICALLY ESTIMATING LIGHT-SOURCE-SPECIFIC PARAMETERS FOR DIGITAL IMAGES USING A NEURAL NETWORK
(FR) ESTIMATION DYNAMIQUE DE PARAMÈTRES SPÉCIFIQUES À UNE SOURCE DE LUMIÈRE POUR DES IMAGES NUMÉRIQUES UTILISANT UN RÉSEAU NEURONAL
Abstract
(EN)
This disclosure relates to methods, non-transitory computer readable media, and systems that can render a virtual object in a digital image by using a source-specific-lighting-estimation-neural network to generate three-dimensional ("3D") lighting parameters specific to a light source illuminating the digital image. To generate such source-specific-lighting parameters, for instance, the disclosed systems utilize a compact source-specific-lighting-estimation-neural network comprising both common network layers and network layers specific to different lighting parameters. In some embodiments, the disclosed systems further train such a source-specific-lighting-estimation-neural network to accurately estimate spatially varying lighting in a digital image based on comparisons of predicted environment maps from a differentiable-projection layer with ground-truth-environment maps.
(FR)
La présente invention concerne des procédés, des supports lisibles par ordinateur non transitoires, et des systèmes qui peuvent effectuer le rendu d'un objet virtuel dans une image numérique en utilisant un réseau neuronal d'estimation d'éclairage spécifique à une source pour produire des paramètres d'éclairage tridimensionnel (« 3D ») spécifiques à une source de lumière éclairant l'image numérique. Pour produire de tels paramètres d'éclairage spécifiques à une source, par exemple, les systèmes de l'invention utilisent un réseau neuronal d'estimation d'éclairage spécifique à une source compact comprenant à la fois des couches de réseau communes et des couches de réseau spécifiques à différents paramètres d'éclairage. Dans certains modes de réalisation, les systèmes de l'invention entraînent davantage un tel réseau neuronal d'estimation d'éclairage spécifique à une source pour estimer avec précision un éclairage variant dans l'espace dans une image numérique en fonction de comparaisons de cartes d'environnement prédites provenant d'une couche de projection différenciable avec des cartes d'environnement de réalité de terrain.
Also published as
Latest bibliographic data on file with the International Bureau