Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020204610 - DEEP LEARNING-BASED COLORING METHOD, SYSTEM, AND PROGRAM

Publication Number WO/2020/204610
Publication Date 08.10.2020
International Application No. PCT/KR2020/004476
International Filing Date 01.04.2020
IPC
G06N 3/08 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06T 11/40 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
112D image generation
40Filling a planar surface by adding surface attributes, e.g. colour or texture
G06T 13/00 2011.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
13Animation
Applicants
  • 네이버웹툰 주식회사 NAVER WEBTOON CORPORATION [KR]/[KR]
  • 고려대학교 산학협력단 KOREA UNIVERSITY RESEARCH AND BUSINESS FOUNDATION [KR]/[KR]
Inventors
  • 장재혁 CHANG, Jae Hyuk
  • 주재걸 CHOO, Jae Gul
  • 유승주 YOO, Seung Joo
  • 정성효 CHUNG, Sung Hyo
  • 이가영 LEE, Ga Young
  • 방효진 BAHNG, Hyo Jin
Agents
  • 리앤목 특허법인 Y.P.LEE, MOCK & PARTNERS
Priority Data
10-2019-003861202.04.2019KR
Publication Language Korean (KO)
Filing Language Korean (KO)
Designated States
Title
(EN) DEEP LEARNING-BASED COLORING METHOD, SYSTEM, AND PROGRAM
(FR) PROCÉDÉ, SYSTÈME ET PROGRAMME DE COLORATION BASÉS SUR UN APPRENTISSAGE PROFOND
(KO) 딥러닝 기반 컬러링 방법, 시스템 및 프로그램
Abstract
(EN)
According to an embodiment of the present invention, provided is a deep learning-based coloring system comprising: a memory network configured to comprise a key memory associated with a spatial feature and a value memory associated with a color feature, and providing a color feature in response to a particular query; and a coloring network for performing coloring on the basis of a color feature generated in the memory network, wherein the memory network comprises: a query generation unit for generating a query; a neighbor calculation unit for calculating a k-nearest neighbor on the basis of the similarity between the query and key memory values; a color feature determination unit for generating a color feature for representing color information stored in the value memory; a threshold triple loss calculation unit for calculating a threshold triple loss on the basis of a comparison of a distance between the color features with a threshold; and a memory updating unit for updating a memory on the basis of whether or not a distance between the top value and a value of a newly input query is within the threshold.
(FR)
La présente invention porte, selon un mode de réalisation, sur un système de coloration basé sur un apprentissage profond comprenant : un réseau de mémoire configuré afin de comprendre une mémoire de clé associée à une caractéristique spatiale et une mémoire de valeur associée à une caractéristique de couleur, et afin de fournir une caractéristique de couleur en réponse à une interrogation particulière ; et un réseau de coloration afin d'effectuer une coloration sur la base d'une caractéristique de couleur générée dans le réseau de mémoire, le réseau de mémoire comprenant : une unité de génération d'interrogation afin de générer une interrogation ; une unité de calcul de voisin permettant de calculer le voisin le plus proche de k sur la base de la similarité entre les valeurs de mémoire d'interrogation et de clé ; une unité de détermination de caractéristique de couleur permettant de générer une caractéristique de couleur afin de représenter des informations de couleur stockées dans la mémoire de valeur ; une unité de calcul de triple perte de seuil afin de calculer une triple perte de seuil sur la base d'une comparaison d'une distance entre les caractéristiques de couleur avec un seuil ; et une unité de mise à jour de mémoire afin de mettre à jour une mémoire sur la base du fait qu'une distance entre la valeur supérieure et une valeur d'une interrogation nouvellement entrée se situe, ou non, à l'intérieur du seuil.
(KO)
본 발명의 일 실시예에 따르면, 공간 피처(spatial feature)와 관계된 키(key) 메모리, 컬러 피처(color feature)와 관계된 값(value) 메모리를 포함하도록 구성되고, 특정 쿼리에 대응하여 컬러 피처를 제공하는 메모리 네트워크; 및 상기 메모리 네트워크에서 생성한 컬러 피처에 기초하여 컬러링(coloring)을 수행하는 컬러링 네트워크; 를 포함하는 딥러닝 기반 컬러링 시스템에 있어서, 상기 메모리 네트워크는, 쿼리를 생성하는 쿼리 생성부; 상기 쿼리와 키 메모리값들 간의 유사성에 기초하여 k번째 가까운 이웃(k-nearest neighbor)을 산출하는 이웃 산출부; 상기 값 메모리에 저장된 색상 정보를 나타내기 위한 컬러 피처를 생성하는 컬러 피처 결정부; 상기 컬러 피처들 간의 거리와 임계값의 비교에 기초하여 임계값 삼중 손실을 산출하는 임계값 삼중 손실 산출부; 최상위 값과 새롭게 입력된 쿼리의 값 간의 거리가 임계값 이내인지 여부에 기초하여 메모리를 업데이트하는 메모리 업데이트부; 를 포함하는, 딥러닝 기반 컬러링 시스템이 제공된다.
Latest bibliographic data on file with the International Bureau