Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020097217 - Systems and Methods for Training an Autoencoder Neural Network Using Sparse Data

Publication Number WO/2020/097217
Publication Date 14.05.2020
International Application No. PCT/US2019/060090
International Filing Date 06.11.2019
IPC
G06K 9/62 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
62Methods or arrangements for recognition using electronic means
G06N 3/08 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06N 3/02 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
Applicants
  • EMORY UNIVERSITY [US]/[US]
Inventors
  • PANDARINATH, Chethan
  • KESHTKARAN, Mohammadreza
Agents
  • ISAACS, Randi
  • MASON, James C.
  • FRITTS, Laura
  • SHERER, Todd
Priority Data
62/756,21506.11.2018US
62/886,62814.08.2019US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) Systems and Methods for Training an Autoencoder Neural Network Using Sparse Data
(FR) SYSTÈMES ET PROCÉDÉS POUR L'APPRENTISSAGE D'UN RÉSEAU NEURONAL D'AUTOENCODEUR UTILISANT DES DONNÉES RARES
Abstract
(EN)
Methods and systems are provided to prevent pathological overfitting in training autoencoder networks, by forcing the network to only model structure that is shared between different data variables and to enable an automatic search of hyperparameters in training autoencoder networks, resulting in automated discovery of optimally-trained models. The method may include training a neural network. The training may include applying a first binary mask to the set of training data to determine the training input data. The training may include processing the training input data by the neural network to produce network output data. The training may include determining one or more updates of the parameters based on a comparison of at least a portion of the network output data and a corresponding portion of the training data. The portion of the network output data and the corresponding portion of the training input data being inverts.
(FR)
L'invention concerne des procédés et des systèmes pour éviter un surapprentissage pathologique dans l'apprentissage de réseaux d'autoencodeur , en forçant le réseau seulement sur une structure de modèle qui est partagée entre différentes variables de données et pour permettre une recherche automatique d'hyperparamètres lors de l'apprentissage de réseaux d'autoencodeur, ce qui permet d'obtenir une découverte automatisée de modèles à apprentissage optimal. Le procédé peut comprendre l'apprentissage d'un réseau neuronal. L'apprentissage peut comprendre l'application d'un premier masque binaire à l'ensemble de données d'apprentissage pour déterminer les données d'entrée d'apprentissage. L'apprentissage peut comprendre le traitement des données d'entrée d'apprentissage par le réseau neuronal pour produire des données de sortie de réseau. L'apprentissage peut consister à déterminer une ou plusieurs mises à jour des paramètres sur la base d'une comparaison d'au moins une partie des données de sortie de réseau et d'une partie correspondante des données d'apprentissage. La partie des données de sortie de réseau et la partie correspondante des données d'entrée d'apprentissage sont inversées.
Latest bibliographic data on file with the International Bureau