Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020223278 - DATA SPARSITY MONITORING DURING NEURAL NETWORK TRAINING

Publication Number WO/2020/223278
Publication Date 05.11.2020
International Application No. PCT/US2020/030359
International Filing Date 29.04.2020
IPC
G06N 3/08 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06N 3/04 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
CPC
G06F 11/3495
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
11Error detection; Error correction; Monitoring
30Monitoring
34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; ; Recording or statistical evaluation of user activity, e.g. usability assessment
3466Performance evaluation by tracing or monitoring
3495for systems
G06N 3/0481
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0481Non-linear activation functions, e.g. sigmoids, thresholds
G06N 3/084
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
084Back-propagation
Applicants
  • ADVANCED MICRO DEVICES, INC. [US]/[US]
Inventors
  • DONG, Shi
  • LOWELL, Daniel
Agents
  • JONES, Anthony P.
Priority Data
16/397,28329.04.2019US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) DATA SPARSITY MONITORING DURING NEURAL NETWORK TRAINING
(FR) SURVEILLANCE DE LA RARETÉ DE DONNÉES PENDANT L'ENTRAÎNEMENT D'UN RÉSEAU NEURONAL
Abstract
(EN)
An electronic device that includes a processor configured to execute training iterations during a training process for a neural network, each training iteration including processing a separate instance of training data through the neural network, and a sparsity monitor is described. During operation, the sparsity monitor acquires, during a monitoring interval in each of one or more monitoring periods, intermediate data output by at least some intermediate nodes of the neural network during training iterations that occur during each monitoring interval. The sparsity monitor then generates, based at least in part on the intermediate data, one or more values representing sparsity characteristics for the intermediate data. The sparsity monitor next sends, to the processor, the one or more values representing the sparsity characteristics and the processor controls one or more aspects of executing subsequent training iterations based at least in part on the values representing the sparsity characteristics.
(FR)
L'invention concerne un dispositif électronique qui comprend un processeur configuré pour exécuter des itérations d'entraînement au cours d'un processus d'entraînement pour un réseau neuronal, chaque itération d'entraînement comprenant le traitement d'une instance distincte de données d'apprentissage par l'intermédiaire du réseau neuronal, ainsi qu'un moyen de surveillance de rareté. En cours de fonctionnement, le moyen de surveillance de rareté acquiert, pendant un intervalle de surveillance dans chaque période parmi une ou plusieurs périodes de surveillance, des données intermédiaires délivrées par au moins certains nœuds intermédiaires du réseau neuronal pendant des itérations d'entraînement qui ont lieu durant chaque intervalle de surveillance. Le moyen de surveillance de rareté génère ensuite, en se basant au moins en partie sur les données intermédiaires, une ou plusieurs valeurs représentant des caractéristiques de rareté pour les données intermédiaires. Le moyen de surveillance de rareté envoie ensuite au processeur la ou les valeurs représentant les caractéristiques de rareté et le processeur commande un ou plusieurs aspects de l'exécution d'itérations d'entraînement subséquentes en se basant au moins en partie sur les valeurs représentant les caractéristiques de rareté.
Latest bibliographic data on file with the International Bureau