Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020112152 - SYSTEMS AND RELATED METHODS FOR REDUCING THE RESOURCE CONSUMPTION OF A CONVOLUTIONAL NEURAL NETWORK

Publication Number WO/2020/112152
Publication Date 04.06.2020
International Application No. PCT/US2019/013034
International Filing Date 10.01.2019
IPC
G06N 3/04 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
G06N 3/08 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
CPC
G06N 3/0454
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0454using a combination of multiple neural nets
G06N 3/082
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
082modifying the architecture, e.g. adding or deleting nodes or connections, pruning
Applicants
  • GOOGLE LLC [US]/[US]
Inventors
  • MOVSHOVITZ-ATTIAS, Yair
  • POON, Andrew
  • GORDON, Ariel
  • EBAN, Elad Edwin Tzvi
Agents
  • WAITE, Sterling R.
  • BATAVIA, Neil, M.
Priority Data
62/772,65429.11.2018US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) SYSTEMS AND RELATED METHODS FOR REDUCING THE RESOURCE CONSUMPTION OF A CONVOLUTIONAL NEURAL NETWORK
(FR) SYSTÈMES ET PROCÉDÉS ASSOCIÉS PERMETTANT DE RÉDUIRE LA CONSOMMATION DE RESSOURCES D'UN RÉSEAU NEURONAL CONVOLUTIONNEL
Abstract
(EN)
A computer-implemented method for reducing the resource consumption of a convolutional neural network can include obtaining data descriptive of the convolutional neural network. The convolutional neural network can include a plurality of convolutional layers configured to perform convolutions using a plurality of kernels that each includes a plurality of kernel elements. The method can include training, for one or more training iterations, the convolutional neural network using a loss function that includes a group sparsifying regularizer term configured to sparsify a respective subset of the kernel elements of the kernel(s); following at least one training iteration, determining, for each of the kernel(s), whether to modify such kernel to remove the respective subset of the kernel elements based at least in part on respective values of the respective subset of kernel elements; and modifying at least one of the kernel(s) to remove the respective subset of the kernel elements.
(FR)
L'invention concerne un procédé mis en œuvre par ordinateur permettant de réduire la consommation de ressources d'un réseau neuronal convolutionnel qui peut consister à obtenir des données descriptives du réseau neuronal convolutionnel. Le réseau neuronal convolutionnel peut comprendre une pluralité de couches de convolution configurées pour effectuer des convolutions à l'aide d'une pluralité de noyaux qui comprennent chacun une pluralité d'éléments de noyau. Le procédé peut consister à former, pour une ou plusieurs itérations d'apprentissage, le réseau neuronal convolutionnel à l'aide d'une fonction de perte qui comprend un terme de régularisation de réduction de densité de groupe configuré pour réduire la densité d'un sous-ensemble respectif des éléments de noyau du ou des noyaux ; à suivre au moins une itération d'apprentissage, à déterminer, pour le noyau ou pour chacun des noyaux, s'il faut modifier un tel noyau pour supprimer le sous-ensemble respectif des éléments de noyau sur la base, au moins en partie, de valeurs respectives du sous-ensemble respectif d'éléments de noyau ; et à modifier le noyau ou au moins l'un des noyaux pour supprimer le sous-ensemble respectif des éléments de noyau.
Latest bibliographic data on file with the International Bureau