Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020069039 - CONTINUAL NEURAL NETWORK LEARNING VIA EXPLICIT STRUCTURE LEARNING

Publication Number WO/2020/069039
Publication Date 02.04.2020
International Application No. PCT/US2019/053028
International Filing Date 25.09.2019
IPC
G06N 3/08 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06N 3/04 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
CPC
G06N 3/04
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
Applicants
  • SALESFORCE.COM, INC. [US]/[US]
Inventors
  • ZHOU, Yingbo
  • LI, Xilai
  • XIONG, Caiming
Agents
  • BLIKSHTEYN, Dina
  • WOO, Philip W.
  • EDWARDS, Gary
  • BROWN, Randall
  • SIMON, David
  • BECKER, Jeffrey
  • OLSEN, Joseph Sr.
  • COBB, Ryan
  • WOLFSON, Jeffrey
  • COHN, Andrew
  • NGUYEN, Thuc
  • HONG, Shi
Priority Data
16/176,41931.10.2018US
62/737,63627.09.2018US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) CONTINUAL NEURAL NETWORK LEARNING VIA EXPLICIT STRUCTURE LEARNING
(FR) APPRENTISSAGE DE RÉSEAU NEURONAL CONTINU PAR APPRENTISSAGE DE STRUCTURE EXPLICITE
Abstract
(EN)
Embodiments for training a neural network using sequential tasks are provided. A plurality of sequential tasks are received. For each task in the plurality of tasks a copy of the neural network that includes a plurality of layers is generated. From the copy of the neural network a task specific neural network is generated by performing an architectural search on the plurality of layers in the copy of the neural network. The architectural search identifies a plurality of candidate choices in the layers of the task specific neural network. Parameters in the task specific neural network that correspond to the plurality of candidate choices and that maximize architectural weights at each layer are identified. The parameters are retrained and merged with the neural network. The neural network trained on the plurality of sequential tasks is a trained neural network.
(FR)
L'invention concerne des modes de réalisation permettant d'apprendre un réseau neuronal à l'aide de tâches séquentielles. Une pluralité de tâches séquentielles sont reçues. Pour chaque tâche de la pluralité de tâches, une copie du réseau neuronal comprenant une pluralité de couches est générée. À partir de la copie du réseau neuronal, un réseau neuronal spécifique à une tâche est généré en effectuant une recherche architecturale sur la pluralité de couches dans la copie du réseau neuronal. La recherche architecturale identifie une pluralité de choix candidats dans les couches du réseau neuronal spécifique à une tâche. Des paramètres dans le réseau neuronal spécifique à la tâche, qui correspondent à la pluralité de choix candidats et qui maximisent les poids architecturaux dans chaque couche, sont identifiés. Les paramètres sont reformés et fusionnés avec le réseau neuronal. Le réseau neuronal appris sur la pluralité de tâches séquentielles est un réseau neuronal appris.
Also published as
Latest bibliographic data on file with the International Bureau