Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2021058663 - AUGMENTATION DE RÉSEAUX NEURONAUX BASÉES SUR L'ATTENTION POUR PARTICIPER SÉLECTIVEMENT À DES ENTRÉES PASSÉES

Numéro de publication WO/2021/058663
Date de publication 01.04.2021
N° de la demande internationale PCT/EP2020/076759
Date du dépôt international 24.09.2020
CIB
G06N 3/04 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
04Architecture, p.ex. topologie d'interconnexion
G06N 3/08 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
08Méthodes d'apprentissage
G06N 3/00 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
CPC
G06K 9/6257
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
62Methods or arrangements for recognition using electronic means
6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
6256Obtaining sets of training patterns; Bootstrap methods, e.g. bagging, boosting
6257characterised by the organisation or the structure of the process, e.g. boosting cascade
G06N 3/006
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
004Artificial life, i.e. computers simulating life
006based on simulated virtual individual or collective life forms, e.g. single "avatar", social simulations, virtual worlds or particle swarm optimisation
G06N 3/008
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
004Artificial life, i.e. computers simulating life
008based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. robots replicating pets or humans in their appearance or behavior
G06N 3/0445
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0445Feedback networks, e.g. hopfield nets, associative networks
G06N 3/0454
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0454using a combination of multiple neural nets
G06N 3/0472
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0472using probabilistic elements, e.g. p-rams, stochastic processors
Déposants
  • DEEPMIND TECHNOLOGIES LIMITED [GB]/[GB]
Inventeurs
  • RAE, Jack William
  • POTAPENKO, Anna
  • LILLICRAP, Timothy Paul
Mandataires
  • FISH & RICHARDSON P.C
Données relatives à la priorité
62/906,07825.09.2019US
Langue de publication anglais (EN)
Langue de dépôt anglais (EN)
États désignés
Titre
(EN) AUGMENTING ATTENTION-BASED NEURAL NETWORKS TO SELECTIVELY ATTEND TO PAST INPUTS
(FR) AUGMENTATION DE RÉSEAUX NEURONAUX BASÉES SUR L'ATTENTION POUR PARTICIPER SÉLECTIVEMENT À DES ENTRÉES PASSÉES
Abrégé
(EN)
Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for performing a machine learning task on a network input that is a sequence to generate a network output. In one aspect, one of the methods includes, for each particular sequence of layer inputs: for each attention layer in the neural network: maintaining episodic memory data; maintaining compressed memory data; receiving a layer input to be processed by the attention layer; and applying an attention mechanism over (i) the compressed representation in the compressed memory data for the layer, (ii) the hidden states in the episodic memory data for the layer, and (iii) the respective hidden state at each of the plurality of input positions in the particular network input to generate a respective activation for each input position in the layer input.
(FR)
Procédés, systèmes et appareil, comprenant des programmes informatiques codés sur un support de stockage informatique, pour effectuer une tâche d'apprentissage automatique sur une entrée de réseau qui est une séquence pour générer une sortie de réseau. Selon un aspect, l'un des procédés consiste, pour chaque séquence particulière d'entrées de couche, à : pour chaque couche d'attention dans le réseau neuronal : maintenir des données de mémoire épisodique ; maintenir des données de mémoire compressée ; recevoir une entrée de couche à traiter par la couche d'attention ; et appliquer un mécanisme d'attention sur (i) la représentation compressée dans les données de mémoire compressée pour la couche, (ii) les états masqués dans les données de mémoire épisodique pour la couche, et (iii) l'état masqué respectif au niveau de chaque position de la pluralité de positions d'entrée dans l'entrée de réseau particulière pour générer une activation respective pour chaque position d'entrée dans l'entrée de couche.
Également publié en tant que
Dernières données bibliographiques dont dispose le Bureau international