Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2019078885 - EXÉCUTION PARALLÈLE D'OPÉRATIONS D'UNITÉS D'ACTIVATION À DÉCLENCHEMENT

Numéro de publication WO/2019/078885
Date de publication 25.04.2019
N° de la demande internationale PCT/US2017/057611
Date du dépôt international 20.10.2017
CIB
G06N 3/04 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
04Architecture, p.ex. topologie d'interconnexion
G06N 3/063 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
06Réalisation physique, c. à d. mise en oeuvre matérielle de réseaux neuronaux, de neurones ou de parties de neurones
063utilisant des moyens électroniques
G06F 9/50 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
FTRAITEMENT ÉLECTRIQUE DE DONNÉES NUMÉRIQUES
9Dispositions pour la commande par programme, p.ex. unités de commande
06utilisant des programmes stockés, c. à d. utilisant un moyen de stockage interne à l'équipement de traitement de données pour recevoir ou conserver les programmes
46Dispositions pour la multiprogrammation
50Allocation de ressources, p.ex. de l'unité centrale de traitement
CPC
G06F 9/505
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
9Arrangements for program control, e.g. control units
06using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
46Multiprogramming arrangements
50Allocation of resources, e.g. of the central processing unit [CPU]
5005to service a request
5027the resource being a machine, e.g. CPUs, Servers, Terminals
505considering the load
G06F 9/5066
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
9Arrangements for program control, e.g. control units
06using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
46Multiprogramming arrangements
50Allocation of resources, e.g. of the central processing unit [CPU]
5061Partitioning or combining of resources
5066Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
G06N 3/0445
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0445Feedback networks, e.g. hopfield nets, associative networks
G06N 3/063
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
063using electronic means
Déposants
  • DEEPMIND TECHNOLOGIES LIMITED [GB]/[GB]
Inventeurs
  • ELSEN, Erich Konrad
Mandataires
  • SHEPHERD, Michael P.
Données relatives à la priorité
Langue de publication anglais (EN)
Langue de dépôt anglais (EN)
États désignés
Titre
(EN) PARALLEL EXECUTION OF GATED ACTIVATION UNIT OPERATIONS
(FR) EXÉCUTION PARALLÈLE D'OPÉRATIONS D'UNITÉS D'ACTIVATION À DÉCLENCHEMENT
Abrégé
(EN)
Methods, systems, and apparatus, including computer programs encoded on computer storage media, for interleaving matrix operations of a gated activation unit. One of the methods includes receiving a plurality of weight matrices of a gated activation unit of the neural network, the gated activation unit having two or more layers, each layer defining operations comprising: (i) a matrix operation between a weight matrix for the layer and concatenated input vectors and (ii) a nonlinear activation operation using a result of the matrix operation. Rows of the plurality of weight matrices are interleaved by assigning groups of corresponding rows to respective thread blocks, each thread block being a computation unit for execution by an independent processing unit of a plurality of independent processing units of a parallel processing device.
(FR)
L'invention concerne des procédés, des systèmes et un appareil, y compris des programmes informatiques codés sur un support de stockage informatique, permettant d’entrelacer les opérations matricielles d’une unité d’activation à déclenchement. L'un des procédés consiste à recevoir une pluralité de matrices de poids d'une unité d'activation à déclenchement du réseau neuronal, l'unité d'activation à déclenchement comprenant au moins deux couches, chaque couche définissant des opérations comprenant : (i) une opération matricielle entre une matrice de poids pour la couche et des vecteurs d'entrée concaténés et (ii) une opération d'activation non linéaire utilisant un résultat de l'opération matricielle. Des rangées de la pluralité de matrices de poids sont entrelacées en attribuant des groupes de rangées correspondantes à des blocs de fils respectifs, chaque bloc de fils étant une unité de calcul destinée à être exécutée par une unité de traitement indépendante d'une pluralité d'unités de traitement indépendantes d'un dispositif de traitement parallèle.
Également publié en tant que
Dernières données bibliographiques dont dispose le Bureau international