Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020155083 - PROCÉDÉ ET DISPOSITIF D'ENTRAÎNEMENT DISTRIBUÉ DE RÉSEAU NEURONAL

Numéro de publication WO/2020/155083
Date de publication 06.08.2020
N° de la demande internationale PCT/CN2019/074365
Date du dépôt international 01.02.2019
CIB
G06N 3/08 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
08Méthodes d'apprentissage
G06N 3/02 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
G06N 3/10 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
10Simulation sur des calculateurs universels
CPC
G06N 3/02
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06N 3/10
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
10Simulation on general purpose computers
Déposants
  • 华为技术有限公司 HUAWEI TECHNOLOGIES CO., LTD. [CN]/[CN]
Inventeurs
  • 沈强 SHEN, Qiang
  • 马涛 MA, Tao
  • 吴东君 WU, Dongjun
  • 江潇 JIANG, Xiao
Mandataires
  • 北京中博世达专利商标代理有限公司 BEIJING ZBSD PATENT&TRADEMARK AGENT LTD.
Données relatives à la priorité
Langue de publication chinois (ZH)
Langue de dépôt chinois (ZH)
États désignés
Titre
(EN) NEURAL NETWORK DISTRIBUTED TRAINING METHOD AND DEVICE
(FR) PROCÉDÉ ET DISPOSITIF D'ENTRAÎNEMENT DISTRIBUÉ DE RÉSEAU NEURONAL
(ZH) 神经网络的分布式训练方法及装置
Abrégé
(EN)
The present application provides a neural network distributed training method and device, which can effectively reduce the times and time consumption for determining a gradient aggregation solution, thereby improving training efficiency. The method includes: before starting the training task, determining the gradient aggregation threshold once, then, according to the gradient aggregation threshold, dividing a plurality of gradient calculation operators in the neural network into a plurality of gradient aggregation sets each including at least one gradient calculation operator, and when all the gradient calculation operators in any gradient aggregation set complete a gradient calculation, the gradient aggregation set performs one gradient aggregation operation as a whole.
(FR)
La présente invention concerne un procédé et un dispositif d'entraînement distribué de réseau neuronal, qui peuvent réduire efficacement les temps et la consommation de temps pour déterminer une solution d'agrégation de gradient, améliorant ainsi l'efficacité d'entraînement. Le procédé comprend les étapes suivantes : avant le démarrage de la tâche d'entraînement, la détermination du seuil d'agrégation de gradient une fois, puis, selon le seuil d'agrégation de gradient, la division d'une pluralité d'opérateurs de calcul de gradient dans le réseau neuronal en une pluralité d'ensembles d'agrégation de gradient comprenant chacun au moins un opérateur de calcul de gradient, et lorsque tous les opérateurs de calcul de gradient dans n'importe quel ensemble d'agrégation de gradient achèvent un calcul de gradient, l'ensemble d'agrégation de gradient réalise une opération d'agrégation de gradient globalement.
(ZH)
本申请提供一种神经网络的分布式训练方法及装置,能够有效减少确定梯度聚合方案的次数和耗时,从而提高训练效率。该方法包括:在启动训练任务之前,一次性地确定梯度聚合阈值,然后根据该梯度聚合阈值,将神经网络中的多个梯度计算算子划分为多个各包括至少一个梯度计算算子的梯度聚合集合,且当任意一个梯度聚合集合中的所有梯度计算算子均完成一个梯度计算时,则将该任意一个梯度聚合集合作为一个整体,执行一次梯度聚合操作。
Également publié en tant que
Dernières données bibliographiques dont dispose le Bureau international