Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Goto Application

1. WO2020095729 - SYSTÈME D'APPRENTISSAGE PROFOND RÉPARTI ET PROCÉDÉ DE TRANSFERT DE DONNÉES

Numéro de publication WO/2020/095729
Date de publication 14.05.2020
N° de la demande internationale PCT/JP2019/042008
Date du dépôt international 25.10.2019
CIB
G06N 3/08 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
08Méthodes d'apprentissage
G06N 3/10 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
10Simulation sur des calculateurs universels
Déposants
  • 日本電信電話株式会社 NIPPON TELEGRAPH AND TELEPHONE CORPORATION [JP]/[JP]
Inventeurs
  • 田仲 顕至 TANAKA, Kenji
  • 有川 勇輝 ARIKAWA, Yuki
  • 川合 健治 KAWAI, Kenji
  • 加藤 順一 KATO, Junichi
  • 伊藤 猛 ITO, Tsuyoshi
  • ゴー フィクー NGO, Huycu
  • 坂本 健 SAKAMOTO, Takeshi
Mandataires
  • 山川 茂樹 YAMAKAWA, Shigeki
  • 小池 勇三 KOIKE, Yuzo
  • 山川 政樹 YAMAKAWA, Masaki
  • 本山 泰 MOTOYAMA, Yasushi
Données relatives à la priorité
2018-21134509.11.2018JP
Langue de publication japonais (JA)
Langue de dépôt japonais (JA)
États désignés
Titre
(EN) DISTRIBUTED DEEP LEARNING SYSTEM AND DATA TRANSFER METHOD
(FR) SYSTÈME D'APPRENTISSAGE PROFOND RÉPARTI ET PROCÉDÉ DE TRANSFERT DE DONNÉES
(JA) 分散深層学習システムおよびデータ転送方法
Abrégé
(EN)
The purpose of the present invention is to provide data transfer technology with which it is possible to perform a distributed deep learning process at higher speed. A distributed deep learning system comprising: a plurality of computers 1 connected to each other via a communication network, each of the computers 1 iteratively performing a forward propagation calculation and a reverse propagation calculation based on learning data and sending out the calculation result of the reverse propagation calculation to the communication network; and an allreduce processing device 2 connected to the computers 1 via the communication network, the allreduce processing device 2 processing the calculation results received from the plurality of computers 1 and returning the processing result to the computers 1. Each of the computers 1 has a forward propagation calculation unit 11, a reverse propagation calculation unit 12, a transfer processing unit 13 for storing the calculation result of a reverse propagation calculation in a transfer buffer each time the reverse propagation calculation unit 12 produces the calculation result of a reverse propagation calculation for each layer, and a communication unit 15 for sequentially transmitting the calculation results of reverse propagation calculations stored in the transfer buffer to the allreduce processing device 2 via the communication network.
(FR)
La présente invention vise à fournir une technologie de transfert de données avec laquelle il est possible d'effectuer un processus d'apprentissage profond réparti à une vitesse plus élevée. Un système d'apprentissage profond réparti comprend : une pluralité d'ordinateurs 1 reliés entre eux par l'intermédiaire d'un réseau de communication, chacun des ordinateurs 1 effectuant de manière itérative un calcul de propagation avant et un calcul de propagation inverse sur la base de données d'apprentissage et envoyant le résultat de calcul du calcul de propagation inverse au réseau de communication ; et un dispositif de traitement allreduce 2 connecté aux ordinateurs 1 par l'intermédiaire du réseau de communication, le dispositif de traitement allreduce 2 traitant les résultats de calcul reçus de la pluralité d'ordinateurs 1 et renvoyant le résultat de traitement aux ordinateurs 1. Chacun des ordinateurs 1 comporte une unité de calcul de propagation avant 11, une unité de calcul de propagation inverse 12, une unité de traitement de transfert 13 pour stocker le résultat de calcul d'un calcul de propagation inverse dans un tampon de transfert à chaque fois que l'unité de calcul de propagation inverse 12 produit le résultat de calcul d'un calcul de propagation inverse pour chaque couche, et une unité de communication 15 pour transmettre séquentiellement les résultats de calcul de calculs de propagation inverse stockés dans le tampon de transfert vers le dispositif de traitement allreduce 2 par l'intermédiaire du réseau de communication.
(JA)
分散深層学習処理をより高速に行うことができるデータ転送技術を提供することを目的とする。 分散深層学習システムは、通信ネットワークを介して互いに接続され、それぞれが学習データに基づく順伝搬計算および逆伝搬計算を反復的に行い、逆伝搬計算の計算結果を通信ネットワークに送出する複数の計算機1と、計算機1と通信ネットワークを介して接続され、複数の計算機1から受信した計算結果を処理して送信元に返送するAllreduce処理装置2とを備え、計算機1は、順伝搬計算部11と、逆伝搬計算部12と、逆伝搬計算部12が逆伝搬計算の計算結果を層ごとに算出するたびに、逆伝搬計算の計算結果を転送バッファに格納する転送処理部13と、転送バッファに格納された逆伝搬計算の計算結果を通信ネットワークを介してAllreduce処理装置2に順次送信する通信部15とを有する。
Dernières données bibliographiques dont dispose le Bureau international