処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020240844 - 分散深層学習システム

公開番号 WO/2020/240844
公開日 03.12.2020
国際出願番号 PCT/JP2019/021792
国際出願日 31.05.2019
IPC
G06N 3/08 2006.1
G物理学
06計算;計数
N特定の計算モデルに基づくコンピュータ・システム
3生物学的モデルに基づくコンピュータシステム
02ニューラルネットワークモデルを用いるもの
08学習方法
CPC
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
出願人
  • 日本電信電話株式会社 NIPPON TELEGRAPH AND TELEPHONE CORPORATION [JP]/[JP]
発明者
  • 有川 勇輝 ARIKAWA, Yuki
  • 川合 健治 KAWAI, Kenji
  • 加藤 順一 KATO, Junichi
  • ゴー フィクー NGO, Huycu
  • 伊藤 猛 ITO, Tsuyoshi
  • 田仲 顕至 TANAKA, Kenji
  • 坂本 健 SAKAMOTO, Takeshi
代理人
  • 山川 茂樹 YAMAKAWA, Shigeki
  • 小池 勇三 KOIKE, Yuzo
  • 山川 政樹 YAMAKAWA, Masaki
  • 本山 泰 MOTOYAMA, Yasushi
優先権情報
公開言語 (言語コード) 日本語 (ja)
出願言語 (言語コード) 日本語 (JA)
指定国 (国コード)
発明の名称
(EN) DISTRIBUTED DEEP LEARNING SYSTEM
(FR) SYSTÈME D'APPRENTISSAGE PROFOND DISTRIBUÉ
(JA) 分散深層学習システム
要約
(EN) A computing interconnection device (1) is provided with: reception units (10-1 to 10-N) that receive packets transmitted from learning nodes (2-1 to 2-N), and acquire values of gradients stored in the packets; adders (130-1 to 130-M) that calculate, in accordance with the number of processing units to be executed which is determined on the basis of a desired processing speed and bit accuracy of the gradients, the sum of the gradients acquired by the reception units (10-1 to 10-N) in parallel for respective processing units; and transmission units (15-1 to 15-N) that write the calculation result of the sum of the gradients for the respective processing units acquired by the adders (130-1 to 130-M) for packetization, and transmit the resultant to the learning nodes (2-1 to 2-N).
(FR) Un dispositif d'interconnexion informatique (1) comprend : des unités de réception (10-1 à 10-N) qui reçoivent des paquets transmis à partir de nœuds d'apprentissage (2-1 à 2-N), et acquièrent des valeurs de gradients stockés dans les paquets ; des additionneurs (130-1 à 130-M) qui calculent, en fonction du nombre d'unités de traitement à exécuter qui est déterminé sur la base d'une vitesse de traitement souhaitée et d'une précision binaire des gradients, la somme des gradients acquis par les unités de réception (10-1 à 10-N) en parallèle pour des unités de traitement respectives ; et des unités de transmission (15-1 à 15-N) qui écrivent le résultat de calcul de la somme des gradients pour les unités de traitement respectives acquises par les additionneurs (130-1 à 130-M) pour la mise en paquets, et transmettent la résultante aux nœuds d'apprentissage (2-1 à 2-N).
(JA) コンピューティングインタコネクト装置(1)は、各学習ノード(2-1~2-N)から送信されたパケットを受信して、このパケットに格納された勾配の値を取得する受信部(10-1~10-N)と、勾配のビット精度と所望の処理速度とによって決まる実施すべき処理単位の数に対応して、受信部(10-1~10-N)によって取得された勾配の和を処理単位別に並列に計算する加算器(130-1~130-M)と、加算器(130-1~130-M)によって得られた処理単位別の勾配の和の計算結果をパケット化に書き込んで各学習ノード(2-1~2-N)に送信する送信部(15-1~15-N)とを備える。
Related patent documents
国際事務局に記録されている最新の書誌情報