Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019042571) ASYNCHRONOUS GRADIENT AVERAGING DISTRIBUTED STOCHASTIC GRADIENT DESCENT
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2019/042571 International Application No.: PCT/EP2017/072079
Publication Date: 07.03.2019 International Filing Date: 04.09.2017
IPC:
G06N 3/08 (2006.01) ,G06N 99/00 (2010.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
08
Learning methods
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
99
Subject matter not provided for in other groups of this subclass
Applicants:
WU, Zuguang [CN/DE]; DE (US)
HUAWEI TECHNOLOGIES CO., LTD. [CN/CN]; Huawei Administration Building Bantian Longgang District Shenzhen, Guangdong 518129, CN
Inventors:
WU, Zuguang; DE
TALYANSKY, Roman; DE
PETERFREUND, Natan; DE
Agent:
KREUZ, Georg; DE
Priority Data:
Title (EN) ASYNCHRONOUS GRADIENT AVERAGING DISTRIBUTED STOCHASTIC GRADIENT DESCENT
(FR) DESCENTE DE GRADIENT STOCHASTIQUE DISTRIBUÉE À FORMATION DE MOYENNE DE GRADIENT ASYNCHRONE
Abstract:
(EN) A system for distributed training of a machine learning model over a plurality of computing nodes, comprising a server connected to a plurality of computing nodes and configured to control a training of a machine learning model in a plurality of training iterations. Each of the training iterations comprising: instructing each of the computing nodes to train a respective local copy of the machine learning model by locally computing a respective one of a plurality of cumulative gradients each including one or more gradients, obtaining the cumulative gradients from each of the computing nodes and creating an updated machine learning model by merging the machine learning model with an aggregated value of the cumulative gradients. Wherein during the obtaining and creating phases, one or more of the computing nodes compute a new respective cumulative gradient that is merged with the machine learning model in a following training iteration.
(FR) L’invention concerne un système conçu pour l'apprentissage distribué d'un modèle d'apprentissage automatique sur une pluralité de nœuds informatiques, ledit système comprenant un serveur connecté à une pluralité de nœuds informatiques et configuré pour commander un apprentissage d'un modèle d'apprentissage automatique dans une pluralité d'itérations d'apprentissage. Chacune des itérations d'apprentissage consiste à : ordonner à chacun des nœuds informatiques d’apprendre une copie locale respective du modèle d'apprentissage automatique en calculant localement un gradient respectif d’une pluralité de gradients cumulatifs comprenant chacun un ou plusieurs gradients ; obtenir les gradients cumulatifs à partir de chacun des nœuds informatiques ; et créer un modèle d'apprentissage automatique mis à jour en fusionnant le modèle d'apprentissage automatique avec une valeur agrégée des gradients cumulatifs. Pendant les phases d'obtention et de création, un ou plusieurs des nœuds informatiques calculent un nouveau gradient cumulatif respectif qui est fusionné avec le modèle d'apprentissage automatique dans une itération d'apprentissage suivante.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)