Certains contenus de cette application ne sont pas disponibles pour le moment.
Si cette situation persiste, veuillez nous contacter àObservations et contact
1. (WO2019042571) DESCENTE DE GRADIENT STOCHASTIQUE DISTRIBUÉE À FORMATION DE MOYENNE DE GRADIENT ASYNCHRONE
Dernières données bibliographiques dont dispose le Bureau international    Formuler une observation

N° de publication : WO/2019/042571 N° de la demande internationale : PCT/EP2017/072079
Date de publication : 07.03.2019 Date de dépôt international : 04.09.2017
CIB :
G06N 3/08 (2006.01) ,G06N 99/00 (2010.01)
G PHYSIQUE
06
CALCUL; COMPTAGE
N
SYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3
Systèmes de calculateurs basés sur des modèles biologiques
02
utilisant des modèles de réseaux neuronaux
08
Méthodes d'apprentissage
G PHYSIQUE
06
CALCUL; COMPTAGE
N
SYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
99
Matière non prévue dans les autres groupes de la présente sous-classe
Déposants :
WU, Zuguang [CN/DE]; DE (US)
HUAWEI TECHNOLOGIES CO., LTD. [CN/CN]; Huawei Administration Building Bantian Longgang District Shenzhen, Guangdong 518129, CN
Inventeurs :
WU, Zuguang; DE
TALYANSKY, Roman; DE
PETERFREUND, Natan; DE
Mandataire :
KREUZ, Georg; DE
Données relatives à la priorité :
Titre (EN) ASYNCHRONOUS GRADIENT AVERAGING DISTRIBUTED STOCHASTIC GRADIENT DESCENT
(FR) DESCENTE DE GRADIENT STOCHASTIQUE DISTRIBUÉE À FORMATION DE MOYENNE DE GRADIENT ASYNCHRONE
Abrégé :
(EN) A system for distributed training of a machine learning model over a plurality of computing nodes, comprising a server connected to a plurality of computing nodes and configured to control a training of a machine learning model in a plurality of training iterations. Each of the training iterations comprising: instructing each of the computing nodes to train a respective local copy of the machine learning model by locally computing a respective one of a plurality of cumulative gradients each including one or more gradients, obtaining the cumulative gradients from each of the computing nodes and creating an updated machine learning model by merging the machine learning model with an aggregated value of the cumulative gradients. Wherein during the obtaining and creating phases, one or more of the computing nodes compute a new respective cumulative gradient that is merged with the machine learning model in a following training iteration.
(FR) L’invention concerne un système conçu pour l'apprentissage distribué d'un modèle d'apprentissage automatique sur une pluralité de nœuds informatiques, ledit système comprenant un serveur connecté à une pluralité de nœuds informatiques et configuré pour commander un apprentissage d'un modèle d'apprentissage automatique dans une pluralité d'itérations d'apprentissage. Chacune des itérations d'apprentissage consiste à : ordonner à chacun des nœuds informatiques d’apprendre une copie locale respective du modèle d'apprentissage automatique en calculant localement un gradient respectif d’une pluralité de gradients cumulatifs comprenant chacun un ou plusieurs gradients ; obtenir les gradients cumulatifs à partir de chacun des nœuds informatiques ; et créer un modèle d'apprentissage automatique mis à jour en fusionnant le modèle d'apprentissage automatique avec une valeur agrégée des gradients cumulatifs. Pendant les phases d'obtention et de création, un ou plusieurs des nœuds informatiques calculent un nouveau gradient cumulatif respectif qui est fusionné avec le modèle d'apprentissage automatique dans une itération d'apprentissage suivante.
front page image
États désignés : AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
Organisation régionale africaine de la propriété intellectuelle (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Office eurasien des brevets (OEAB) (AM, AZ, BY, KG, KZ, RU, TJ, TM)
Office européen des brevets (OEB (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
Organisation africaine de la propriété intellectuelle (OAPI) (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Langue de publication : anglais (EN)
Langue de dépôt : anglais (EN)