Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018039011) ASYCHRONOUS TRAINING OF MACHINE LEARNING MODEL
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/039011 International Application No.: PCT/US2017/047247
Publication Date: 01.03.2018 International Filing Date: 17.08.2017
IPC:
G06N 3/08 (2006.01) ,G06N 3/04 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
08
Learning methods
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
04
Architecture, e.g. interconnection topology
Applicants:
MICROSOFT TECHNOLOGY LICENSING, LLC [US/US]; One Microsoft Way Redmond, Washington 98052-6399, US
Inventors:
WANG, Taifeng; US
CHEN, Wei; US
LIU, Tie-Yan; US
GAO, Fei; US
YE, Qiwei; US
Agent:
MINHAS, Sandip S.; US
CHEN, Wei-Chen Nicholas; US
DRAKOS, Katherine J.; US
HINOJOSA, Brianna L.; US
HOLMES, Danielle J.; US
SWAIN, Cassandra T.; US
WONG, Thomas S.; US
CHOI, Daniel; US
HWANG, William C.; US
WIGHT, Stephen A.; US
CHATTERJEE, Aaron C.; US
Priority Data:
201610730381.825.08.2016CN
Title (EN) ASYCHRONOUS TRAINING OF MACHINE LEARNING MODEL
(FR) APPRENTISSAGE ASYNCHRONE D'UN MODÈLE D'APPRENTISSAGE AUTOMATIQUE
Abstract:
(EN) Various implementations relate to asynchronous training of a machine learning model. A server receives feedback data generated by training the machine learning model from a worker. The feedback data are obtained by the worker with its own training data and are associated with previous values of a set of parameters of the machine learning model at the worker. The server determines differences between the previous values and current values of the set of parameters at the server. The current value may have been updated for once or more due to operation of other workers. Then, the server can update the current values of the set of parameters based on the feedback data and the differences between values of the set of parameters. Thus, the updating does not only take the training result of each worker into consideration but also makes proper compensation for delay between different workers.
(FR) Divers modes de réalisation concernent l'apprentissage asynchrone d'un modèle d'apprentissage automatique. Un serveur reçoit des données de rétroaction générées par l'apprentissage du modèle d'apprentissage automatique à partir d'un travailleur. Les données de rétroaction sont obtenues par le travailleur avec ses propres données d'apprentissage et sont associées à des valeurs précédentes d'un ensemble de paramètres du modèle d'apprentissage automatique au niveau du travailleur. Le serveur détermine des différences entre les valeurs précédentes et les valeurs actuelles de l'ensemble de paramètres au niveau du serveur. La valeur actuelle peut avoir été mise à jour une fois ou plus en raison du fonctionnement d'autres travailleurs. Ensuite, le serveur peut mettre à jour les valeurs actuelles de l'ensemble de paramètres sur la base des données de rétroaction et des différences entre des valeurs de l'ensemble de paramètres. Ainsi, la mise à jour ne prend pas seulement en considération le résultat d'apprentissage de chaque travailleur mais permet également une compensation appropriée du retard entre différents travailleurs.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)