WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2018057302) COMMUNICATION EFFICIENT FEDERATED LEARNING
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.:    WO/2018/057302    International Application No.:    PCT/US2017/050433
Publication Date: 29.03.2018 International Filing Date: 07.09.2017
Chapter 2 Demand Filed:    13.02.2018    
IPC:
G06N 99/00 (2010.01)
Applicants: GOOGLE LLC [US/US]; 1600 Amphitheatre Parkway Mountain View, California 94043 (US)
Inventors: MCMAHAN, Hugh Brendan; (US).
BACON, David Morris; (US).
KONECNY, Jakub; (US).
YU, Xinnan; (US)
Agent: PROBST, Joseph J.; (US).
BATAVIA, Neil, M.; (US).
KENNEDY, Richard; Venner Shipley LLP 200 Aldersgate London EC1A 4HD (GB)
Priority Data:
62/400,019 26.09.2016 US
Title (EN) COMMUNICATION EFFICIENT FEDERATED LEARNING
(FR) APPRENTISSAGE FÉDÉRÉ À COMMUNICATION EFFICACE
Abstract: front page image
(EN)The present disclosure provides efficient communication techniques for transmission of model updates within a machine learning framework, such as, for example, a federated learning framework in which a high-quality centralized model is trained on training data distributed overt a large number of clients each with unreliable network connections and low computational power. In an example federated learning setting, in each of a plurality of rounds, each client independently updates the model based on its local data and communicates the updated model back to the server, where all the client-side updates are used to update a global model. The present disclosure provides systems and methods that reduce communication costs. In particular, the present disclosure provides at least: structured update approaches in which the model update is restricted to be small and sketched update approaches in which the model update is compressed before sending to the server.
(FR)La présente invention concerne des techniques de communication efficace pour la transmission de mises à jour de modèle dans une structure d'apprentissage machine, telle que, par exemple, une structure d'apprentissage fédéré dans laquelle un modèle centralisé de haute qualité est entraîné sur des données d'apprentissage distribuées dans un grand nombre de clients ayant chacun des connexions réseau peu fiables et une faible puissance de calcul. Dans un exemple de configuration d'apprentissage fédéré, dans chaque tour d'une pluralité de tours, chaque client met à jour indépendamment le modèle en fonction de ses données locales et renvoie le modèle mis à jour au serveur, toutes les mises à jour côté client étant utilisées pour mettre à jour un modèle global. La présente invention concerne des systèmes et des procédés qui réduisent les coûts de communication. En particulier, la présente invention concerne au moins : des approches de mise à jour structurées dans lesquelles la mise à jour de modèle est limitée à des approches de mise à jour de petite taille et ébauchées dans lesquelles la mise à jour de modèle est compressée avant l'envoi au serveur.
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Publication Language: English (EN)
Filing Language: English (EN)