WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2017201506) TRAINING NEURAL NETWORKS USING SYNTHETIC GRADIENTS
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.:    WO/2017/201506    International Application No.:    PCT/US2017/033697
Publication Date: 23.11.2017 International Filing Date: 19.05.2017
IPC:
G06N 3/08 (2006.01), G06N 3/04 (2006.01)
Applicants: DEEPMIND TECHNOLOGIES LIMITED [GB/GB]; 5 New Street Square London EC4A 3TW (GB)
Inventors: VINYALS, Oriol; (GB).
GRAVES, Alexander Benjamin; (GB).
CZARNECKI, Wojciech; (GB).
KAVUKCUOGLU, Koray; (GB).
OSINDERO, Simon; (GB).
JADERBERG, Maxwell Elliot; (GB)
Agent: SHOGHI, Pooya; (US).
TROESCH, Hans R.; (US)
Priority Data:
62/339,764 20.05.2016 US
Title (EN) TRAINING NEURAL NETWORKS USING SYNTHETIC GRADIENTS
(FR) ENTRAÎNEMENT DE RÉSEAUX NEURONAUX AU MOYEN DE GRADIENTS SYNTHÉTIQUES
Abstract: front page image
(EN)Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for training a neural network including a first subnetwork followed by a second subnetwork on training inputs by optimizing an objective function. In one aspect, a method includes processing a training input using the neural network to generate a training model output, including processing a subnetwork input for the training input using the first subnetwork to generate a subnetwork activation for the training input in accordance with current values of parameters of the first subnetwork, and providing the subnetwork activation as input to the second subnetwork; determining a synthetic gradient of the objective function for the first subnetwork by processing the subnetwork activation using a synthetic gradient model in accordance with current values of parameters of the synthetic gradient model; and updating the current values of the parameters of the first subnetwork using the synthetic gradient.
(FR)La présente invention concerne des procédés, des systèmes et un appareil, comprenant des programmes informatiques codés sur un support de stockage informatique, pour entraîner un réseau neuronal comprenant un premier sous-réseau suivi d'un second sous-réseau sur des données d'entrée d'entraînement par l'optimisation d'une fonction objectif. Selon un aspect, un procédé comprend le traitement d'une donnée d'entrée d'entraînement au moyen du réseau neuronal pour générer une donnée de sortie de modèle d'entraînement, comprenant le traitement d'une donnée d'entrée de sous-réseau pour la donnée d'entrée d'entraînement au moyen du premier sous-réseau pour générer une activation de sous-réseau pour la donnée d'entrée d'entraînement en fonction des valeurs courantes de paramètres du premier sous-réseau, et la fourniture de l'activation du sous-réseau sous forme de donnée d'entrée au second sous-réseau; la détermination d'un gradient synthétique de la fonction objectif pour le premier sous-réseau en traitant l'activation du sous-réseau au moyen d'un modèle de gradient synthétique en fonction des valeurs courantes des paramètres du modèle de gradient synthétique; et la mise à jour des valeurs courantes des paramètres du premier sous-réseau au moyen du gradient synthétique.
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Publication Language: English (EN)
Filing Language: English (EN)