WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2017201507) MEMORY-EFFICIENT BACKPROPAGATION THROUGH TIME
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.:    WO/2017/201507    International Application No.:    PCT/US2017/033698
Publication Date: 23.11.2017 International Filing Date: 19.05.2017
Chapter 2 Demand Filed:    20.03.2018    
IPC:
G06N 3/04 (2006.01), G06N 3/08 (2006.01)
Applicants: DEEPMIND TECHNOLOGIES LIMITED [GB/GB]; 5 New Street Square London EC4A 3TW (GB)
Inventors: LANCTOT, Marc; (GB).
GRUSLYS, Audrunas; (GB).
DANIHELKA, Ivo; (GB)
Agent: SHOGHI, Pooya; (US).
TROESCH, Hans R.; (US).
MARKS & CLERK LLP; 1 New York Street Manchester Greater Manchester M1 4HD (GB)
Priority Data:
62/339,784 20.05.2016 US
Title (EN) MEMORY-EFFICIENT BACKPROPAGATION THROUGH TIME
(FR) RÉTROPROPAGATION DANS LE TEMPS, ÉCONOME EN MÉMOIRE
Abstract: front page image
(EN)Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for training a recurrent neural network on training sequences using backpropagation through time. In one aspect, a method includes receiving a training sequence including a respective input at each of a number of time steps; obtaining data defining an amount of memory allocated to storing forward propagation information for use during backpropagation; determining, from the number of time steps in the training sequence and from the amount of memory allocated to storing the forward propagation information, a training policy for processing the training sequence, wherein the training policy defines when to store forward propagation information during forward propagation of the training sequence; and training the recurrent neural network on the training sequence in accordance with the training policy.
(FR)L'invention concerne des procédés, des systèmes et un appareil, y compris des programmes informatiques codés sur un support de stockage informatique, destinés à la formation d'un réseau neuronal récurrent sur des séquences de formation à l'aide d'une rétropropagation dans le temps. Dans un mode de réalisation, l'invention concerne un procédé comprenant les étapes consistant à : recevoir une séquence de formation comprenant une entrée respective à chaque étape d'un certain nombre d'étapes temporelles; obtenir des données définissant une quantité de mémoire attribuée au stockage d'informations de propagation vers l'avant à utiliser pendant la rétropropagation; déterminer, à partir du nombre d'étapes temporelles dans la séquence d'apprentissage et à partir de la quantité de mémoire attribuée au stockage des informations de propagation vers l'avant, une politique de formation pour le traitement de la séquence de formation, cette politique de formation définissant le moment où il faut stocker des informations de propagation vers l'avant pendant la propagation vers l'avant de la séquence de formation; et entraîner le réseau neuronal récurrent sur la séquence de formation conformément à la politique de formation.
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Publication Language: English (EN)
Filing Language: English (EN)