Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018083672) ENVIRONMENT NAVIGATION USING REINFORCEMENT LEARNING
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/083672 International Application No.: PCT/IB2017/056907
Publication Date: 11.05.2018 International Filing Date: 04.11.2017
Chapter 2 Demand Filed: 29.08.2018
IPC:
G06N 3/04 (2006.01) ,G06N 3/08 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
04
Architecture, e.g. interconnection topology
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
08
Learning methods
Applicants:
DEEPMIND TECHNOLOGIES LIMITED [GB/GB]; 5 New Street Square London EC4A 3TW, GB
Inventors:
VIOLA, Fabio; GB
MIROWSKI, Piotr Wojciech; GB
BANINO, Andrea; GB
PASCANU, Razvan; GB
SOYER, Hubert Josef; GB
BALLARD, Andrew James; GB
KUMARAN, Sudarshan; GB
HADSELL, Raia Thais; GB
SIFRE, Laurent; FR
GOROSHIN, Rostislav; GB
KAVUKCUOGLU, Koray; GB
DENIL, Misha Man Ray; GB
Agent:
MARKS & CLERK LLP; 1 New York Street Manchester Greater Manchester M1 4HD, GB
Priority Data:
62/418,07404.11.2016US
Title (EN) ENVIRONMENT NAVIGATION USING REINFORCEMENT LEARNING
(FR) NAVIGATION D'ENVIRONNEMENT À L'AIDE D'UN APPRENTISSAGE PAR RENFORCEMENT
Abstract:
(EN) Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for training a reinforcement learning system. In one aspect, a method of training an action selection policy neural network for use in selecting actions to be performed by an agent navigating through an environment to accomplish one or more goals comprises: receiving an observation image characterizing a current state of the environment; processing, using the action selection policy neural network, an input comprising the observation image to generate an action selection output; processing, using a geometry-prediction neural network, an intermediate output generated by the action selection policy neural network to predict a value of a feature of a geometry of the environment when in the current state; and backpropagating a gradient of a geometry-based auxiliary loss into the action selection policy neural network to determine a geometry-based auxiliary update for current values of the network parameters.
(FR) L'invention concerne des procédés, des systèmes et un appareil, y compris des programmes informatiques codés sur un support d'enregistrement informatique, pour former un système apprentissage par renforcement. Selon un aspect, un procédé de formation d'un réseau neuronal de politique de sélection d'action destiné à être utilisé dans la sélection d'actions à exécuter par un agent naviguant dans un environnement pour accomplir un ou plusieurs objectifs comprend: recevoir une image d'observation caractérisant un état actuel de l'environnement; traiter, à l'aide du réseau neuronal de politique de sélection d'action, une entrée comprenant l'image d'observation pour générer une sortie de sélection d'action; traiter, à l'aide d'un réseau neuronal de prédiction de géométrie, une sortie intermédiaire générée par le réseau neuronal de politique de sélection d'action pour prédire une valeur d'une caractéristique d'une caractéristique d'une géométrie de l'environnement lorsqu'il est dans l'état actuel; et la rétropropagation d'un gradient d'une perte auxiliaire basée sur la géométrie dans le réseau neuronal de politique de sélection d'action pour déterminer une mise à jour auxiliaire basée sur la géométrie pour des valeurs actuelles des paramètres de réseau.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)