WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2012113635) METHOD FOR THE COMPUTER-AIDED LEARNING OF A RECURRENT NEURONAL NETWORK FOR MODELLING A DYNAMIC SYSTEM
Latest bibliographic data on file with the International Bureau   

Pub. No.:    WO/2012/113635    International Application No.:    PCT/EP2012/051823
Publication Date: 30.08.2012 International Filing Date: 03.02.2012
IPC:
G06N 3/04 (2006.01), G06N 3/08 (2006.01)
Applicants: SIEMENS AKTIENGESELLSCHAFT [DE/DE]; Wittelsbacherplatz 2 80333 München (DE) (For All Designated States Except US).
ZIMMERMANN, Hans-Georg [DE/DE]; (DE) (For US Only).
GROTHMANN, Ralph [DE/DE]; (DE) (For US Only).
STERZING, Volkmar [DE/DE]; (DE) (For US Only).
TIETZ, Christoph [DE/DE]; (DE) (For US Only)
Inventors: ZIMMERMANN, Hans-Georg; (DE).
GROTHMANN, Ralph; (DE).
STERZING, Volkmar; (DE).
TIETZ, Christoph; (DE)
Common
Representative:
SIEMENS AKTIENGESELLSCHAFT; Postfach 22 16 34 80506 München (DE)
Priority Data:
102011004692.5 24.02.2011 DE
Title (DE) VERFAHREN ZUM RECHNERGESTÜTZTEN LERNEN EINES REKURRENTEN NEURONALEN NETZES ZUR MODELLIERUNG EINES DYNAMISCHEN SYSTEMS
(EN) METHOD FOR THE COMPUTER-AIDED LEARNING OF A RECURRENT NEURONAL NETWORK FOR MODELLING A DYNAMIC SYSTEM
(FR) PROCÉDÉ D'APPRENTISSAGE ASSISTÉ PAR ORDINATEUR D'UN RÉSEAU NEURONAL RÉCURRENT POUR LA MODÉLISATION D'UN SYSTÈME DYNAMIQUE
Abstract: front page image
(DE)Die Erfindung betrifft ein Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems, das zu jeweiligen Zeitpunkten durch einen Observablenvektor umfassend ein oder mehrere Observablen als Einträge charakterisiert wird. Das rekurrente neuronale Netz umfasst dabei ein erstes kausales Netz, welches erste Zustandsvektoren des dynamischen Systems zu aufeinander folgenden Zeitpunkten über eine Gewichtsmatrix koppelt. Im Rahmen des Lernens des rekurrenten neuronalen Netzes wird für jeden ersten Zustandsvektor des kausalen Netzes ein sogenanntes Teacher-Forcing mit Hilfe eines Differenzvektors durchgeführt. Das erfindungsgemässe Verfahren zeichnet sich dadurch aus, dass das rekurrente neuronale Netz ferner zumindest ein zweites kausales Netz umfasst, welches analog zum ersten kausalen Netz aufgebaut ist und in welchem zweite Zustandsvektoren über die gleiche Gewichtsmatrix wie im ersten kausalen Netz miteinander gekoppelt sind. Das zumindest eine zweite kausale Netz unterscheidet sich vom ersten kausalen Netz jedoch darin, dass nur für einen Teil der zweiten Zustandsvektoren ein Teacher-Forcing durchgeführt wird. Auf diese Weise wird ein verbessertes Lernen des neuronalen Netzes erreicht, so dass das gelernte neuronale Netz bessere Langzeitprognosen des entsprechend modellierten dynamischen Systems liefert. Das Verfahren eignet sich insbesondere zur Modellierung der zeitlichen Entwicklung von Energiepreisen und/oder Rohstoffpreisen. Ebenso kann das Verfahren zur Modellierung von Observablen beliebiger technischer Systeme eingesetzt werden, wie z.B. Gasturbinen und/oder Windkraftanlagen.
(EN)The invention relates to a method for the computer-aided learning of a recurrent neural network for modelling a dynamic system which is characterized at respective times by an observables vector comprising one or more observables as entries. The recurrent neuronal network comprises a first causal network that couples first vectors of the dynamic system at successive points in time via a weight matrix. In the context of learning the recurrent neuronal network, a so-called teacher-forcing is carried out for each first state vector of the causal network using a differential vector. The method according to the invention is characterized in that the recurrent neuronal network comprises also at least a second causal network which is constructed analogous to the first causal network and in which second state vectors are coupled to each other by means of the same weight matrix as in the first causal network. However, the at least one second causal network differs from the first causal network in that teacher-forcing is only carried out for a part of the second state vectors. In this way, an improved learning of the neuronal network is achieved so that the learned neuronal network provides better long-term assessments of the correspondingly modelled dynamic system. The method is particularly suitable for modelling the temporal development of energy prices and/or raw material prices. Similarly, the method can be used for modelling observables for any technical systems, such as, for example, gas turbines and/or wind power installations.
(FR)La présente invention concerne un procédé d'apprentissage assisté par ordinateur d'un réseau neuronal récurrent pour la modélisation d'un système dynamique qui est caractérisé à chaque instant par un vecteur d'observables comprenant une ou plusieurs observables en tant qu'entrées. Le réseau neuronal récurrent comprend un premier réseau causal qui couple des premiers vecteurs d'état du système dynamique à des instants successifs par le biais d'une matrice de pondération. Dans le cadre de l'apprentissage du réseau neuronal récurrent, un apprentissage dirigé est effectué pour chaque premier vecteur d'état du réseau causal, à l'aide d'un vecteur de différence. Le procédé selon l'invention est caractérisé en ce que le réseau neuronal récurrent comprend également au moins un deuxième réseau causal qui est construit de façon analogue au premier réseau causal et dans lequel des deuxièmes vecteurs d'état sont couplés les uns aux autres par le biais de la même matrice de pondération que dans le premier réseau causal. Ledit au moins un deuxième réseau causal est différent du premier réseau causal en ce qu'un apprentissage dirigé n'est effectué que pour une partie des deuxièmes vecteurs d'état. Ainsi, on obtient un meilleur apprentissage du réseau neuronal, ce qui permet au réseau neuronal ayant fait l'objet d'un tel apprentissage de fournir de meilleures prévisions à long terme du système dynamique modélisé correspondant. Le procédé convient notamment à la modélisation de l'évolution dans le temps du prix des énergies et/ou des matières premières. Le procédé peut également être utilisé pour la modélisation d'observables de systèmes techniques quelconques, par exemple dans des turbines à gaz et/ou des éoliennes.
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IS, JP, KE, KG, KM, KN, KP, KR, KZ, LA, LC, LK, LR, LS, LT, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, MD, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, ML, MR, NE, SN, TD, TG).
Publication Language: German (DE)
Filing Language: German (DE)