Processing

Please wait...

Settings

Settings

1. WO2002031764 - A METHOD FOR SUPERVISED TEACHING OF A RECURRENT ARTIFICIAL NEURAL NETWORK

Publication Number WO/2002/031764
Publication Date 18.04.2002
International Application No. PCT/EP2001/011490
International Filing Date 05.10.2001
Chapter 2 Demand Filed 10.05.2002
IPC
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
08
Learning methods
G06N 3/08 (2006.01)
CPC
G06N 3/08
Applicants
  • FRAUNHOFER-GESELLSCHAFT ZUR FÖRDERUNG DER ANGEWANDTEN FORSCHUNG E.V. [DE/DE]; Leonrodstr. 54 80636 München, DE (AllExceptUS)
  • JAEGER, Herbert [DE/DE]; DE (UsOnly)
Inventors
  • JAEGER, Herbert; DE
Agents
  • HILLERINGMANN, Jochen ; Bahnhofsvorplatz 1 (Deichmannhaus) 50667 Köln, DE
Priority Data
00122415.313.10.2000EP
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) A METHOD FOR SUPERVISED TEACHING OF A RECURRENT ARTIFICIAL NEURAL NETWORK
(FR) PROCEDE D'APPRENTISSAGE SUPERVISE DANS UN RESEAU DE NEURONES ARTIFICIELS RECURRENT
Abstract
(EN)
A method for the supervised teaching of a recurrent neutral network (RNN) is disclosed. A typical embodiment of the method utilizes a large (50 units or more), randomly initialized RNN with a globally stable dynamics. During the training period, the output units of this RNN are teacher-forced to follow the desired output signal. During this period, activations from all hidden units are recorded. At the end of the teaching period, these recorded data are used as input for a method which computes new weights of those connections that feed into the output units. The method is distinguished from existing training methods for RNNs through the following characteristics: (1) Only the weights of connections to output units are changed by learning - existing methods for teaching recurrent networks adjust all network weights. (2) The internal dynamics of large networks are used as a 'reservoir' of dynamical components which are not changed, but only newly combined by the learning procedure - existing methods use small networks, whose internal dynamics are themselves competely re-shaped through learning.
(FR)
L'invention concerne un procédé d'apprentissage supervisé dans un réseau de neurones artificiels récurrent (RNR). Dans un mode de mise en oeuvre caractéristique, ce procédé fait appel à un RNR de grande taille (au moins 50 unités) initialisé de manière aléatoire, présentant une dynamique d'ensemble stable. Au cours de la période d'apprentissage, une procédure d'apprentissage dirigé oblige les unités de sortie de ce RNR à suivre le signal de sortie désiré. Pendant cette période, les activations provenant de toutes les unités cachées sont enregistrées. A la fin de la période d'apprentissage, ces données enregistrées servent de données d'entrée dans un procédé qui calcule les nouveaux poids des connexions qui arrivent dans les unités de sortie. Ce procédé se distingue des procédés d'apprentissage existants pour les RNR par les caractéristiques suivantes : (1) seuls les poids des connexions avec les unités de sortie sont modifiés par l'apprentissage tandis que les procédés existants d'apprentissage par réseaux neuronaux adaptent tous les poids du réseau. (2) La dynamique interne des réseaux de grande taille est utilisée en tant que « réservoir » de composants dynamiques qui ne sont pas modifiés mais seulement combinés d'une nouvelle façon par la procédure de d'apprentissage tandis que les procédés existants utilisent des réseaux de taille réduite dont la dynamique interne est elle-même entièrement remaniée par l'apprentissage.
Also published as
IN529/CHENP/2003
Latest bibliographic data on file with the International Bureau