(12) International Application Status Report

Received at International Bureau: 30 October 2001 (30.10.2001)

Information valid as of: Not available

Report generated on: 18 June 2021 (18.06.2021)

(10) Publication number: (43) Publication date: (26) Publication language:
WO 2002/03176418 April 2002 (18.04.2002) English (EN)

(21) Application number: (22) Filing date: (25) Filing language:
PCT/EP2001/01149005 October 2001 (05.10.2001) English (EN)

(31) Priority number(s): (32) Priority date(s): (33) Priority status:
00122415.3 (EP)13 October 2000 (13.10.2000) Priority document received (in compliance with PCT Rule 17.1)

(51) International Patent Classification:
G06N 3/08 (2006.01)

(71) Applicant(s):
FRAUNHOFER-GESELLSCHAFT ZUR FÖRDERUNG DER ANGEWANDTEN FORSCHUNG E.V. [DE/DE]; Leonrodstr. 54 80636 München (DE) (for all designated states except US)
JAEGER, Herbert [DE/DE]; Vinxeler Strasse 52 53639 Königswinter (DE) (for US only)

(72) Inventor(s):
JAEGER, Herbert; Vinxeler Strasse 52 53639 Königswinter (DE)

(74) Agent(s):
HILLERINGMANN, Jochen; Bahnhofsvorplatz 1 (Deichmannhaus) 50667 Köln (DE)

(54) Title (EN): A METHOD FOR SUPERVISED TEACHING OF A RECURRENT ARTIFICIAL NEURAL NETWORK
(54) Title (FR): PROCEDE D'APPRENTISSAGE SUPERVISE DANS UN RESEAU DE NEURONES ARTIFICIELS RECURRENT

(57) Abstract:
(EN): A method for the supervised teaching of a recurrent neutral network (RNN) is disclosed. A typical embodiment of the method utilizes a large (50 units or more), randomly initialized RNN with a globally stable dynamics. During the training period, the output units of this RNN are teacher-forced to follow the desired output signal. During this period, activations from all hidden units are recorded. At the end of the teaching period, these recorded data are used as input for a method which computes new weights of those connections that feed into the output units. The method is distinguished from existing training methods for RNNs through the following characteristics: (1) Only the weights of connections to output units are changed by learning - existing methods for teaching recurrent networks adjust all network weights. (2) The internal dynamics of large networks are used as a 'reservoir' of dynamical components which are not changed, but only newly combined by the learning procedure - existing methods use small networks, whose internal dynamics are themselves competely re-shaped through learning.
(FR): L'invention concerne un procédé d'apprentissage supervisé dans un réseau de neurones artificiels récurrent (RNR). Dans un mode de mise en oeuvre caractéristique, ce procédé fait appel à un RNR de grande taille (au moins 50 unités) initialisé de manière aléatoire, présentant une dynamique d'ensemble stable. Au cours de la période d'apprentissage, une procédure d'apprentissage dirigé oblige les unités de sortie de ce RNR à suivre le signal de sortie désiré. Pendant cette période, les activations provenant de toutes les unités cachées sont enregistrées. A la fin de la période d'apprentissage, ces données enregistrées servent de données d'entrée dans un procédé qui calcule les nouveaux poids des connexions qui arrivent dans les unités de sortie. Ce procédé se distingue des procédés d'apprentissage existants pour les RNR par les caractéristiques suivantes : (1) seuls les poids des connexions avec les unités de sortie sont modifiés par l'apprentissage tandis que les procédés existants d'apprentissage par réseaux neuronaux adaptent tous les poids du réseau. (2) La dynamique interne des réseaux de grande taille est utilisée en tant que « réservoir » de composants dynamiques qui ne sont pas modifiés mais seulement combinés d'une nouvelle façon par la procédure de d'apprentissage tandis que les procédés existants utilisent des réseaux de taille réduite dont la dynamique interne est elle-même entièrement remaniée par l'apprentissage.

International search report:
Received at International Bureau: 06 June 2003 (06.06.2003) [EP]

International Report on Patentability (IPRP) Chapter II of the PCT:
Chapter II demand received: 10 May 2002 (10.05.2002)

(81) Designated States:
AE, AG, AL, AM, AT, AU, AZ, BA, BB, BG, BR, BY, BZ, CA, CH, CN, CO, CR, CU, CZ, DE, DK, DM, DZ, EC, EE, ES, FI, GB, GD, GE, GH, GM, HR, HU, ID, IL, IN, IS, JP, KE, KG, KP, KR, KZ, LC, LK, LR, LS, LT, LU, LV, MA, MD, MG, MK, MN, MW, MX, MZ, NO, NZ, PH, PL, PT, RO, RU, SD, SE, SG, SI, SK, SL, TJ, TM, TR, TT, TZ, UA, UG, US, UZ, VN, YU, ZA, ZW
European Patent Office (EPO) : AT, BE, CH, CY, DE, DK, ES, FI, FR, GB, GR, IE, IT, LU, MC, NL, PT, SE, TR
African Intellectual Property Organization (OAPI) : BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, ML, MR, NE, SN, TD, TG
African Regional Intellectual Property Organization (ARIPO) : GH, GM, KE, LS, MW, MZ, SD, SL, SZ, TZ, UG, ZW
Eurasian Patent Organization (EAPO) : AM, AZ, BY, KG, KZ, MD, RU, TJ, TM