Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. EP1356430 - PROCEDE D'APPRENTISSAGE SUPERVISE DANS UN RESEAU DE NEURONES ARTIFICIELS RECURRENT

Office Office européen des brevets (OEB)
Numéro de la demande 01976272
Date de la demande 05.10.2001
Numéro de publication 1356430
Date de publication 29.10.2003
Type de publication B1
CIB
G06N 3/04
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
04Architecture, p.ex. topologie d'interconnexion
G06N 3/08
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
08Méthodes d'apprentissage
CPC
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
Y04S 10/54
Déposants FRAUNHOFER GES FORSCHUNG
Inventeurs JAEGER HERBERT
États désignés
Données relatives à la priorité 00122415 13.10.2000 EP
0111490 05.10.2001 EP
01976272 05.10.2001 EP
Titre
(DE) VERFAHREN ZUM ÜBERWACHTEN TRAINIEREN EINES ITERATIVEN KÜNSTLICHEN NEURONALEN NETZWERKS
(EN) A METHOD FOR SUPERVISED TEACHING OF A RECURRENT ARTIFICIAL NEURAL NETWORK
(FR) PROCEDE D'APPRENTISSAGE SUPERVISE DANS UN RESEAU DE NEURONES ARTIFICIELS RECURRENT
Abrégé
(EN)
A method for the supervised teaching of a recurrent neutral network (RNN) is disclosed. A typical embodiment of the method utilizes a large (50 units or more), randomly initialized RNN with a globally stable dynamics. During the training period, the output units of this RNN are teacher-forced to follow the desired output signal. During this period, activations from all hidden units are recorded. At the end of the teaching period, these recorded data are used as input for a method which computes new weights of those connections that feed into the output units. The method is distinguished from existing training methods for RNNs through the following characteristics: (1) Only the weights of connections to output units are changed by learning - existing methods for teaching recurrent networks adjust all network weights. (2) The internal dynamics of large networks are used as a 'reservoir' of dynamical components which are not changed, but only newly combined by the learning procedure - existing methods use small networks, whose internal dynamics are themselves competely re-shaped through learning.

(FR)
L'invention concerne un procédé d'apprentissage supervisé dans un réseau de neurones artificiels récurrent (RNR). Dans un mode de mise en oeuvre caractéristique, ce procédé fait appel à un RNR de grande taille (au moins 50 unités) initialisé de manière aléatoire, présentant une dynamique d'ensemble stable. Au cours de la période d'apprentissage, une procédure d'apprentissage dirigé oblige les unités de sortie de ce RNR à suivre le signal de sortie désiré. Pendant cette période, les activations provenant de toutes les unités cachées sont enregistrées. A la fin de la période d'apprentissage, ces données enregistrées servent de données d'entrée dans un procédé qui calcule les nouveaux poids des connexions qui arrivent dans les unités de sortie. Ce procédé se distingue des procédés d'apprentissage existants pour les RNR par les caractéristiques suivantes : (1) seuls les poids des connexions avec les unités de sortie sont modifiés par l'apprentissage tandis que les procédés existants d'apprentissage par réseaux neuronaux adaptent tous les poids du réseau. (2) La dynamique interne des réseaux de grande taille est utilisée en tant que « réservoir » de composants dynamiques qui ne sont pas modifiés mais seulement combinés d'une nouvelle façon par la procédure de d'apprentissage tandis que les procédés existants utilisent des réseaux de taille réduite dont la dynamique interne est elle-même entièrement remaniée par l'apprentissage.

Également publié en tant que
IN529/CHENP/2003