Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2002031764 - PROCEDE D'APPRENTISSAGE SUPERVISE DANS UN RESEAU DE NEURONES ARTIFICIELS RECURRENT

Numéro de publication WO/2002/031764
Date de publication 18.04.2002
N° de la demande internationale PCT/EP2001/011490
Date du dépôt international 05.10.2001
Demande présentée en vertu du Chapitre 2 10.05.2002
CIB
G06N 3/08 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
08Méthodes d'apprentissage
CPC
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
Déposants
  • FRAUNHOFER-GESELLSCHAFT ZUR FÖRDERUNG DER ANGEWANDTEN FORSCHUNG E.V. [DE]/[DE] (AllExceptUS)
  • JAEGER, Herbert [DE]/[DE] (UsOnly)
Inventeurs
  • JAEGER, Herbert
Mandataires
  • HILLERINGMANN, Jochen
Données relatives à la priorité
00122415.313.10.2000EP
Langue de publication anglais (EN)
Langue de dépôt anglais (EN)
États désignés
Titre
(EN) A METHOD FOR SUPERVISED TEACHING OF A RECURRENT ARTIFICIAL NEURAL NETWORK
(FR) PROCEDE D'APPRENTISSAGE SUPERVISE DANS UN RESEAU DE NEURONES ARTIFICIELS RECURRENT
Abrégé
(EN)
A method for the supervised teaching of a recurrent neutral network (RNN) is disclosed. A typical embodiment of the method utilizes a large (50 units or more), randomly initialized RNN with a globally stable dynamics. During the training period, the output units of this RNN are teacher-forced to follow the desired output signal. During this period, activations from all hidden units are recorded. At the end of the teaching period, these recorded data are used as input for a method which computes new weights of those connections that feed into the output units. The method is distinguished from existing training methods for RNNs through the following characteristics: (1) Only the weights of connections to output units are changed by learning - existing methods for teaching recurrent networks adjust all network weights. (2) The internal dynamics of large networks are used as a 'reservoir' of dynamical components which are not changed, but only newly combined by the learning procedure - existing methods use small networks, whose internal dynamics are themselves competely re-shaped through learning.
(FR)
L'invention concerne un procédé d'apprentissage supervisé dans un réseau de neurones artificiels récurrent (RNR). Dans un mode de mise en oeuvre caractéristique, ce procédé fait appel à un RNR de grande taille (au moins 50 unités) initialisé de manière aléatoire, présentant une dynamique d'ensemble stable. Au cours de la période d'apprentissage, une procédure d'apprentissage dirigé oblige les unités de sortie de ce RNR à suivre le signal de sortie désiré. Pendant cette période, les activations provenant de toutes les unités cachées sont enregistrées. A la fin de la période d'apprentissage, ces données enregistrées servent de données d'entrée dans un procédé qui calcule les nouveaux poids des connexions qui arrivent dans les unités de sortie. Ce procédé se distingue des procédés d'apprentissage existants pour les RNR par les caractéristiques suivantes : (1) seuls les poids des connexions avec les unités de sortie sont modifiés par l'apprentissage tandis que les procédés existants d'apprentissage par réseaux neuronaux adaptent tous les poids du réseau. (2) La dynamique interne des réseaux de grande taille est utilisée en tant que « réservoir » de composants dynamiques qui ne sont pas modifiés mais seulement combinés d'une nouvelle façon par la procédure de d'apprentissage tandis que les procédés existants utilisent des réseaux de taille réduite dont la dynamique interne est elle-même entièrement remaniée par l'apprentissage.
Également publié en tant que
IN529/CHENP/2003
Dernières données bibliographiques dont dispose le Bureau international