(EN) Methods, systems, and apparatus, including computer programs encoded on computer storage media, for scalable continual learning using neural networks. One of the methods includes receiving new training data for a new machine learning task; training an active subnetwork on the new training data to determine trained values of the active network parameters from initial values of the active network parameters while holding current values of the knowledge parameters fixed; and training a knowledge subnetwork on the new training data to determine updated values of the knowledge parameters from the current values of the knowledge parameters by training the knowledge subnetwork to generate knowledge outputs for the new training inputs that match active outputs generated by the trained active subnetwork for the new training inputs.
(FR) L'invention concerne des procédés, des systèmes et un appareil, contenant des programmes informatiques encodés sur des supports de stockage informatiques pour l'apprentissage continu évolutif grâce à des réseaux neuronaux. L'un des procédés consiste à recevoir de nouvelles données d'entraînement pour une nouvelle tâche d'apprentissage machine ; entraîner un sous-réseau actif avec les nouvelles données d'entraînement pour déterminer des valeurs entraînées des paramètres de réseau actif à partir de valeurs initiales des paramètres de réseau actif tout en maintenant fixes des valeurs actuelles des paramètres de connaissances ; et entraîner un sous-réseau de connaissances avec les nouvelles données d'entraînement pour déterminer des valeurs mises à jour des paramètres de connaissances à partir des valeurs actuelles des paramètres de connaissance en entraînant le sous-réseau de connaissances pour produire des sorties de connaissances pour les nouvelles entrées d'entraînement qui correspondent aux sorties actives produites par le sous-réseau actif entraîné pour les nouvelles entrées d'entraînement.
