(EN) Described is an apparatus (500) and method (400) for cross-lingual training between a source language and at least one target language. The method comprises receiving (401) a plurality of input data elements, each of the plurality of input data elements comprising a first linguistic expression (204) in the source language and a second linguistic expression (205) in the target language, the first and the second linguistic expressions having corresponding meaning in their respective languages; and training a neural network model (208) by repeatedly: i. selecting (402) one of the plurality of input data elements; ii. obtaining (403) a first representation of the first linguistic expression of the selected input data element by means of the neural network model; iii. obtaining (404) a second representation of the second linguistic expression of the selected input data element by means of the neural network model; iv. forming (405) a first loss in dependence on the performance of the neural network model on the first linguistic expression; v. forming (406) a second loss indicative of a similarity between the first representation and the second representation; and vi. adapting (407) the neural network model in dependence on the first and second losses. This may improve the performance of models in cross-lingual natural language understanding and classification tasks.
(FR) L'invention concerne un appareil (500) et un procédé (400) d'entraînement translingue entre un langage source et au moins un langage cible. Le procédé comprend la réception (401) d'une pluralité d'éléments de données d'entrée, chacun de la pluralité d'éléments de données d'entrée comprenant une première expression linguistique (204) dans la langue source et une seconde expression linguistique (205) dans la langue cible, les première et seconde expressions linguistiques ayant une signification correspondante dans leurs langues respectives ; et l'entraînement d'un modèle de réseau neuronal (208) en répétant : i. la sélection (402) de l'un de la pluralité d'éléments de données d'entrée ; ii. l'obtention (403) d'une première représentation de la première expression linguistique de l'élément de données d'entrée sélectionné au moyen du modèle de réseau neuronal ; iii. l'obtention (404) d'une seconde représentation de la seconde expression linguistique de l'élément de données d'entrée sélectionné au moyen du modèle de réseau neuronal ; iv. la formation (405) d'une première perte en fonction de la performance du modèle de réseau neuronal sur la première expression linguistique ; v. la formation (406) d'une seconde perte indiquant une similarité entre la première représentation et la seconde représentation ; et vi. l'adaptation (407) du modèle de réseau neuronal en fonction des première et seconde pertes. Cela permet d'améliorer la performance de modèles dans des tâches de compréhension et de classification de langage naturel interlingue.
