(EN) Techniques for the operation and use of a model that learns the general representation of multimodal images are disclosed. In various examples, methods from representation learning are used to find a common basis for representation of medical images. These include aspects of encoding, fusion, and downstream tasks, with use of the general representation and model. In an example, a method for generating a modality-agnostic model includes receiving imaging data, encoding the imaging data by mapping data to a latent representation, fusing the encoded data to conserve latent variables corresponding to the latent representation, and training a model using the latent representation. In an example, a method for processing imaging data using a trained modality-agnostic model includes receiving imaging data, encoding the data to the defined encoding, processing the encoded data with a trained model, and performing imaging processing operations based on output of the trained model.
(FR) La présente invention concerne des techniques pour le fonctionnement et l'utilisation d'un modèle qui apprend la représentation générale d'images multimodales. Dans différents exemples, des procédés d'apprentissage de représentation sont utilisés pour trouver une base commune pour la représentation d'images médicales. Ceux-ci comprennent des aspects de codage, de fusion et de tâches en aval, en faisant appel à la représentation générale et au modèle. Dans un exemple, un procédé de génération d'un modèle indépendant de la modalité comprend la réception de données d'imagerie, le codage des données d'imagerie par cartographie de données à une représentation latente, la fusion des données codées pour conserver des variables latentes correspondant à la représentation latente, et l'apprentissage d'un modèle à l'aide de la représentation latente. Dans un exemple, un procédé de traitement de données d'imagerie à l'aide d'un modèle indépendant de la modalité appris comprend la réception de données d'imagerie, le codage des données en codage défini, le traitement des données codées au moyen d'un modèle appris, et la réalisation d'opérations de traitement d'imagerie sur la base de la sortie du modèle appris.
