Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2022250908 - ENTRAÎNEMENT DE MODÈLES DE LANGAGE MASQUÉ SUR LA BASE DE SÉQUENCES PARTIELLES DE JETONS

Numéro de publication WO/2022/250908
Date de publication 01.12.2022
N° de la demande internationale PCT/US2022/027739
Date du dépôt international 05.05.2022
CIB
G06N 3/04 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
04Architecture, p.ex. topologie d'interconnexion
G06N 3/08 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
08Méthodes d'apprentissage
CPC
G06F 40/284
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
40Handling natural language data
20Natural language analysis
279Recognition of textual entities
284Lexical analysis, e.g. tokenisation or collocates
G06N 3/045
G06N 3/063
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
063using electronic means
G06N 3/084
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
084Back-propagation
Déposants
  • MICROSOFT TECHNOLOGY LICENSING, LLC [US]/[US]
Inventeurs
  • WAGNER, Andy
  • MITRA, Tiyasa
  • NINA PARAVECINO, Fanny
Mandataires
  • CHATTERJEE, Aaron C.
  • BARKER, Doug
  • CHEN, Wei-Chen Nicholas
  • CHOI, Daniel
  • CHURNA, Timothy
  • DINH, Phong
  • EVANS, Patrick
  • GABRYJELSKI, Henry
  • GUPTA, Anand
  • HWANG, William C.
  • JARDINE, John S.
  • LEE, Sunah
  • LEMMON, Marcus
  • MARQUIS, Thomas
  • MEYERS, Jessica
  • SPELLMAN, Steven
  • SULLIVAN, Kevin
  • WALKER, Matt
  • WIGHT, Stephen A.
  • WISDOM, Gregg
  • WONG, Thomas S.
  • ZHANG, Hannah
  • AKHTER, Julia
  • KADOURA, Judy M.
  • NIU, Bo
  • BROWN, Renee
  • TRAN, Kimberly
Données relatives à la priorité
17/334,68428.05.2021US
Langue de publication Anglais (en)
Langue de dépôt anglais (EN)
États désignés
Titre
(EN) TRAINING MASKED LANGUAGE MODELS BASED ON PARTIAL SEQUENCES OF TOKENS
(FR) ENTRAÎNEMENT DE MODÈLES DE LANGAGE MASQUÉ SUR LA BASE DE SÉQUENCES PARTIELLES DE JETONS
Abrégé
(EN) Embodiments of the present disclosure include systems and methods for training masked language models based on partial sequences of tokens. A sequence of tokens for training a transformer model is received. A defined proportion of the sequence of tokens is selected. Each value of the defined proportion of the sequence of tokens is replaced with a defined value. The transformer model is trained by using the sequence of tokens to train the transformer model during a forward pass and using a subset of the sequence of tokens that includes the defined the proportion of the sequence of tokens to train the transformer model during a backward pass.
(FR) Des modes de réalisation de la présente invention comprennent des systèmes et des procédés d'entraînement de modèles de langage masqué sur la base de séquences partielles de jetons. Une séquence de jetons pour entraîner un modèle de transformateur est reçue. Une proportion définie de la séquence de jetons est sélectionnée. Chaque valeur de la proportion définie de la séquence de jetons est remplacée par une valeur définie. Le modèle de transformateur est entraîné à l'aide de la séquence de jetons pour entraîner le modèle de transformateur pendant un passage vers l'avant et à l'aide d'un sous-ensemble de la séquence de jetons qui comprend la proportion définie de la séquence de jetons pour entraîner le modèle de transformateur pendant un passage vers l'arrière.
Documents de brevet associés
Dernières données bibliographiques dont dispose le Bureau international