Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2022212067 - ATTENTION EFFICIENTE EN RESSOURCES DANS UN RÉSEAU NEURONAL

Numéro de publication WO/2022/212067
Date de publication 06.10.2022
N° de la demande internationale PCT/US2022/020661
Date du dépôt international 17.03.2022
CIB
G06N 3/04 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
04Architecture, p.ex. topologie d'interconnexion
G06N 3/08 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
08Méthodes d'apprentissage
G06N 5/00 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
5Systèmes de calculateurs utilisant des modèles basés sur la connaissance
G06F 40/00 2020.1
GPHYSIQUE
06CALCUL; COMPTAGE
FTRAITEMENT ÉLECTRIQUE DE DONNÉES NUMÉRIQUES
40Manipulation de données en langage naturel
G06F 16/24 2019.1
GPHYSIQUE
06CALCUL; COMPTAGE
FTRAITEMENT ÉLECTRIQUE DE DONNÉES NUMÉRIQUES
16Recherche d’informations; Structures de bases de données à cet effet; Structures de systèmes de fichiers à cet effet
20de données structurées, p.ex. de données relationnelles
24Requêtes
G06N 5/04 2006.1
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
5Systèmes de calculateurs utilisant des modèles basés sur la connaissance
04Méthodes ou dispositifs inférents
CPC
G06F 16/3334
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
30of unstructured textual data
33Querying
3331Query processing
3332Query translation
3334Selection or weighting of terms from queries, including natural language queries
G06F 16/3338
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
30of unstructured textual data
33Querying
3331Query processing
3332Query translation
3338Query expansion
G06F 16/9532
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
90Details of database functions independent of the retrieved data types
95Retrieval from the web
953Querying, e.g. by the use of web search engines
9532Query formulation
G06F 40/40
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
40Handling natural language data
40Processing or translation of natural language
G06N 3/0427
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0427in combination with an expert system
G06N 3/0454
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0454using a combination of multiple neural nets
Déposants
  • MICROSOFT TECHNOLOGY LICENSING, LLC [US]/[US]
Inventeurs
  • YAN, Yu
  • CHEN, Jiusheng
  • BHENDAWADE, Nikhil
  • GONG, Yeyun
  • DUAN, Nan
  • ZHANG, Ruofei
Mandataires
  • CHATTERJEE, Aaron C.
  • BARKER, Doug
  • CHEN, Wei-Chen Nicholas
  • CHOI, Daniel
  • CHURNA, Timothy
  • DINH, Phong
  • EVANS, Patrick
  • GABRYJELSKI, Henry
  • GUPTA, Anand
  • HWANG, William C.
  • JARDINE, John S.
  • LEE, Sunah
  • LEMMON, Marcus
  • MARQUIS, Thomas
  • MEYERS, Jessica
  • SPELLMAN, Steven
  • SULLIVAN, Kevin
  • WALKER, Matt
  • WIGHT, Stephen A.
  • WISDOM, Gregg
  • WONG, Thomas S.
  • ZHANG, Hannah
  • AKHTER, Julia
  • KADOURA, Judy M.
  • NIU, Bo
  • BROWN, Renee
  • TRAN, Kimberly
Données relatives à la priorité
17/221,79103.04.2021US
Langue de publication Anglais (en)
Langue de dépôt anglais (EN)
États désignés
Titre
(EN) RESOURCE-EFFICIENT ATTENTION IN A NEURAL NETWORK
(FR) ATTENTION EFFICIENTE EN RESSOURCES DANS UN RÉSEAU NEURONAL
Abrégé
(EN) Computing technology is described herein that provides an attention mechanism, implemented by a neural network, that generates attention information based on head-specific query information and shared key and value (KV) information, without computing head-specific key information and head-specific value information, and without caching the head-specific key information and the head-specific value information in memory. This manner of operation allows the computing technology to make efficient use of processing and memory resources. In some implementations, the attention mechanism is part of decoder of an encoder-decoder system, or a standalone decoder system. In some implementations, the computing technology leverages the attention information to generate synthesized text based on input text.
(FR) L'invention concerne une technologie informatique qui fournit un mécanisme d'attention, implémenté par un réseau neuronal, qui génère des informations d'attention sur la base d'informations d'interrogation spécifiques à la tête et d'informations partagées de clé et de valeur (KV) sans calculer d'informations de clé spécifiques à la tête ni d'informations de valeur spécifiques à la tête, et sans mettre en cache les informations de clé spécifiques à la tête et les informations de valeur spécifiques à la tête dans la mémoire. Cette manière de fonctionner permet à la technologie informatique d'utiliser de manière efficiente des ressources de traitement et de mémoire. Dans certains modes de réalisation, le mécanisme d'attention fait partie du décodeur d'un système codeur-décodeur, ou d'un système décodeur autonome. Dans certains modes de réalisation, la technologie informatique tire parti des informations d'attention pour générer un texte de synthèse sur la base d'un texte d'entrée.
Documents de brevet associés
Dernières données bibliographiques dont dispose le Bureau international