WIPO logo
Mobile | Deutsch | English | Español | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Recherche dans les collections de brevets nationales et internationales
World Intellectual Property Organization
Recherche
 
Options de navigation
 
Traduction
 
Options
 
Quoi de neuf
 
Connexion
 
Aide
 
Traduction automatique
1. (WO2018085730) ENTRAÎNEMENT DE MODÈLE DE RÉSEAU NEURONAL À NOMBREUSES TÂCHES CONJOINTES, PAR RÉGULARISATION SUCCESSIVE
Dernières données bibliographiques dont dispose le Bureau international    Formuler une observation

N° de publication : WO/2018/085730 N° de la demande internationale : PCT/US2017/060059
Date de publication : 11.05.2018 Date de dépôt international : 03.11.2017
CIB :
G06N 3/04 (2006.01) ,G10L 15/16 (2006.01) ,G10L 15/18 (2013.01) ,G10L 25/30 (2013.01) ,G06F 17/20 (2006.01)
Déposants : SALESFORCE.COM, INC.[US/US]; The Landmark @ One Market Suite 300 San Francisco, California 94105, US
Inventeurs : HASHIMOTO, Kazuma; US
XIONG, Caiming; US
SOCHER, Richard; US
Mandataire : WELCH, Henry L.; US
Données relatives à la priorité :
15/421,40731.01.2017US
15/421,42431.01.2017US
15/421,43131.01.2017US
62/417,26903.11.2016US
62/418,07004.11.2016US
Titre (EN) TRAINING A JOINT MANY-TASK NEURAL NETWORK MODEL USING SUCCESSIVE REGULARIZATION
(FR) ENTRAÎNEMENT DE MODÈLE DE RÉSEAU NEURONAL À NOMBREUSES TÂCHES CONJOINTES, PAR RÉGULARISATION SUCCESSIVE
Abrégé : front page image
(EN) The technology disclosed provides a so-called "joint many-task neural network model" to solve a variety of increasingly complex natural language processing (NLP) tasks using growing depth of layers in a single end-to-end model. The model is successively trained by considering linguistic hierarchies, directly connecting word representations to all model layers, explicitly using predictions in lower tasks, and applying a so-called "successive regularization" technique to prevent catastrophic forgetting. Three examples of lower level model layers are part-of-speech (POS) tagging layer, chunking layer, and dependency parsing layer. Two examples of higher level model layers are semantic relatedness layer and textual entailment layer. The model achieves the state-of-the-art results on chunking, dependency parsing, semantic relatedness and textual entailment.
(FR) La présente invention concerne un modèle de réseau neuronal dit "à nombreuses tâches conjointes" destiné à résoudre diverse tâches de plus en plus complexes de traitement automatique du langage naturel (TALN) au moyen d'une profondeur croissante de couches dans un modèle de bout en bout unique. Ce modèle est entraîné successivement par la prise en compte de hiérarchies linguistiques, l'association directe de représentations de mots à toutes les couches du modèle, l'utilisation explicite de prédictions dans des tâches inférieures et l'application d'une technique dite "de régularisation successive" afin d'empêcher un oubli catastrophique. Trois exemples de couches de modèle de niveau inférieur sont : une couche de marquage de partie du discours (POS), une couche de segmentation et une couche d'analyse de dépendance. Deux exemples de couches de modèle de niveau supérieur sont : une couche de parenté sémantique et une couche d'implication textuelle. Ce modèle permet d'obtenir des résultats de pointe sur le plan de la segmentation, de l'analyse de dépendance, de la parenté sémantique et de l'implication textuelle.
États désignés : AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
Organisation régionale africaine de la propriété intellectuelle (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Office eurasien des brevets (OEAB) (AM, AZ, BY, KG, KZ, RU, TJ, TM)
Office européen des brevets (OEB (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
Organisation africaine de la propriété intellectuelle (OAPI) (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Langue de publication : anglais (EN)
Langue de dépôt : anglais (EN)