WIPO logo
Mobile | Deutsch | English | Español | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Recherche dans les collections de brevets nationales et internationales
World Intellectual Property Organization
Recherche
 
Options de navigation
 
Traduction
 
Options
 
Quoi de neuf
 
Connexion
 
Aide
 
Traduction automatique
1. (WO2018085643) MÉLANGE DE RÉSEAUX NEURONAUX EXPERTS
Dernières données bibliographiques dont dispose le Bureau international    Formuler une observation

N° de publication :    WO/2018/085643    N° de la demande internationale :    PCT/US2017/059909
Date de publication : 11.05.2018 Date de dépôt international : 03.11.2017
CIB :
G06N 3/04 (2006.01)
Déposants : GOOGLE LLC [US/US]; 1600 Amphitheatre Parkway Mountain View, CA 94043 (US)
Inventeurs : SHAZEER, Noam, M.; (US).
MIRHOSEINI, Azalia; (US).
MAZIARZ, Krzysztof Stanislaw; (US)
Mandataire : PORTNOV, Michael; (US)
Données relatives à la priorité :
62/418,135 04.11.2016 US
62/432,497 09.12.2016 US
Titre (EN) MIXTURE OF EXPERTS NEURAL NETWORKS
(FR) MÉLANGE DE RÉSEAUX NEURONAUX EXPERTS
Abrégé : front page image
(EN)A system includes a neural network that includes a Mixture of Experts (MoE) subnetwork between a first neural network layer and a second neural network layer. The MoE subnetwork includes multiple expert neural networks. Each expert neural network is configured to process a first layer output generated by the first neural network layer to generate a respective expert output. The MoE subnetwork further includes a gating subsystem that selects, based on the first layer output, one or more of the expert neural networks and determine a respective weight for each selected expert neural network, provides the first layer output as input to each of the selected expert neural networks, combines the expert outputs generated by the selected expert neural networks in accordance with the weights for the selected expert neural networks to generate an MoE output, and provides the MoE output as input to the second neural network layer.
(FR)La présente invention concerne un système qui comprend un réseau neuronal comprenant un mélange de sous-réseau d'experts (MoE) entre une première couche de réseau neuronal et une seconde couche de réseau neuronal. Le sous-réseau MoE comprend de multiples réseaux neuronaux d'expert. Chaque réseau neuronal expert est configuré afin de traiter une première sortie de couche générée par la première couche de réseau neuronal afin de générer une sortie expert respective. Le sous-réseau MoE comprend en outre : un sous-système de déclenchement qui sélectionne, sur la base de la première sortie de couche, au moins un réseau neuronal expert et détermine un poids respectif pour chaque réseau neuronal expert sélectionné, fournit la première sortie de couche en tant qu'entrée à chacun des réseaux neuronaux d'expert sélectionnés, combine les sorties d'expert générées par les réseaux neuronaux d'expert sélectionnés en fonction des pondérations pour les réseaux neuronaux d'expert sélectionnés afin de générer une sortie de MoE, et fournit la sortie MoE en tant qu'entrée à la seconde couche de réseau neuronal.
États désignés : AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
Organisation régionale africaine de la propriété intellectuelle (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Office eurasien des brevets (OEAB) (AM, AZ, BY, KG, KZ, RU, TJ, TM)
Office européen des brevets (OEB) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
Organisation africaine de la propriété intellectuelle (OAPI) (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Langue de publication : anglais (EN)
Langue de dépôt : anglais (EN)