WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Options
Query Language
Stem
Sort by:
List Length
Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018085643) MIXTURE OF EXPERTS NEURAL NETWORKS
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/085643 International Application No.: PCT/US2017/059909
Publication Date: 11.05.2018 International Filing Date: 03.11.2017
Chapter 2 Demand Filed: 31.08.2018
IPC:
G06N 3/04 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
04
Architecture, e.g. interconnection topology
Applicants: GOOGLE LLC[US/US]; 1600 Amphitheatre Parkway Mountain View, CA 94043, US
Inventors: SHAZEER, Noam, M.; US
MIRHOSEINI, Azalia; US
MAZIARZ, Krzysztof Stanislaw; US
Agent: PORTNOV, Michael; US
Priority Data:
62/418,13504.11.2016US
62/432,49709.12.2016US
Title (EN) MIXTURE OF EXPERTS NEURAL NETWORKS
(FR) MÉLANGE DE RÉSEAUX NEURONAUX EXPERTS
Abstract:
(EN) A system includes a neural network that includes a Mixture of Experts (MoE) subnetwork between a first neural network layer and a second neural network layer. The MoE subnetwork includes multiple expert neural networks. Each expert neural network is configured to process a first layer output generated by the first neural network layer to generate a respective expert output. The MoE subnetwork further includes a gating subsystem that selects, based on the first layer output, one or more of the expert neural networks and determine a respective weight for each selected expert neural network, provides the first layer output as input to each of the selected expert neural networks, combines the expert outputs generated by the selected expert neural networks in accordance with the weights for the selected expert neural networks to generate an MoE output, and provides the MoE output as input to the second neural network layer.
(FR) La présente invention concerne un système qui comprend un réseau neuronal comprenant un mélange de sous-réseau d'experts (MoE) entre une première couche de réseau neuronal et une seconde couche de réseau neuronal. Le sous-réseau MoE comprend de multiples réseaux neuronaux d'expert. Chaque réseau neuronal expert est configuré afin de traiter une première sortie de couche générée par la première couche de réseau neuronal afin de générer une sortie expert respective. Le sous-réseau MoE comprend en outre : un sous-système de déclenchement qui sélectionne, sur la base de la première sortie de couche, au moins un réseau neuronal expert et détermine un poids respectif pour chaque réseau neuronal expert sélectionné, fournit la première sortie de couche en tant qu'entrée à chacun des réseaux neuronaux d'expert sélectionnés, combine les sorties d'expert générées par les réseaux neuronaux d'expert sélectionnés en fonction des pondérations pour les réseaux neuronaux d'expert sélectionnés afin de générer une sortie de MoE, et fournit la sortie MoE en tant qu'entrée à la seconde couche de réseau neuronal.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)