Recherche dans les collections de brevets nationales et internationales

1. (WO2018085643) MÉLANGE DE RÉSEAUX NEURONAUX EXPERTS

Pub. No.:    WO/2018/085643    International Application No.:    PCT/US2017/059909
Publication Date: Sat May 12 01:59:59 CEST 2018 International Filing Date: Sat Nov 04 00:59:59 CET 2017
IPC: G06N 3/04
Applicants: GOOGLE LLC
Inventors: SHAZEER, Noam, M.
MIRHOSEINI, Azalia
MAZIARZ, Krzysztof Stanislaw
Title: MÉLANGE DE RÉSEAUX NEURONAUX EXPERTS
Abstract:
La présente invention concerne un système qui comprend un réseau neuronal comprenant un mélange de sous-réseau d'experts (MoE) entre une première couche de réseau neuronal et une seconde couche de réseau neuronal. Le sous-réseau MoE comprend de multiples réseaux neuronaux d'expert. Chaque réseau neuronal expert est configuré afin de traiter une première sortie de couche générée par la première couche de réseau neuronal afin de générer une sortie expert respective. Le sous-réseau MoE comprend en outre : un sous-système de déclenchement qui sélectionne, sur la base de la première sortie de couche, au moins un réseau neuronal expert et détermine un poids respectif pour chaque réseau neuronal expert sélectionné, fournit la première sortie de couche en tant qu'entrée à chacun des réseaux neuronaux d'expert sélectionnés, combine les sorties d'expert générées par les réseaux neuronaux d'expert sélectionnés en fonction des pondérations pour les réseaux neuronaux d'expert sélectionnés afin de générer une sortie de MoE, et fournit la sortie MoE en tant qu'entrée à la seconde couche de réseau neuronal.