Recherche dans les collections de brevets nationales et internationales

1. (WO2018204910) MISE À L'ÉCHELLE DE PERTE POUR APPRENTISSAGE DE RÉSEAU NEURONAL PROFOND AVEC PRÉCISION RÉDUITE

Pub. No.:    WO/2018/204910    International Application No.:    PCT/US2018/031356
Publication Date: Fri Nov 09 00:59:59 CET 2018 International Filing Date: Tue May 08 01:59:59 CEST 2018
IPC: G06N 3/08
Applicants: NVIDIA CORPORATION
Inventors: WU, Hao
ALBEN, Jonah
MICIKEVICIUS, Paulius
Title: MISE À L'ÉCHELLE DE PERTE POUR APPRENTISSAGE DE RÉSEAU NEURONAL PROFOND AVEC PRÉCISION RÉDUITE
Abstract:
Lors de l'apprentissage d'un réseau neuronal profond avec une précision réduite, un calcul de gradient agit sur des valeurs plus grandes sans toucher le reste de la procédure d'apprentissage. Une technique forme le réseau neuronal profond à développer une perte, met à l'échelle la perte, calcule des gradients à une précision réduite, et réduit l'amplitude des gradients calculés pour compenser la mise à l'échelle de la perte. Dans un exemple d'agencement non limitatif, le passage direct d'apprentissage met à l'échelle une valeur de perte par un certain facteur S et la mise à jour de pondération réduit la contribution de gradient de pondération de 1/S. Plusieurs techniques peuvent être utilisées pour sélectionner un facteur de mise à l'échelle S et ajuster la mise à jour de pondération.