Recherche dans les collections de brevets nationales et internationales

1. (WO2018099085) PROCÉDÉ ET DISPOSITIF D'ENTRAÎNEMENT DE MODÈLE DE RÉSEAU NEURONAL, ET PUCE

Pub. No.:    WO/2018/099085    International Application No.:    PCT/CN2017/092092
Publication Date: Fri Jun 08 01:59:59 CEST 2018 International Filing Date: Fri Jul 07 01:59:59 CEST 2017
IPC: G06N 3/04
Applicants: HUAWEI TECHNOLOGIES CO., LTD.
华为技术有限公司
Inventors: BAI, Xiaolong
白小龙
ZHANG, Changzheng
张长征
XIA, Mingzhen
夏命榛
Title: PROCÉDÉ ET DISPOSITIF D'ENTRAÎNEMENT DE MODÈLE DE RÉSEAU NEURONAL, ET PUCE
Abstract:
La présente invention concerne un procédé et un dispositif d'entraînement de modèle de réseau neuronal, et une puce, qui sont utilisés pour réduire le volume de communication entre un module de serveur et chaque module de travail dans un processus d'entraînement de modèle de réseau neuronal. Dans le procédé, un mode d'entraînement de modèle de chaque couche est déterminé en fonction du volume de données estimé dans un ensemble de paramètres de modèle de chaque couche et du volume de données estimé de données de sortie ; et lorsque la jème couche est dans un mode d'entraînement parallèle modèle, étant donné que les secondes données de sortie sont les données de sortie de l'entraînement de la (j-1)ème couche de m modules de travail, les modules de travail effectuent un entraînement de paramètres de modèle en fonction des secondes données de sortie de sorte qu'un gradient global de paramètres de modèle soit directement obtenu. Comparé à la solution dans l'état de la technique selon laquelle un gradient global de paramètres de modèle est obtenu après qu'un module de travail pousse un gradient local des paramètres de modèle vers un module de serveur, puis tire un gradient global des paramètres de modèle du module de serveur, la présente invention réduit le volume de communication entre le module de travail et le module de serveur.