Recherche dans les collections de brevets nationales et internationales

1. (WO2018099084) PROCÉDÉ, DISPOSITIF, PUCE ET SYSTÈME D'APPRENTISSAGE DE MODÈLE DE RÉSEAU NEURONAL

Pub. No.:    WO/2018/099084    International Application No.:    PCT/CN2017/092091
Publication Date: Fri Jun 08 01:59:59 CEST 2018 International Filing Date: Fri Jul 07 01:59:59 CEST 2017
IPC: G06N 3/08
Applicants: HUAWEI TECHNOLOGIES CO., LTD.
华为技术有限公司
Inventors: ZHANG, Changzheng
张长征
BAI, Xiaolong
白小龙
TU, Dandan
涂丹丹
Title: PROCÉDÉ, DISPOSITIF, PUCE ET SYSTÈME D'APPRENTISSAGE DE MODÈLE DE RÉSEAU NEURONAL
Abstract:
L'invention concerne un procédé, un dispositif, une puce et un système d'apprentissage d'un modèle de réseau neuronal capable de réduire un retard dans l'apprentissage d'un paramètre de modèle. Chaque cycle d'apprentissage comprend K itérations. L'itération i th à l'intérieur de chaque cycle d'apprentissage pour un des N travailleurs est exécutée en parallèle par les travailleurs respectifs. L'invention concerne un paramètre de modèle de l'itération i+1th étant calculé en fonction d'un gradient local et d'un paramètre de modèle de l'itération i th. Si i est inférieur à K, un gradient local de l'itération i+1th est calculée en fonction du paramètre de modèle et des données d'échantillon de l'itération i+1th. Les travailleurs tirent, à partir d'un module serveur, un gradient global de l'itération r th et/ou pousser, au module serveur, un gradient local de l'itération f th. La présente invention permet à des fenêtres temporelles d'un processus de calcul et à un processus de communication de se chevaucher, réduisant ainsi un retard dans l'apprentissage d'un paramètre de modèle.