WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2018099085) NEURAL NETWORK MODEL TRAINING METHOD AND DEVICE, AND CHIP
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.:    WO/2018/099085    International Application No.:    PCT/CN2017/092092
Publication Date: 07.06.2018 International Filing Date: 06.07.2017
IPC:
G06N 3/04 (2006.01)
Applicants: HUAWEI TECHNOLOGIES CO., LTD. [CN/CN]; Huawei Administration Building Bantian, Longgang District Shenzhen, Guangdong 518129 (CN)
Inventors: BAI, Xiaolong; (CN).
ZHANG, Changzheng; (CN).
XIA, Mingzhen; (CN)
Agent: TDIP & PARTNERS; 101-01, 8/F, Building 20, No.1 Baosheng South Road Haidian District Beijing 100192 (CN)
Priority Data:
201611076461.2 29.11.2016 CN
Title (EN) NEURAL NETWORK MODEL TRAINING METHOD AND DEVICE, AND CHIP
(FR) PROCÉDÉ ET DISPOSITIF D'ENTRAÎNEMENT DE MODÈLE DE RÉSEAU NEURONAL, ET PUCE
(ZH) 一种神经网络模型的训练方法、装置及芯片
Abstract: front page image
(EN)A neural network model training method and device, and a chip, which are used for reducing the communication volume between a server module and each working module in a neural network model training process. In the method, a model training mode of each layer is determined according to the estimated data volume in a model parameter set of each layer and the estimated data volume of output data; and when the jth layer is in a model parallel training mode, since second output data is the output data of the (j-1)th-layer training of m working modules, the working modules perform model parameter training according to the second output data so that a global gradient of model parameters be directly obtained. Compared with the solution in the prior art that a global gradient of model parameters is obtained after a working module pushes up a local gradient of the model parameters to a server module and then pulls down a global gradient of the model parameters from the server module, the present invention reduces the communication volume between the working module and the server module.
(FR)La présente invention concerne un procédé et un dispositif d'entraînement de modèle de réseau neuronal, et une puce, qui sont utilisés pour réduire le volume de communication entre un module de serveur et chaque module de travail dans un processus d'entraînement de modèle de réseau neuronal. Dans le procédé, un mode d'entraînement de modèle de chaque couche est déterminé en fonction du volume de données estimé dans un ensemble de paramètres de modèle de chaque couche et du volume de données estimé de données de sortie ; et lorsque la jème couche est dans un mode d'entraînement parallèle modèle, étant donné que les secondes données de sortie sont les données de sortie de l'entraînement de la (j-1)ème couche de m modules de travail, les modules de travail effectuent un entraînement de paramètres de modèle en fonction des secondes données de sortie de sorte qu'un gradient global de paramètres de modèle soit directement obtenu. Comparé à la solution dans l'état de la technique selon laquelle un gradient global de paramètres de modèle est obtenu après qu'un module de travail pousse un gradient local des paramètres de modèle vers un module de serveur, puis tire un gradient global des paramètres de modèle du module de serveur, la présente invention réduit le volume de communication entre le module de travail et le module de serveur.
(ZH)一种神经网络模型的训练方法、装置及芯片,用以降低神经网络模型训练过程中的服务器模块和各个工作模块之间的通讯量。所述方法根据每层的模型参数集合中的预估数据量和输出数据的预估数据量,确定每层的模型训练方式,在第j层为模型并行训练方式的情况下,由于第二输出数据为m个工作模块第j-1层训练的输出数据,因此工作模块根据第二输出数据进行模型参数训练,可直接得到模型参数的全局梯度,相比于现有技术中工作模块向服务器模块上推模型参数的局部梯度,并从服务器模块下拉模型参数的全局梯度之后才得到模型参数的全局梯度的方案,减少了工作模块和服务器模块之间的通讯量。
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)