Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018099084) METHOD, DEVICE, CHIP AND SYSTEM FOR TRAINING NEURAL NETWORK MODEL
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/099084 International Application No.: PCT/CN2017/092091
Publication Date: 07.06.2018 International Filing Date: 06.07.2017
IPC:
G06N 3/08 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
08
Learning methods
Applicants:
华为技术有限公司 HUAWEI TECHNOLOGIES CO., LTD. [CN/CN]; 中国广东省深圳市 龙岗区坂田华为总部办公楼 Huawei Administration Building Bantian, Longgang District Shenzhen, Guangdong 518129, CN
Inventors:
张长征 ZHANG, Changzheng; CN
白小龙 BAI, Xiaolong; CN
涂丹丹 TU, Dandan; CN
Agent:
北京同达信恒知识产权代理有限公司 TDIP & PARTNERS; 中国北京市海淀区宝盛南路1号院20号楼8层101-01 101-01, 8/F, Building 20, No.1 Baosheng South Road Haidian District Beijing 100192, CN
Priority Data:
201611073994.529.11.2016CN
Title (EN) METHOD, DEVICE, CHIP AND SYSTEM FOR TRAINING NEURAL NETWORK MODEL
(FR) PROCÉDÉ, DISPOSITIF, PUCE ET SYSTÈME D'APPRENTISSAGE DE MODÈLE DE RÉSEAU NEURONAL
(ZH) 一种神经网络模型训练方法、装置、芯片和系统
Abstract:
(EN) Provided are a method, device, chip and system for training a neural network model capable of reducing a delay in training a model parameter. Each training cycle comprises K iterations. The ith iteration within each training cycle for one of N workers is executed in parallel by the respective workers. A model parameter of the i+1th iteration is calculated according to a local gradient and a model parameter of the ith iteration. If i is less than K, a local gradient of the i+1th iteration is calculated according to the model parameter and sample data of the i+1th iteration. The workers pull, from a server module, a global gradient of the rth iteration and/or push, to the server module, a local gradient of the fth iteration. The present invention enables time windows of a calculation process and a communication process to overlap, thereby reducing a delay in training a model parameter.
(FR) L'invention concerne un procédé, un dispositif, une puce et un système d'apprentissage d'un modèle de réseau neuronal capable de réduire un retard dans l'apprentissage d'un paramètre de modèle. Chaque cycle d'apprentissage comprend K itérations. L'itération i th à l'intérieur de chaque cycle d'apprentissage pour un des N travailleurs est exécutée en parallèle par les travailleurs respectifs. L'invention concerne un paramètre de modèle de l'itération i+1th étant calculé en fonction d'un gradient local et d'un paramètre de modèle de l'itération i th. Si i est inférieur à K, un gradient local de l'itération i+1th est calculée en fonction du paramètre de modèle et des données d'échantillon de l'itération i+1th. Les travailleurs tirent, à partir d'un module serveur, un gradient global de l'itération r th et/ou pousser, au module serveur, un gradient local de l'itération f th. La présente invention permet à des fenêtres temporelles d'un processus de calcul et à un processus de communication de se chevaucher, réduisant ainsi un retard dans l'apprentissage d'un paramètre de modèle.
(ZH) 一种神经网络模型训练方法、装置、芯片和系统,用以缩短模型参数的训练时延。每个训练周期包括K次迭代,针对N个工作模块中的一个工作模块在每个训练周期内的第i次迭代,各个工作模块并行执行:根据第i次迭代的局部梯度和第i次迭代的模型参数计算第i+1次迭代的模型参数,且在i小于K的情况下,根据第i+1次迭代的模型参数以及第i+1次迭代的样本数据,计算第i+1次迭代的局部梯度;工作模块从所述服务器模块下拉第r次迭代的全局梯度和/或向所述服务器模块上推第f次迭代的局部梯度。从而使计算进程与通讯进程的时间窗口重叠,缩短模型参数的训练时延。
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)