检索国际和国家专利汇编

1. (WO2018099085) 一种神经网络模型的训练方法、装置及芯片

Pub. No.:    WO/2018/099085    International Application No.:    PCT/CN2017/092092
Publication Date: Fri Jun 08 01:59:59 CEST 2018 International Filing Date: Fri Jul 07 01:59:59 CEST 2017
IPC: G06N 3/04
Applicants: HUAWEI TECHNOLOGIES CO., LTD.
华为技术有限公司
Inventors: BAI, Xiaolong
白小龙
ZHANG, Changzheng
张长征
XIA, Mingzhen
夏命榛
Title: 一种神经网络模型的训练方法、装置及芯片
Abstract:
一种神经网络模型的训练方法、装置及芯片,用以降低神经网络模型训练过程中的服务器模块和各个工作模块之间的通讯量。所述方法根据每层的模型参数集合中的预估数据量和输出数据的预估数据量,确定每层的模型训练方式,在第j层为模型并行训练方式的情况下,由于第二输出数据为m个工作模块第j-1层训练的输出数据,因此工作模块根据第二输出数据进行模型参数训练,可直接得到模型参数的全局梯度,相比于现有技术中工作模块向服务器模块上推模型参数的局部梯度,并从服务器模块下拉模型参数的全局梯度之后才得到模型参数的全局梯度的方案,减少了工作模块和服务器模块之间的通讯量。