이 애플리케이션의 일부 콘텐츠는 현재 사용할 수 없습니다.
이 상황이 계속되면 다음 주소로 문의하십시오피드백 및 연락
1. (WO2018099085) NEURAL NETWORK MODEL TRAINING METHOD AND DEVICE, AND CHIP
국제사무국에 기록된 최신 서지정보    정보 제출

공개번호: WO/2018/099085 국제출원번호: PCT/CN2017/092092
공개일: 07.06.2018 국제출원일: 06.07.2017
IPC:
G06N 3/04 (2006.01)
G SECTION G — 물리학
06
산술논리연산; 계산; 계수
N
특정 계산모델 방식의 컴퓨터시스템
3
생체모델기반 컴퓨터시스템
02
신경망 모델을 사용하는 것
04
아키텍쳐, 예. 상호연결망 토포러지에 관한 것
출원인:
华为技术有限公司 HUAWEI TECHNOLOGIES CO., LTD. [CN/CN]; 中国广东省深圳市 龙岗区坂田华为总部办公楼 Huawei Administration Building Bantian, Longgang District Shenzhen, Guangdong 518129, CN
발명자:
白小龙 BAI, Xiaolong; CN
张长征 ZHANG, Changzheng; CN
夏命榛 XIA, Mingzhen; CN
대리인:
北京同达信恒知识产权代理有限公司 TDIP & PARTNERS; 中国北京市海淀区宝盛南路1号院20号楼8层101-01 101-01, 8/F, Building 20, No.1 Baosheng South Road Haidian District Beijing 100192, CN
우선권 정보:
201611076461.229.11.2016CN
발명의 명칭: (EN) NEURAL NETWORK MODEL TRAINING METHOD AND DEVICE, AND CHIP
(FR) PROCÉDÉ ET DISPOSITIF D'ENTRAÎNEMENT DE MODÈLE DE RÉSEAU NEURONAL, ET PUCE
(ZH) 一种神经网络模型的训练方法、装置及芯片
요약서:
(EN) A neural network model training method and device, and a chip, which are used for reducing the communication volume between a server module and each working module in a neural network model training process. In the method, a model training mode of each layer is determined according to the estimated data volume in a model parameter set of each layer and the estimated data volume of output data; and when the jth layer is in a model parallel training mode, since second output data is the output data of the (j-1)th-layer training of m working modules, the working modules perform model parameter training according to the second output data so that a global gradient of model parameters be directly obtained. Compared with the solution in the prior art that a global gradient of model parameters is obtained after a working module pushes up a local gradient of the model parameters to a server module and then pulls down a global gradient of the model parameters from the server module, the present invention reduces the communication volume between the working module and the server module.
(FR) La présente invention concerne un procédé et un dispositif d'entraînement de modèle de réseau neuronal, et une puce, qui sont utilisés pour réduire le volume de communication entre un module de serveur et chaque module de travail dans un processus d'entraînement de modèle de réseau neuronal. Dans le procédé, un mode d'entraînement de modèle de chaque couche est déterminé en fonction du volume de données estimé dans un ensemble de paramètres de modèle de chaque couche et du volume de données estimé de données de sortie ; et lorsque la jème couche est dans un mode d'entraînement parallèle modèle, étant donné que les secondes données de sortie sont les données de sortie de l'entraînement de la (j-1)ème couche de m modules de travail, les modules de travail effectuent un entraînement de paramètres de modèle en fonction des secondes données de sortie de sorte qu'un gradient global de paramètres de modèle soit directement obtenu. Comparé à la solution dans l'état de la technique selon laquelle un gradient global de paramètres de modèle est obtenu après qu'un module de travail pousse un gradient local des paramètres de modèle vers un module de serveur, puis tire un gradient global des paramètres de modèle du module de serveur, la présente invention réduit le volume de communication entre le module de travail et le module de serveur.
(ZH) 一种神经网络模型的训练方法、装置及芯片,用以降低神经网络模型训练过程中的服务器模块和各个工作模块之间的通讯量。所述方法根据每层的模型参数集合中的预估数据量和输出数据的预估数据量,确定每层的模型训练方式,在第j层为模型并行训练方式的情况下,由于第二输出数据为m个工作模块第j-1层训练的输出数据,因此工作模块根据第二输出数据进行模型参数训练,可直接得到模型参数的全局梯度,相比于现有技术中工作模块向服务器模块上推模型参数的局部梯度,并从服务器模块下拉模型参数的全局梯度之后才得到模型参数的全局梯度的方案,减少了工作模块和服务器模块之间的通讯量。
front page image
지정국: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
아프리카지역 지식재산권기구(ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
유라시아 특허청 (AM, AZ, BY, KG, KZ, RU, TJ, TM)
유럽 특허청(EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
공개언어: 중국어 (ZH)
출원언어: 중국어 (ZH)