WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2018076331) NEURAL NETWORK TRAINING METHOD AND APPARATUS
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/076331 International Application No.: PCT/CN2016/103979
Publication Date: 03.05.2018 International Filing Date: 31.10.2016
IPC:
G06N 3/08 (2006.01)
Applicants: CAMBRICON TECHNOLOGIES CORPORATION LIMITED[CN/CN]; Suite 644, Scientific Research Building, No. 6, Kexueyuan South Road, Haidian District Beijing 100190, CN
Inventors: CHEN, Yunji; CN
ZHUANG, Yimin; CN
GUO, Qi; CN
CHEN, Tianshi; CN
Agent: CHINA SCIENCE PATENT & TRADEMARK AGENT LTD.; Suite 4-1105, No. 87, West 3rd Ring North Rd., Haidian District Beijing 100089, CN
Priority Data:
Title (EN) NEURAL NETWORK TRAINING METHOD AND APPARATUS
(FR) PROCÉDÉ ET APPAREIL D'APPRENTISSAGE DE RÉSEAU NEURONAL
(ZH) 一种神经网络训练方法及装置
Abstract: front page image
(EN) A neural network training apparatus and method, for use in training parameters within a neural network: said method first using a nonlinear function to perform a nonlinear transformation on parameters to obtain transformation parameters (S1); then converting the transformation parameters to perform bit width conversion to obtain low bit width transformation parameters (S2); next acquiring a to-be-updated gradient value of the low bit width transformation parameters by means of a reverse process in the neural network to obtain a to-be-updated gradient value of the parameters prior to the nonlinear transformation according to the nonlinear function and said to-be-updated gradient value of the low bit width transformation parameters (S3); and finally updating the parameters according to the to-be-updated gradient value of the parameters (S4). The present method results in the parameters having a lower bit width after training while precision loss is lower.
(FR) L'invention concerne un appareil et un procédé d'apprentissage de réseau neuronal, destinés à être utilisés dans l'apprentissage de paramètres au sein d'un réseau neuronal: ledit procédé comportant les étapes consistant à utiliser d'abord une fonction non linéaire pour effectuer une transformation non linéaire sur des paramètres pour obtenir des paramètres de transformation (S1); à convertir ensuite les paramètres de transformation pour effectuer une conversion de largeur de bits pour obtenir des paramètres de transformation à faible largeur de bits (S2); à acquérir ensuite une valeur de gradient à actualiser des paramètres de transformation à faible largeur de bits au moyen d'un processus inverse dans le réseau neuronal pour obtenir une valeur de gradient à actualiser des paramètres avant la transformation non linéaire d'après la fonction non linéaire et ladite valeur de gradient à actualiser des paramètres de transformation à faible largeur de bits (S3); et à actualiser enfin les paramètres selon la valeur de gradient à actualiser des paramètres (S4). Le présent procédé a pour effet que les paramètres présentent une plus faible largeur de bits après l'apprentissage, tandis que la perte de précision est plus faible.
(ZH) 一种神经网络训练装置及方法,用于对神经网络中的参数进行训练,该方法首先采用非线性函数对所述参数进行非线性变换,得到变换参数(S1),然后对变换参数转换进行位宽转换,得到低位宽变换参数(S2),接着,通过神经网络反向过程,获取低位宽变换参数的待更新梯度值,根据非线性函数和所述低位宽变换参数的待更新梯度值,得到非线性变换前参数的待更新梯度值(S3),最后根据参数的待更新梯度值,对参数进行更新(S4)。该方法使得训练后的参数具有较低的位宽并且精度损失较小。
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)