Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2017185413) DEVICE AND METHOD FOR EXECUTING HESSIAN-FREE TRAINING ALGORITHM
Latest bibliographic data on file with the International Bureau   

Pub. No.: WO/2017/185413 International Application No.: PCT/CN2016/081842
Publication Date: 02.11.2017 International Filing Date: 12.05.2016
IPC:
G06N 3/063 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
06
Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
063
using electronic means
Applicants:
北京中科寒武纪科技有限公司 CAMBRICON TECHNOLOGIES CORPORATION LIMITED [CN/CN]; 中国北京市 海淀区科学院南路6号科研综合楼644室 Suite 644, Scientific Research Building, No. 6, Kexueyuan South Road, Haidian District Beijing 100190, CN
Inventors:
张士锦 ZHANG, Shijin; CN
郭崎 GUO, Qi; CN
陈天石 CHEN, Tianshi; CN
陈云霁 CHEN, Yunji; CN
Agent:
中科专利商标代理有限责任公司 CHINA SCIENCE PATENT & TRADEMARK AGENT LTD.; 中国北京市 海淀区西三环北路87号4-1105室 Suite 4-1105, No. 87, West 3rd Ring North Rd., Haidian District Beijing 100089, CN
Priority Data:
201610283885.X29.04.2016CN
Title (EN) DEVICE AND METHOD FOR EXECUTING HESSIAN-FREE TRAINING ALGORITHM
(FR) DISPOSITIF ET PROCÉDÉ PERMETTANT D'EXÉCUTER UN ALGORITHME D'APPRENTISSAGE HESSIAN-FREE
(ZH) 一种用于执行Hessian-Free训练算法的装置和方法
Abstract:
(EN) Provided are a device and method for executing an Hessian-Free training algorithm. The device comprises a data access unit, a controller unit, a data processing unit, and a data buffer module. The device can be used to realize an Hessian-Free training algorithm, thereby performing training on various neural networks such as an automatic encoder and a convolutional neural network (RNN). In each iteration, a second order Taylor series expansion is performed on an error function (objective function), and a damping term is added, so as to approximate the objective function. Afterwards, a preconditioned conjugate gradient method is used to obtain an updated vector according to a current gradient, a Gauss-Newton matrix, a damping function, and a damping coefficient so as to update a parameter to be updated. The iteration is repeated until a vector of the parameter to be updated converges.
(FR) L'invention concerne un dispositif et un procédé permettant d'exécuter un algorithme d'apprentissage Hessian-Free. Le dispositif comprend une unité d'accès à des données, une unité de dispositif de commande, une unité de traitement de données et un module de mémoire tampon de données. Le dispositif peut être utilisé pour réaliser un algorithme d'apprentissage Hessian-Free, réalisant ainsi un apprentissage sur différents réseaux neuronaux, tels qu'un codeur automatique et un réseau neuronal à convolution (RNN). Dans chaque itération, une expansion de série de Taylor de second ordre est réalisée sur une fonction d'erreur (fonction-objectif), et un terme d'amortissement est ajouté, de façon à se rapprocher de la fonction-objectif. Ensuite, un procédé de gradient conjugué pré-conditionné est utilisé pour obtenir un vecteur mis à jour selon un gradient courant, une matrice de Gauss-Newton, une fonction d'amortissement et un coefficient d'amortissement de façon à mettre à jour un paramètre à mettre à jour. L'itération est répétée jusqu'à ce qu'un vecteur du paramètre à mettre à jour converge.
(ZH) 一种用于执行Hessian-Free训练算法的装置和方法,该装置包括数据访问单元、控制器单元、数据处理模块和数据缓存模块。使用该装置可以实现Hessian-Free训练算法,完成对各种神经网络的训练,如自动编码器、卷积神经网络RNN等等。每次迭代时,对误差函数(目标函数)做二阶泰勒展开,并且添加阻尼项,作为目标函数的估计,之后根据当前的梯度、高斯-牛顿矩阵、阻尼函数和阻尼系数,用有预条件的共轭梯度法求得更新向量,更新待更新参数。持续迭代直至待更新参数向量收敛。
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KR, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)