WIPO logo
Mobile | Deutsch | English | Español | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Recherche dans les collections de brevets nationales et internationales
World Intellectual Property Organization
Recherche
 
Options de navigation
 
Traduction
 
Options
 
Quoi de neuf
 
Connexion
 
Aide
 
Traduction automatique
1. (WO2017185413) DISPOSITIF ET PROCÉDÉ PERMETTANT D'EXÉCUTER UN ALGORITHME D'APPRENTISSAGE HESSIAN-FREE
Dernières données bibliographiques dont dispose le Bureau international    Formuler une observation

N° de publication :    WO/2017/185413    N° de la demande internationale :    PCT/CN2016/081842
Date de publication : 02.11.2017 Date de dépôt international : 12.05.2016
CIB :
G06N 3/063 (2006.01)
Déposants : CAMBRICON TECHNOLOGIES CO., LTD. [CN/CN]; Suite 644, Scientific Research Building, No. 6, Kexueyuan South Road, Haidian District Beijing 100190 (CN)
Inventeurs : ZHANG, Shijin; (CN).
GUO, Qi; (CN).
CHEN, Tianshi; (CN).
CHEN, Yunji; (CN)
Mandataire : CHINA SCIENCE PATENT & TRADEMARK AGENT LTD.; Suite 4-1105, No. 87, West 3rd Ring North Rd., Haidian District Beijing 100089 (CN)
Données relatives à la priorité :
201610283885.X 29.04.2016 CN
Titre (EN) DEVICE AND METHOD FOR EXECUTING HESSIAN-FREE TRAINING ALGORITHM
(FR) DISPOSITIF ET PROCÉDÉ PERMETTANT D'EXÉCUTER UN ALGORITHME D'APPRENTISSAGE HESSIAN-FREE
(ZH) 一种用于执行Hessian-Free训练算法的装置和方法
Abrégé : front page image
(EN)Provided are a device and method for executing an Hessian-Free training algorithm. The device comprises a data access unit, a controller unit, a data processing unit, and a data buffer module. The device can be used to realize an Hessian-Free training algorithm, thereby performing training on various neural networks such as an automatic encoder and a convolutional neural network (RNN). In each iteration, a second order Taylor series expansion is performed on an error function (objective function), and a damping term is added, so as to approximate the objective function. Afterwards, a preconditioned conjugate gradient method is used to obtain an updated vector according to a current gradient, a Gauss-Newton matrix, a damping function, and a damping coefficient so as to update a parameter to be updated. The iteration is repeated until a vector of the parameter to be updated converges.
(FR)L'invention concerne un dispositif et un procédé permettant d'exécuter un algorithme d'apprentissage Hessian-Free. Le dispositif comprend une unité d'accès à des données, une unité de dispositif de commande, une unité de traitement de données et un module de mémoire tampon de données. Le dispositif peut être utilisé pour réaliser un algorithme d'apprentissage Hessian-Free, réalisant ainsi un apprentissage sur différents réseaux neuronaux, tels qu'un codeur automatique et un réseau neuronal à convolution (RNN). Dans chaque itération, une expansion de série de Taylor de second ordre est réalisée sur une fonction d'erreur (fonction-objectif), et un terme d'amortissement est ajouté, de façon à se rapprocher de la fonction-objectif. Ensuite, un procédé de gradient conjugué pré-conditionné est utilisé pour obtenir un vecteur mis à jour selon un gradient courant, une matrice de Gauss-Newton, une fonction d'amortissement et un coefficient d'amortissement de façon à mettre à jour un paramètre à mettre à jour. L'itération est répétée jusqu'à ce qu'un vecteur du paramètre à mettre à jour converge.
(ZH)一种用于执行Hessian-Free训练算法的装置和方法,该装置包括数据访问单元、控制器单元、数据处理模块和数据缓存模块。使用该装置可以实现Hessian-Free训练算法,完成对各种神经网络的训练,如自动编码器、卷积神经网络RNN等等。每次迭代时,对误差函数(目标函数)做二阶泰勒展开,并且添加阻尼项,作为目标函数的估计,之后根据当前的梯度、高斯-牛顿矩阵、阻尼函数和阻尼系数,用有预条件的共轭梯度法求得更新向量,更新待更新参数。持续迭代直至待更新参数向量收敛。
États désignés : AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KR, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
Organisation régionale africaine de la propriété intellectuelle (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Office eurasien des brevets (OEAB) (AM, AZ, BY, KG, KZ, RU, TJ, TM)
Office européen des brevets (OEB) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
Organisation africaine de la propriété intellectuelle (OAPI) (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Langue de publication : chinois (ZH)
Langue de dépôt : chinois (ZH)