Certains contenus de cette application ne sont pas disponibles pour le moment.
Si cette situation persiste, veuillez nous contacter àObservations et contact
1. (WO2018076331) PROCÉDÉ ET APPAREIL D'APPRENTISSAGE DE RÉSEAU NEURONAL
Dernières données bibliographiques dont dispose le Bureau international    Formuler une observation

N° de publication : WO/2018/076331 N° de la demande internationale : PCT/CN2016/103979
Date de publication : 03.05.2018 Date de dépôt international : 31.10.2016
CIB :
G06N 3/08 (2006.01)
G PHYSIQUE
06
CALCUL; COMPTAGE
N
SYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3
Systèmes de calculateurs basés sur des modèles biologiques
02
utilisant des modèles de réseaux neuronaux
08
Méthodes d'apprentissage
Déposants :
北京中科寒武纪科技有限公司 CAMBRICON TECHNOLOGIES CORPORATION LIMITED [CN/CN]; 中国北京市 海淀区科学院南路6号科研综合楼644室 Suite 644, Scientific Research Building, No. 6, Kexueyuan South Road, Haidian District Beijing 100190, CN
Inventeurs :
陈云霁 CHEN, Yunji; CN
庄毅敏 ZHUANG, Yimin; CN
郭崎 GUO, Qi; CN
陈天石 CHEN, Tianshi; CN
Mandataire :
中科专利商标代理有限责任公司 CHINA SCIENCE PATENT & TRADEMARK AGENT LTD.; 中国北京市 海淀区西三环北路87号4-1105室 Suite 4-1105, No. 87, West 3rd Ring North Rd., Haidian District Beijing 100089, CN
Données relatives à la priorité :
Titre (EN) NEURAL NETWORK TRAINING METHOD AND APPARATUS
(FR) PROCÉDÉ ET APPAREIL D'APPRENTISSAGE DE RÉSEAU NEURONAL
(ZH) 一种神经网络训练方法及装置
Abrégé :
(EN) A neural network training apparatus and method, for use in training parameters within a neural network: said method first using a nonlinear function to perform a nonlinear transformation on parameters to obtain transformation parameters (S1); then converting the transformation parameters to perform bit width conversion to obtain low bit width transformation parameters (S2); next acquiring a to-be-updated gradient value of the low bit width transformation parameters by means of a reverse process in the neural network to obtain a to-be-updated gradient value of the parameters prior to the nonlinear transformation according to the nonlinear function and said to-be-updated gradient value of the low bit width transformation parameters (S3); and finally updating the parameters according to the to-be-updated gradient value of the parameters (S4). The present method results in the parameters having a lower bit width after training while precision loss is lower.
(FR) L'invention concerne un appareil et un procédé d'apprentissage de réseau neuronal, destinés à être utilisés dans l'apprentissage de paramètres au sein d'un réseau neuronal: ledit procédé comportant les étapes consistant à utiliser d'abord une fonction non linéaire pour effectuer une transformation non linéaire sur des paramètres pour obtenir des paramètres de transformation (S1); à convertir ensuite les paramètres de transformation pour effectuer une conversion de largeur de bits pour obtenir des paramètres de transformation à faible largeur de bits (S2); à acquérir ensuite une valeur de gradient à actualiser des paramètres de transformation à faible largeur de bits au moyen d'un processus inverse dans le réseau neuronal pour obtenir une valeur de gradient à actualiser des paramètres avant la transformation non linéaire d'après la fonction non linéaire et ladite valeur de gradient à actualiser des paramètres de transformation à faible largeur de bits (S3); et à actualiser enfin les paramètres selon la valeur de gradient à actualiser des paramètres (S4). Le présent procédé a pour effet que les paramètres présentent une plus faible largeur de bits après l'apprentissage, tandis que la perte de précision est plus faible.
(ZH) 一种神经网络训练装置及方法,用于对神经网络中的参数进行训练,该方法首先采用非线性函数对所述参数进行非线性变换,得到变换参数(S1),然后对变换参数转换进行位宽转换,得到低位宽变换参数(S2),接着,通过神经网络反向过程,获取低位宽变换参数的待更新梯度值,根据非线性函数和所述低位宽变换参数的待更新梯度值,得到非线性变换前参数的待更新梯度值(S3),最后根据参数的待更新梯度值,对参数进行更新(S4)。该方法使得训练后的参数具有较低的位宽并且精度损失较小。
front page image
États désignés : AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
Organisation régionale africaine de la propriété intellectuelle (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Office eurasien des brevets (OEAB) (AM, AZ, BY, KG, KZ, RU, TJ, TM)
Office européen des brevets (OEB (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
Organisation africaine de la propriété intellectuelle (OAPI) (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Langue de publication : chinois (ZH)
Langue de dépôt : chinois (ZH)