Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018223822) PRUNING- AND DISTILLATION-BASED CONVOLUTIONAL NEURAL NETWORK COMPRESSION METHOD
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/223822 International Application No.: PCT/CN2018/087063
Publication Date: 13.12.2018 International Filing Date: 16.05.2018
IPC:
G06N 3/04 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
04
Architecture, e.g. interconnection topology
Applicants:
北京深鉴智能科技有限公司 BEIJING DEEPHI INTELLIGENT TECHNOLOGY CO., LTD. [CN/CN]; 中国北京市海淀区王庄路1号院4号楼17层1706号 Room1706, Building D-East, Tsinghua Tongfang High-Tech Plaza, Haidian District Beijing 100083, CN
Inventors:
江帆 JIANG, Fan; CN
单羿 SHAN, Yi; CN
Agent:
北京卓孚知识产权代理事务所(普通合伙) IPFAITH PARTNERS; 中国北京市 海淀区彩和坊路8号天创科技大厦907C 907C, Tianchuang Science Plaza 8 Caihefang Road, Haidian District Beijing 100080, CN
Priority Data:
201710421225.807.06.2017CN
Title (EN) PRUNING- AND DISTILLATION-BASED CONVOLUTIONAL NEURAL NETWORK COMPRESSION METHOD
(FR) PROCÉDÉ DE COMPRESSION DE RÉSEAU NEURONAL CONVOLUTIF FONDÉ SUR L'ÉLAGAGE ET LA DISTILLATION
(ZH) 基于剪枝和蒸馏的卷积神经网络压缩方法
Abstract:
(EN) A pruning- and distillation-based convolutional neural network compression method (400), comprising: pruning an original convolutional neural network model to obtain a pruned model (S401); performing fine adjustment on parameters of the pruned model (S403); using the original convolutional neural network model as a teacher network of a distillation algorithm, using the pruned model with the parameters having experienced fine adjustment as a student network of the distillation algorithm, and instructing the student network in training by the teacher network according to the distillation algorithm (S405); and using the student network trained according to the distillation algorithm as a compressed convolutional neural network model (S407). According to the method, by using two conventional network compression methods in combination, a convolutional neural network model is more effectively compressed.
(FR) La présente invention concerne un procédé de compression de réseau neuronal convolutif fondé sur l'élagage et la distillation (400), consistant : à élaguer un modèle de réseau neuronal convolutif d'origine afin d'obtenir un modèle élagué (S401); à effectuer un réglage précis sur des paramètres du modèle élagué (S403); à utiliser le modèle de réseau neuronal convolutif d'origine comme réseau enseignant d'un algorithme de distillation, à utiliser le modèle élagué comportant les paramètres ayant subi un réglage précis comme réseau étudiant de l'algorithme de distillation, et à donner l'instruction au réseau étudiant d'être formé par le réseau enseignant selon l'algorithme de distillation (S405); et à utiliser le réseau étudiant formé selon l'algorithme de distillation comme modèle de réseau neuronal convolutif compressé (S407). Selon le procédé, à l'aide de l'association de deux procédés de compression de réseau classiques, la compression d'un modèle de réseau neuronal convolutif est plus efficace.
(ZH) 一种基于剪枝和蒸馏的卷积神经网络压缩方法(400),包括:对原始卷积神经网络模型进行剪枝操作,得到剪枝后的模型(S401);对剪枝后的模型进行参数微调(S403);利用原始卷积神经网络模型作为蒸馏算法的老师网络,将经过参数微调的剪枝后的模型作为蒸馏算法的学生网络,根据蒸馏算法,通过老师网络来指导学生网络进行训练(S405);将经过蒸馏算法训练的学生网络作为压缩后的卷积神经网络模型(S407)。该方法通过将两个传统的网络压缩方法联合使用,更有效地压缩了卷积神经网络模型。
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)