Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020133492 - NEURAL NETWORK COMPRESSION METHOD AND APPARATUS

Publication Number WO/2020/133492
Publication Date 02.07.2020
International Application No. PCT/CN2018/125812
International Filing Date 29.12.2018
IPC
G06N 3/04 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
G06N 3/08 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
CPC
G06N 3/04
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
Applicants
  • 华为技术有限公司 HUAWEI TECHNOLOGIES CO., LTD. [CN]/[CN]
Inventors
  • 朱佳峰 ZHU, Jiafeng
  • 刘刚毅 LIU, Gangyi
  • 卢惠莉 LU, Huili
  • 高伟 GAO, Wei
  • 芮祥麟 JUI, Shangling
  • 杨鋆源 YANG, Junyuan
  • 夏军 XIA, Jun
Agents
  • 北京同达信恒知识产权代理有限公司 TDIP & PARTNERS
Priority Data
Publication Language Chinese (ZH)
Filing Language Chinese (ZH)
Designated States
Title
(EN) NEURAL NETWORK COMPRESSION METHOD AND APPARATUS
(FR) PROCÉDÉ ET APPAREIL DE COMPRESSION DE RÉSEAU NEURONAL
(ZH) 一种神经网络压缩方法及装置
Abstract
(EN)
A neural network compression method and apparatus, used to solve the problem in the prior art that it is not possible to effectively adapt to the capability of a processing device and achieve a better processing effect. The method comprises: determining a sparse unit length according to processing capability information of a processing device; when performing a current round of training on a neural network model, according to a jth set of weights referenced in a previous round of training, adjusting the jth set of weights obtained after the previous round of training, and obtaining a jth set of weights referenced in the current round of training; performing the current round of training on the neural network model according to various obtained sets of weights referenced in the current round of training. The sparse unit length is the data length of one operation when the processing device performs matrix operations, the number of weights included in the jth set of weights is the sparse unit length, j is any positive integer from 1 to m, and m is the total number of sets of weights obtained after grouping all the weights of the neural network model according to the sparse unit length.
(FR)
Un procédé et un appareil de compression de réseau neuronal, utilisés pour résoudre le problème de l'état de la technique selon lequel il n'est pas possible de s'adapter efficacement à la capacité d'un dispositif de traitement et d'obtenir un meilleur effet de traitement. Le procédé comprend les étapes consistant à : déterminer une longueur d'unité éparse selon des informations de capacité de traitement d'un dispositif de traitement ; lors de la réalisation d'un cycle d'entraînement actuel sur un modèle de réseau neuronal, selon un j-ième ensemble de poids référencé dans un cycle d'entraînement précédent, ajuster le j-ième ensemble de poids obtenu après le cycle d'entraînement précédent, et obtenir un j-ième ensemble de poids référencé dans le cycle d'entrainement actuel ; réaliser le cycle d'entraînement actuel sur le modèle de réseau neuronal selon divers ensembles de poids obtenus référencés dans le cycle d'entraînement actuel. La longueur d'unité éparse est la longueur de données d'une opération lorsque le dispositif de traitement effectue des opérations matricielles, le nombre de poids inclus dans le j-ième ensemble de poids est la longueur unitaire éparse, j est un nombre entier positif quelconque de 1 à m, et m est le nombre total d'ensembles de poids obtenus après regroupement de tous les poids du modèle de réseau neuronal selon la longueur d'unité éparse.
(ZH)
一种神经网络压缩方法及装置,用以解决现有技术中不能很好地适配处理设备的能力,达不到较好的处理效果的问题。方法包括:根据处理设备的处理能力信息,确定稀疏化单位长度;在对神经网络模型进行当前次训练时,根据上一次训练参照的第j组权重,对上一次训练后得到的第j组权重进行调整,得到当前次训练参照的第j组权重;根据得到的当前次训练参照的各组权重,对神经网络模型进行当前次训练;其中,稀疏化单位长度为处理设备进行矩阵运算时一次运算的数据长度,第j组权重包括的权重个数为稀疏化单位长度;j取遍1至m中的任意一个正整数,m为对神经网络模型的所有权重按照稀疏化单位长度分组后得到的权重总组数。
Latest bibliographic data on file with the International Bureau