Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020134829 - NEURAL NETWORK BATCH NORMALIZATION OPTIMIZATION METHOD AND APPARATUS

Publication Number WO/2020/134829
Publication Date 02.07.2020
International Application No. PCT/CN2019/121522
International Filing Date 28.11.2019
IPC
G06N 3/04 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
CPC
G06N 3/04
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
Applicants
  • 深圳云天励飞技术有限公司 SHENZHEN YUNTIANLIFEI TECHNOLOGY CO., LTD. [CN]/[CN]
Inventors
  • 肖海勇 XIAO, Haiyong
Agents
  • 深圳驿航知识产权代理事务所(普通合伙) SHENZHEN YIHANG INTELLECTUAL PROPERTY AGENCY (GENERAL PARTNERSHIP)
Priority Data
201811590504.825.12.2018CN
Publication Language Chinese (ZH)
Filing Language Chinese (ZH)
Designated States
Title
(EN) NEURAL NETWORK BATCH NORMALIZATION OPTIMIZATION METHOD AND APPARATUS
(FR) PROCÉDÉ ET APPAREIL D'OPTIMISATION DE NORMALISATION DE LOTS DE RÉSEAU NEURONAL
(ZH) 一种神经网络批归一化的优化方法及装置
Abstract
(EN)
Provided is a neural network batch normalization optimization method, comprising: setting a first network layer in a neural network as a starting layer; sequentially acquiring initial bias values of different network layers backwards starting from the starting layer; calculating equivalent bias values of the different network layers; determining whether there is a target network layer, wherein a ratio of the equivalent bias value corresponding to the previous layer of the target network layer to the equivalent bias value corresponding to the target network layer is no less than a pre-set threshold value; and if the target network layer is present, setting all the bias values of different network layers between the starting layer and the previous layer of the target network layer to be zero, and taking the equivalent bias value of the target network layer as the bias value of the target network layer. By using this method, the bit width of a network, after fixed-point processing, can be effectively reduced, thereby facilitating the deployment of the network on various AI hardware platforms with limited bit widths.
(FR)
L'invention concerne un procédé d'optimisation de normalisation de lots de réseau neuronal, comportant les étapes consistant à: spécifier une première couche de réseau dans un réseau neuronal en tant que couche de départ; acquérir séquentiellement des valeurs initiales de biais de différentes couches de réseau en reculant à partir de la couche de départ; calculer des valeurs équivalentes de biais des différentes couches de réseau; déterminer s'il existe une couche de réseau cible, un rapport de la valeur équivalente de biais qui correspond à la couche précédente de la couche de réseau cible à la valeur équivalente de biais qui correspond à la couche de réseau cible n'étant pas inférieur à une valeur seuil prédéfinie; et si la couche de réseau cible est présente, régler toutes les valeurs de biais de différentes couches de réseau entre la couche de départ et la couche précédente de la couche de réseau cible à zéro, et prendre la valeur équivalente de biais de la couche de réseau cible en tant que valeur de biais de la couche de réseau cible. En utilisant ce procédé, la largeur de bits d'un réseau, après traitement en virgule fixe, peut être efficacement réduite, ce qui facilite le déploiement du réseau sur diverses plates-formes matérielles d'IA présentant des largeurs de bits limitées.
(ZH)
一种神经网络批归一化的优化方法,包括:将神经网络中第一个网络层设置为起始层;从所述起始层开始向后依次获取不同网络层的初始偏置值;计算所述不同网络层的等效偏置值;判断是否存在目标网络层,其中,所述目标网络层的前一层所对应的等效偏置值与所述目标网络层所对应的等效偏置值之间的比值不小于预设阈值;若存在所述目标网络层,则将所述起始层至所述目标网络层的前一层之间的不同网络层的偏置值均设为0,并将所述目标网络层的等效偏置值作为所述目标网络层的偏置值。所述方法能够有效减少网络定点化后的位宽,有利于网络在各种现有位宽受限的AI硬件平台上部署。
Also published as
Latest bibliographic data on file with the International Bureau