Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Goto Application

1. WO2020063715 - PROCÉDÉ ET SYSTÈME DE FORMATION DE POIDS QUANTIFIÉ BINAIRE ET FONCTION D'ACTIVATION POUR RÉSEAUX NEURONAUX PROFONDS

Numéro de publication WO/2020/063715
Date de publication 02.04.2020
N° de la demande internationale PCT/CN2019/108037
Date du dépôt international 26.09.2019
CIB
G06N 3/08 2006.01
GPHYSIQUE
06CALCUL; COMPTAGE
NSYSTÈMES DE CALCULATEURS BASÉS SUR DES MODÈLES DE CALCUL SPÉCIFIQUES
3Systèmes de calculateurs basés sur des modèles biologiques
02utilisant des modèles de réseaux neuronaux
08Méthodes d'apprentissage
CPC
G06F 17/15
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
17Digital computing or data processing equipment or methods, specially adapted for specific functions
10Complex mathematical operations
15Correlation function computation ; including computation of convolution operations
G06N 3/0472
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0472using probabilistic elements, e.g. p-rams, stochastic processors
G06N 3/08
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
Déposants
  • HUAWEI TECHNOLOGIES CO., LTD. [CN]/[CN]
Inventeurs
  • LI, Xinlin
  • DARABI, Sajad
  • BELBAHRI, Mouloud
  • PARTOVI NIA, Vahid
Données relatives à la priorité
16/582,13125.09.2019US
62/736,63026.09.2018US
Langue de publication anglais (EN)
Langue de dépôt anglais (EN)
États désignés
Titre
(EN) METHOD AND SYSTEM FOR TRAINING BINARY QUANTIZED WEIGHT AND ACTIVATION FUNCTION FOR DEEP NEURAL NETWORKS
(FR) PROCÉDÉ ET SYSTÈME DE FORMATION DE POIDS QUANTIFIÉ BINAIRE ET FONCTION D'ACTIVATION POUR RÉSEAUX NEURONAUX PROFONDS
Abrégé
(EN)
A method of training a neural network (NN) block for a neural network, including: performing a first quantization operation on a real-valued feature map tensor to generate a corresponding binary feature map tensor; performing a second quantization operation on a real-valued weight tensor to generate a corresponding binary weight tensor; convoluting the binary feature map tensor with the binary weight tensor to generate a convoluted output; scaling the convoluted output with a scaling factor to generate a scaled output, wherein the scaled output is equal to an estimated weight tensor convoluted with the binary feature map tensor, the estimated weight tensor corresponding to a product of the binary weight tensor and the scaling factor; calculating a loss function, the loss function including a regularization function configured to train the scaling factor so that the estimated weight tensor is guided towards the real-valued weight tensor; and updating the real-valued weight tensor and scaling factor based on the calculated loss function.
(FR)
La présente invention concerne un procédé de formation d'un bloc de réseau neuronal (NN) pour un réseau neuronal, comprenant les étapes consistant à : effectuer une première opération de quantification sur un tenseur de carte de caractéristiques à valeur réelle pour générer un tenseur de carte de caractéristiques binaires correspondant; effectuer une seconde opération de quantification sur un tenseur de poids à valeur réelle pour générer un tenseur de poids binaire correspondant; effectuer une convolution du tenseur de carte de caractéristiques binaires avec le tenseur de poids binaire pour générer une sortie convolutée; mettre à l'échelle la sortie convolutée avec un facteur de mise à l'échelle pour générer une sortie mise à l'échelle, la sortie mise à l'échelle étant égale à un tenseur de poids estimé convoluté avec le tenseur de carte de caractéristiques binaires, le tenseur de poids estimé correspondant à un produit du tenseur de poids binaire et du facteur de mise à l'échelle; calculer une fonction de perte, la fonction de perte comprenant une fonction de régularisation configurée pour former le facteur d'échelle de sorte que le tenseur de poids estimé soit guidé vers le tenseur de poids à valeur réelle; et mettre à jour le tenseur de poids à valeur réelle et le facteur de mise à l'échelle sur la base de la fonction de perte calculée.
Également publié en tant que
Dernières données bibliographiques dont dispose le Bureau international