Processing

Please wait...

PATENTSCOPE will be unavailable a few hours for maintenance reason on Tuesday 25.01.2022 at 12:00 PM CET
Settings

Settings

Goto Application

1. WO2022006919 - ACTIVATION FIXED-POINT FITTING-BASED METHOD AND SYSTEM FOR POST-TRAINING QUANTIZATION OF CONVOLUTIONAL NEURAL NETWORK

Publication Number WO/2022/006919
Publication Date 13.01.2022
International Application No. PCT/CN2020/101550
International Filing Date 13.07.2020
IPC
G06N 3/04 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
Applicants
  • 中国科学院自动化研究所 INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES [CN]/[CN]
Inventors
  • 王培松 WANG, Peisong
  • 程健 CHENG, Jian
Agents
  • 北京市恒有知识产权代理事务所(普通合伙) HENYOL INTELLECTUAL PROPERTY LAW CORPORATION
Priority Data
202010660722.510.07.2020CN
Publication Language Chinese (zh)
Filing Language Chinese (ZH)
Designated States
Title
(EN) ACTIVATION FIXED-POINT FITTING-BASED METHOD AND SYSTEM FOR POST-TRAINING QUANTIZATION OF CONVOLUTIONAL NEURAL NETWORK
(FR) PROCÉDÉ ET SYSTÈME BASÉS SUR UN AJUSTEMENT DE POINT FIXE D'ACTIVATION POUR LA QUANTIFICATION POST-APPRENTISSAGE D'UN RÉSEAU NEURONAL CONVOLUTIF
(ZH) 基于激活定点拟合的卷积神经网络训练后量化方法及系统
Abstract
(EN) An activation fixed-point fitting-based method and system for the post-training quantization of a convolutional neural network, which aims to solve the problem in the existing technology in which the post-training quantization of a convolutional neural network cannot be implemented by means of a more efficient low-bit quantization method. The quantization method comprises: performing low-bit fixed-point quantization on a weight matrix of each layer of an original convolutional neural network; obtaining a group of verification data, constructing an optimized target function from input activation to output activation, iteratively optimizing a fixed-point weight matrix and a weight quantization scale factor, and obtaining a weight fixed-point quantization convolutional neural network; and on the basis of the verification data and the weight fixed-point quantization convolutional neural network, solving an activation quantization scale factor, and obtaining a weight-activated fixed-point convolutional neural network. By means of directly learning a low-bit mapping function from input activation to output activation, it is ensured that the convolution output before and after weight quantization is similar, the accuracy of a quantized model is high, and the quantization process does not require the use of data for retraining.
(FR) L'invention concerne un procédé et un système basés sur un ajustement de point fixe d'activation pour la quantification post-apprentissage d'un réseau neuronal convolutif, qui vise à résoudre le problème de la technologie existante dans laquelle la quantification post-apprentissage d'un réseau neuronal convolutif ne peut pas être mise en œuvre au moyen d'un procédé de quantification plus efficace à débit binaire faible. Le procédé de quantification consiste à : effectuer une quantification de point fixe à débit binaire faible sur une matrice de pondération de chaque couche d'un réseau neuronal convolutif d'origine ; obtenir un groupe de données de vérification, construire une fonction cible optimisée d'une activation d'entrée vers une activation de sortie, optimiser de manière itérative une matrice de poids à point fixe et un facteur d'échelle de quantification de poids, puis obtenir un réseau neuronal convolutif de quantification à point fixe de poids ; et d’après les données de vérification et le réseau neuronal convolutif de quantification à point fixe de poids, résoudre un facteur d'échelle de quantification d'activation, puis obtenir un réseau neuronal convolutif à point fixe activé par le poids. L'apprentissage direct d'une fonction de mappage à faible débit binaire d'une activation d'entrée vers une activation de sortie garantit que la sortie de convolution avant et après la quantification de poids est similaire, que la précision d'un modèle quantifié est élevée et que le processus de quantification ne nécessite pas l'utilisation de données pour un apprentissage.
(ZH) 一种基于激活定点拟合的卷积神经网络训练后量化方法及系统,旨在解决现有技术无法通过更加高效的低比特量化方法实现卷积神经网络训练后量化的问题。量化方法包括:对原卷积神经网络各层权值矩阵进行低比特定点量化;获取一组校验数据,构造输入激活到输出激活的优化目标函数,迭代进行定点权值矩阵和权值量化尺度因子的优化,获得权值定点量化卷积神经网络;基于校验数据及权值定点量化卷积神经网络,求解激活量化尺度因子,获得权值-激活定点卷积神经网络。通过直接学习由输入激活到输出激活之间的低比特映射函数,保障权值量化前后卷积输出的相似,量化后的模型精度高,并且量化过程无需使用数据重新训练。
Related patent documents
Latest bibliographic data on file with the International Bureau