Processing

Please wait...

Settings

Settings

Goto Application

1. WO2022021868 - DATA PROCESSING METHOD, SYSTEM AND DEVICE, AND READABLE STORAGE MEDIUM

Publication Number WO/2022/021868
Publication Date 03.02.2022
International Application No. PCT/CN2021/077801
International Filing Date 25.02.2021
IPC
G06N 3/04 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
G06N 3/08 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
CPC
G06N 3/0454
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0454using a combination of multiple neural nets
G06N 3/082
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
082modifying the architecture, e.g. adding or deleting nodes or connections, pruning
Applicants
  • 苏州浪潮智能科技有限公司 INSPUR SUZHOU INTELLIGENT TECHNOLOGY CO., LTD. [CN]/[CN]
Inventors
  • 梁玲燕 LIANG, Lingyan
  • 董刚 DONG, Gang
  • 赵雅倩 ZHAO, Yaqian
Agents
  • 北京集佳知识产权代理有限公司 UNITALEN ATTORNEYS AT LAW
Priority Data
202010745395.329.07.2020CN
Publication Language Chinese (zh)
Filing Language Chinese (ZH)
Designated States
Title
(EN) DATA PROCESSING METHOD, SYSTEM AND DEVICE, AND READABLE STORAGE MEDIUM
(FR) PROCÉDÉ, SYSTÈME ET DISPOSITIF DE TRAITEMENT DE DONNÉES, ET SUPPORT D'ENREGISTREMENT LISIBLE
(ZH) 一种数据处理的方法、系统、设备及可读存储介质
Abstract
(EN) A data processing method, system and device, and a readable storage medium. The method comprises: marking each layer of a network model as a key layer or a non-key layer according to acquired structural information of the network model; respectively determining a quantization bit width range of the key layer and a quantization bit width range of the non-key layer according to hardware resource information that needs to be deployed; determining, in the quantization bit width range, the optimal quantization bit width of each layer of the network model; and training the network model on the basis of the optimal quantization bit width of each layer of the network model, so as to obtain an optimal network model, and performing data processing by using the optimal network model. According to the present application, for an optimal network model obtained by means of performing training on the basis of an optimal quantization bit width, insofar as the optimal accuracy of the network model is ensured, the model structure is compressed to the maximum extent, so as to realize the optimal deployment of a hardware end, such that the efficiency of processing data by means of the optimal network model is improved.
(FR) Procédé, système et dispositif de traitement de données, et support d'enregistrement lisible. Le procédé consiste à : marquer chaque couche d'un modèle de réseau comme une couche clé ou une couche non clé selon des informations structurelles acquises du modèle de réseau ; déterminer respectivement une plage de largeur de bit de quantification de la couche de clé et une plage de largeur de bit de quantification de la couche non clé selon des informations de ressource matérielle qui doivent être déployées ; déterminer, dans la plage de largeur de bit de quantification, la largeur de bits de quantification optimale de chaque couche du modèle de réseau ; et entraîner le modèle de réseau sur la base de la largeur de bit de quantification optimale de chaque couche du modèle de réseau, de manière à obtenir un modèle de réseau optimal, et réaliser un traitement de données à l'aide du modèle de réseau optimal. Selon la présente invention, pour un modèle de réseau optimal obtenu au moyen de la réalisation d'un entraînement sur la base d'une largeur de bit de quantification optimale, dans la mesure où la précision optimale du modèle de réseau est assurée, la structure de modèle est comprimée dans toute la mesure possible, de façon à réaliser le déploiement optimal d'une extrémité matérielle, de telle sorte que l'efficacité de traitement de données au moyen du modèle de réseau optimal est améliorée.
(ZH) 一种数据处理的方法、系统、设备及可读存储介质,所述方法包括:根据获取的网络模型的结构信息将网络模型的每一层标记为关键层或非关键层;根据需要部署的硬件资源信息分别确定关键层的量化位宽范围和非关键层的量化位宽范围;在量化位宽范围内确定网络模型每一层的最优量化位宽;基于网络模型每一层的最优量化位宽对网络模型进行训练得到最优网络模型,并利用最优网络模型进行数据处理。本申请基于最优量化位宽训练得到的最优网络模型在保证网络模型最佳精度的情况下,最大限度地对模型结构进行压缩,实现硬件端的最优部署,进而使得利用该最优网络模型对数据进行处理时的效率得到提高。
Related patent documents
Latest bibliographic data on file with the International Bureau