Processing

Please wait...

PATENTSCOPE will be unavailable a few hours for maintenance reason on Tuesday 25.01.2022 at 9:00 AM CET
Settings

Settings

Goto Application

1. WO2022007349 - NEURAL NETWORK TUNING METHOD AND SYSTEM, TERMINAL, AND STORAGE MEDIUM

Publication Number WO/2022/007349
Publication Date 13.01.2022
International Application No. PCT/CN2020/139297
International Filing Date 25.12.2020
IPC
G06N 3/08 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06N 3/02 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
Applicants
  • 中国科学院深圳先进技术研究院 SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES [CN]/[CN]
Inventors
  • 赵宝新 ZHAO, Baoxin
  • 须成忠 XU, Chengzhong
  • 赵娟娟 ZHAO, Juanjuan
Agents
  • 北京中巡通大知识产权代理有限公司 BEIJING ZHONG XUN TONG DA INTELLECTUAL PROPERTY AGENCY CO., LTD.
Priority Data
202010657269.209.07.2020CN
Publication Language Chinese (zh)
Filing Language Chinese (ZH)
Designated States
Title
(EN) NEURAL NETWORK TUNING METHOD AND SYSTEM, TERMINAL, AND STORAGE MEDIUM
(FR) PROCÉDÉ ET SYSTÈME DE SYNTONISATION DE RÉSEAU NEURONAL, TERMINAL ET SUPPORT DE STOCKAGE
(ZH) 一种神经网络调优方法、系统、终端以及存储介质
Abstract
(EN) The present application relates to a neural network tuning method and system, a terminal, and a storage medium. The method comprises: adding intra-class spacing regularization loss into a loss function of a neural network to obtain a loss function based on intra-class spacing regularization, the intra-class spacing regularization loss indicating that the intra-class spacing between feature maps of the same class of data outputted by the neural network is close; and during the training of the neural network, inserting the loss function based on intra-class spacing regularization into a set proportion of iterations, and performing iterative training on the neural network by using an overlapped training mode of a network optimization algorithm and an intra-class spacing regularization algorithm to obtain an optimal neural network. According to embodiments of the present application, the intra-class spacing regularization algorithm is inserted into a certain proportion of iterations to perform iterative training on the neural network, so that the generalization ability and the anti-interference performance of the network structure are improved in the case that the structure of the neural network is not changed, and thus the additional time overhead is relatively small.
(FR) La présente demande concerne un procédé et un système de syntonisation de réseau neuronal, un terminal et un support de stockage. Le procédé consiste à : ajouter une perte de régularisation d'espacement intraclasse dans une fonction de perte d'un réseau neuronal, pour obtenir une fonction de perte basée sur une régularisation d'espacement intraclasse, la perte de régularisation d'espacement intraclasse indiquant que l'espacement intraclasse entre des cartes de caractéristiques de la même classe de données émises par le réseau neuronal est proche ; et pendant l'instruction du réseau neuronal, insérer la fonction de perte basée sur une régularisation d'espacement intraclasse selon une proportion définie d'itérations et réaliser une instruction itérative sur le réseau neuronal à l'aide d'un mode superposé d'instruction d'un algorithme d'optimisation de réseau et d'un algorithme de régularisation d'espacement intraclasse pour obtenir un réseau neuronal optimal. Selon des modes de réalisation de la présente demande, l'algorithme de régularisation d'espacement intraclasse est inséré selon une certaine proportion d'itérations pour effectuer une instruction itérative sur le réseau neuronal, pour que la capacité de généralisation et les performances antibrouillage de la structure de réseau s'améliorent en cas d'invariance de la structure du réseau neuronal, ce qui fait que la surcharge de temps supplémentaire est relativement faible.
(ZH) 本申请涉及一种神经网络调优方法、系统、终端以及存储介质。所述方法包括:在神经网络的损失函数中加入类内间距正则化损失,得到基于类内间距正则化的损失函数;所述类内间距正则化损失表示所述神经网络输出的同一类别的数据的特征图之间的类内间距接近;在所述神经网络训练过程中,在设定比例的迭代次数中插入所述基于类内间距正则化的损失函数,采用网络优化算法与类内间距正则化算法交叠训练的方式对所述神经网络进行迭代训练,得到最优神经网络。本申请实施例通过在一定比例的迭代次数中插入类内间距正则化算法对神经网络进行迭代训练,在不改变神经网络结构的情况下,提升网络结构的泛化能力和抗干扰性,且由此带来的额外时间开销较小。
Related patent documents
Latest bibliographic data on file with the International Bureau