Processing

Please wait...

PATENTSCOPE will be unavailable a few hours for maintenance reason on Tuesday 25.01.2022 at 9:00 AM CET
Settings

Settings

Goto Application

1. WO2022007867 - METHOD AND DEVICE FOR CONSTRUCTING NEURAL NETWORK

Publication Number WO/2022/007867
Publication Date 13.01.2022
International Application No. PCT/CN2021/105091
International Filing Date 08.07.2021
IPC
G06N 3/04 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
G06N 3/08 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
Applicants
  • 华为技术有限公司 HUAWEI TECHNOLOGIES CO., LTD. [CN]/[CN]
Inventors
  • 洪伟峻 HONG, Weijun
  • 李桂林 LI, Guilin
  • 张伟楠 ZHANG, Weinan
  • 俞勇 YU, Yong
  • 张星 ZHANG, Xing
  • 李震国 LI, Zhenguo
Agents
  • 北京龙双利达知识产权代理有限公司 LONGSUN LEAD IP LTD.
Priority Data
202010661477.X10.07.2020CN
Publication Language Chinese (zh)
Filing Language Chinese (ZH)
Designated States
Title
(EN) METHOD AND DEVICE FOR CONSTRUCTING NEURAL NETWORK
(FR) PROCÉDÉ ET DISPOSITIF DE CONSTRUCTION DE RÉSEAU NEURONAL
(ZH) 神经网络的构建方法和装置
Abstract
(EN) A method and a device for constructing a neural network, relating to the field of artificial intelligence. Said method comprises: initializing a search space and a plurality of construction blocks, the search space comprising a plurality of operators, and the construction blocks being network structures obtained by connecting a plurality of nodes by means of the operators (1001); during a training process, randomly discarding some of the operators in at least one round of training (1002); and updating the plurality of construction blocks by using the operators which are not discarded (1003), and then constructing a target neural network by using the updated plurality of construction blocks (1004). By randomly discarding some of the operators, said method breaks the correlation between the operators, overcomes the coupling problem existing in the training process, and enables the performance of an obtained target neural network to be better.
(FR) L'invention concerne un procédé et un dispositif de construction d’un réseau neuronal, se rapportant au domaine de l'intelligence artificielle. Ledit procédé consiste à : initialiser un espace de recherche et une pluralité de blocs de construction, l'espace de recherche comprenant une pluralité d'opérateurs, et les blocs de construction étant des structures de réseau obtenues en connectant une pluralité de nœuds au moyen des opérateurs (1001) ; au cours d'un processus d'apprentissage, éliminer de manière aléatoire certains des opérateurs dans au moins un cycle d'apprentissage (1002) ; et mettre à jour la pluralité de blocs de construction au moyen des opérateurs qui ne sont pas éliminés (1003), puis construire un réseau neuronal cible au moyen de la pluralité mise à jour de blocs de construction (1004). En éliminant de manière aléatoire certains des opérateurs, ledit procédé supprime la corrélation entre les opérateurs, surmonte le problème de couplage existant dans le processus d'apprentissage, et permet d'améliorer les performances d'un réseau neuronal cible obtenu.
(ZH) 一种神经网络的构建方法和装置,涉及人工智能领域。该方法包括:初始化搜索空间和多个构建块,所述搜索空间中包括多个操作符,该构建块则是由多个节点之间通过操作符连接得到的网络结构(1001);在训练过程中,在至少一次训练轮次中,随机丢弃部分操作符(1002),以及利用未被丢弃的操作符更新该多个构建块(1003),之后利用更新后的多个构建块构建目标神经网络(1004)。该方法通过随机丢弃部分操作符,打破了操作符之间的关联性,克服了训练过程中存在的耦合问题,使得获得的目标神经网络的性能更好。
Related patent documents
Latest bibliographic data on file with the International Bureau