Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020107264 - NEURAL NETWORK ARCHITECTURE SEARCH METHOD AND APPARATUS

Publication Number WO/2020/107264
Publication Date 04.06.2020
International Application No. PCT/CN2018/117957
International Filing Date 28.11.2018
IPC
G06N 3/04 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
CPC
G06N 3/04
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
Applicants
  • 深圳市大疆创新科技有限公司 SZ DJI TECHNOLOGY CO., LTD. [CN]/[CN]
Inventors
  • 蒋阳 JIANG, Yang
  • 赵丛 ZHAO, Cong
  • 张李亮 ZHANG, Liliang
Agents
  • 北京龙双利达知识产权代理有限公司 LONGSUN LEAD IP LTD.
Priority Data
Publication Language Chinese (ZH)
Filing Language Chinese (ZH)
Designated States
Title
(EN) NEURAL NETWORK ARCHITECTURE SEARCH METHOD AND APPARATUS
(FR) PROCÉDÉ ET APPAREIL DE RECHERCHE D'ARCHITECTURE DE RÉSEAU NEURONAL
(ZH) 神经网络架构搜索的方法与装置
Abstract
(EN)
Provided are a neural network architecture search method and an apparatus, the method comprising: acquiring a neural network model to have a network architecture search performed; determining a search space of the neural network model, the search space defining multiple types of operation on an operating layer between every two nodes of the neural network model; configuring a structure parameter for each of the multiple operations on the operation layer in the search space; using a gradient information-based optimization algorithm, performing a network architecture search of the neural network model, obtaining an optimized structure parameter, a target optimization function used by the network architecture search comprising a neural network model loss function, and using a difference between a computational volume of a neural network of a structural parameter of each iteration of the optimization process, and computational resources of a computer device using the neural network model. It is possible to effectively increase neural network model functionality under a scenario of limited computational resources.
(FR)
L'invention concerne un procédé et un appareil de recherche d'architecture de réseau neuronal, le procédé comportant les étapes consistant à: acquérir un modèle de réseau neuronal en vue d'effectuer une recherche d'architecture de réseau; déterminer un espace de recherche du modèle de réseau neuronal, l'espace de recherche définissant de multiples types d'opérations sur une couche d'opérations entre chaque paire de nœuds du modèle de réseau neuronal; configurer un paramètre de structure pour chacune des multiples opérations sur la couche d'opérations dans l'espace de recherche; à l'aide d'un algorithme d'optimisation basé sur des informations de gradient, effectuer une recherche d'architecture de réseau du modèle de réseau neuronal, obtenir un paramètre de structure optimisé, une fonction d'optimisation cible utilisée par la recherche d'architecture de réseau comportant une fonction de perte de modèle de réseau neuronal, et utilisant une différence entre un volume de calcul d'un réseau neuronal d'un paramètre structural de chaque itération du processus d'optimisation, et des ressources de calcul d'un dispositif informatique utilisant le modèle de réseau neuronal. Il est possible d'accroître en pratique la fonctionnalité du modèle de réseau neuronal dans un scénario de ressources de calcul limitées.
(ZH)
提供一种神经网络架构搜索的方法与装置,该方法包括:获取待进行网络架构搜索的神经网络模型;确定神经网络模型的搜索空间,搜索空间定义了神经网络模型中每两个节点之间的操作层上的多种操作;为搜索空间中的每个操作层上的多种操作配置结构参数;利用基于梯度信息的优化算法,对神经网络模型进行网络架构搜索,获得优化后的结构参数,其中,网络架构搜索所使用的目标优化函数包括神经网络模型的损失函数,以及采用优化过程中每次迭代的结构参数的神经网络模型的计算量与使用神经网络模型的计算设备的计算资源之间的差异。可以在计算资源有限的场景下,有效提高神经网络模型的性能。
Latest bibliographic data on file with the International Bureau