Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020226751 - INTERPRETABLE NEURAL NETWORK

Publication Number WO/2020/226751
Publication Date 12.11.2020
International Application No. PCT/US2020/023231
International Filing Date 18.03.2020
IPC
G06N 3/04 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
G06N 3/08 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06N 7/00 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
7Computer systems based on specific mathematical models
CPC
G06N 3/0472
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0472using probabilistic elements, e.g. p-rams, stochastic processors
G06N 3/0481
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architectures, e.g. interconnection topology
0481Non-linear activation functions, e.g. sigmoids, thresholds
G06N 3/084
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
084Back-propagation
G06N 7/005
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
7Computer systems based on specific mathematical models
005Probabilistic networks
Applicants
  • MICROSOFT TECHNOLOGY LICENSING, LLC [US]/[US]
Inventors
  • ZHANG, Cheng
  • KIRILOV ZAYKOV, Yordan
  • LI, Yingzhen
  • HERNANDEZ LOBATO, Jose Miguel
  • POPKES, Anna-Lena
  • OVERWEG, Hiske Catharina
Agents
  • SWAIN, Cassandra T.
  • ADJEMIAN, Monica
  • BARKER, Doug
  • CHATTERJEE, Aaron C.
  • CHEN, Wei-Chen Nicholas
  • CHOI, Daniel
  • CHURNA, Timothy
  • DINH, Phong
  • EVANS, Patrick
  • GABRYJELSKI, Henry
  • GUPTA, Anand
  • HINOJOSA-SMITH, Brianna L.
  • HWANG, William C.
  • JARDINE, John S.
  • LEE, Sunah
  • LEMMON, Marcus
  • MARQUIS, Thomas
  • MEYERS, Jessica
  • ROPER, Brandon
  • SPELLMAN, Steven
  • SULLIVAN, Kevin
  • WALKER, Matt
  • WIGHT, Stephen A.
  • WISDOM, Gregg
  • WONG, Ellen
  • WONG, Thomas S.
  • ZHANG, Hannah
  • TRAN, Kimberly
Priority Data
16/459,59601.07.2019US
1906234.803.05.2019GB
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) INTERPRETABLE NEURAL NETWORK
(FR) RÉSEAU NEURONAL INTERPRÉTABLE
Abstract
(EN)
A method of operating a neural network, comprising: at each input node of an input layer, weighting a respective input element received by that node by applying a first class of probability distribution, thereby generating a respective set of output parameters describing an output probability distribution; and from each input node, outputting the respective set of output parameters to one or more nodes in a next, hidden layer of the network, thereby propagating the respective set of output parameters through the hidden layers to an output layer; the propagating comprising, at one or more nodes of at least one hidden layer, combining the sets of input parameters and weighting the combination by applying a second class of probability distribution, thereby generating a respective set of output parameters describing an output probability distribution, wherein the first class of probability distribution is more sparsity inducing than the second class of probability distribution.
(FR)
La présente invention concerne un procédé de fonctionnement d'un réseau neuronal, comprenant les étapes consistant à : au niveau de chaque nœud d'entrée d'une couche d'entrée, pondérer un élément d'entrée respectif reçu par ce nœud par application d'une première classe de distribution de probabilité, générant ainsi un ensemble respectif de paramètres de sortie décrivant une distribution de probabilité de sortie ; et à partir de chaque nœud d'entrée, délivrer en sortie l'ensemble respectif de paramètres de sortie à un ou plusieurs nœuds dans une couche cachée suivante du réseau, ce qui permet de propager l'ensemble respectif de paramètres de sortie à travers les couches cachées vers une couche de sortie ; la propagation comprenant les étapes consistant à combiner, au niveau d'un ou plusieurs nœuds d'au moins une couche cachée, les ensembles de paramètres d'entrée et à pondérer la combinaison en appliquant une seconde classe de distribution de probabilité, générant ainsi un ensemble respectif de paramètres de sortie décrivant une distribution de probabilité de sortie, la première classe de distribution de probabilité induisant de façon plus éparse que la seconde classe de distribution de probabilité.
Latest bibliographic data on file with the International Bureau