Processing

Please wait...

Settings

Settings

1. WO2020003043 - LOW PRECISION DEEP NEURAL NETWORK ENABLED BY COMPENSATION INSTRUCTIONS

Publication Number WO/2020/003043
Publication Date 02.01.2020
International Application No. PCT/IB2019/054960
International Filing Date 13.06.2019
IPC
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
G06N 3/02 (2006.01)
CPC
G06F 1/3296
G06F 17/16
G06N 3/0481
G06N 3/063
Applicants
  • INTERNATIONAL BUSINESS MACHINES CORPORATION [US/US]; New Orchard Road Armonk, New York 10504, US
  • IBM UNITED KINGDOM LIMITED [GB/GB]; PO Box 41, North Harbour Portsmouth Hampshire PO6 3AU, GB (MG)
  • IBM (CHINA) INVESTMENT COMPANY LIMITED [CN/CN]; 25/F, Pangu Plaza No.27, Central North 4th Ring Road, Chaoyang District, Beijing 100101, CN (MG)
Inventors
  • VENKATARAMANI, Swagath; US
  • JAIN, Shubham; US
  • SRINIVASAN, Vijayalakshmi; US
  • CHOI, Jungwook; US
  • CHANG, Leland; US
Agents
  • WILLIAMS, Julian; GB
Priority Data
16/020,95227.06.2018US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) LOW PRECISION DEEP NEURAL NETWORK ENABLED BY COMPENSATION INSTRUCTIONS
(FR) RÉSEAU NEURONAL PROFOND DE FAIBLE PRÉCISION ACTIVÉ PAR DES INSTRUCTIONS DE COMPENSATION
Abstract
(EN)
A compensated deep neural network (compensated-DNN) is provided. A first vector having a set of components and a second vector having a set of corresponding components are received. A component of the first vector includes a first quantized value and a first compensation instruction,and a corresponding component of the second vector includes a second quantized value and a second compensation instruction. The first quantized value is multiplied with the second quantized value to compute a raw product value. The raw product value is compensated for a quantization error according to the first and second compensation instructions to produce a compensated product value. The compensated product value is added into an accumulated value for the dot product. The accumulated value is converted into an output vector of the dot product. The output vector includes an output quantized value and an output compensation instruction.
(FR)
L'invention concerne un réseau neuronal profond compensé (RNP compensé). Un premier vecteur ayant un ensemble de composants et un second vecteur ayant un ensemble de composants correspondants sont reçus. Un composant du premier vecteur comprend une première valeur quantifiée et une première instruction de compensation, et un composant correspondant du second vecteur comprend une seconde valeur quantifiée et une seconde instruction de compensation. La première valeur quantifiée est multipliée par la seconde valeur quantifiée pour calculer une valeur de produit brute. La valeur de produit brute est compensée pour une erreur de quantification selon les première et seconde instructions de compensation pour produire une valeur de produit compensée. La valeur de produit compensée est ajoutée à une valeur accumulée pour le produit scalaire. La valeur accumulée est convertie en un vecteur de sortie du produit scalaire. Le vecteur de sortie comprend une valeur quantifiée de sortie et une instruction de compensation de sortie.
Latest bibliographic data on file with the International Bureau