Processing

Please wait...

Settings

Settings

1. WO2020005806 - ATTACHED ACCELERATOR BASED INFERENCE SERVICE

Publication Number WO/2020/005806
Publication Date 02.01.2020
International Application No. PCT/US2019/038670
International Filing Date 24.06.2019
IPC
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
F
ELECTRIC DIGITAL DATA PROCESSING
9
Arrangements for programme control, e.g. control unit
06
using stored programme, i.e. using internal store of processing equipment to receive and retain programme
46
Multiprogramming arrangements
50
Allocation of resources, e.g. of the central processing unit (CPU)
G06F 9/50 (2006.01)
CPC
G06F 9/5044
Applicants
  • AMAZON TECHNOLOGIES, INC. [US/US]; PO Box 81226 Seattle, Washington 98108-1226, US
Inventors
  • SENGUPTA, Sudipta; US
  • PERUMALLA, Poorna Chand Srinivas; US
  • DIVAKARUNI, Dominic Rajeev; US
  • BSHARA, Nafea; US
  • DIRAC, Leo Parker; US
  • SAHA, Bratin; US
  • WOOD, Matthew James; US
  • OLGIATI, Andrea; US
  • SIVASUBRAMANIAN, Swaminathan; US
Agents
  • NICHOLSON, David F.; US
  • LEEGE, Brian F.; US
Priority Data
16/020,77627.06.2018US
16/020,78827.06.2018US
16/020,81027.06.2018US
16/020,81927.06.2018US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) ATTACHED ACCELERATOR BASED INFERENCE SERVICE
(FR) SERVICE D'INFÉRENCE BASÉ SUR UN ACCÉLÉRATEUR ANNEXÉ
Abstract
(EN)
Implementations detailed herein include description of a computer-implemented method. In an implementation, the method at least includes receiving an application instance configuration, an application of the application instance to utilize a portion of an attached accelerator during execution of a machine learning model and the application instance configuration including: an indication of the central processing unit (CPU) capability to be used, an arithmetic precision of the machine learning model to be used, an indication of the accelerator capability to be used, a storage location of the application, and an indication of an amount of random access memory to use.
(FR)
Des modes de réalisation détaillés de l'invention comprennent la description d'un procédé mis en oeuvre par ordinateur. Dans un mode de réalisation, le procédé consiste au moins à recevoir une configuration d'instance d'application; une application de l'instance d'application pour utiliser une partie d'un accélérateur annexé pendant l'exécution d'un modèle d'apprentissage machine. La configuration d'instance d'application comprend : une indication de la capacité de l'unité centrale de traitement (CPU) à utiliser; une précision arithmétique du modèle d'apprentissage machine à utiliser; une indication de la capacité de l'accélérateur à utiliser; un emplacement de stockage de l'application; et une indication d'une quantité de mémoire vive à utiliser.
Latest bibliographic data on file with the International Bureau