Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020068978 - HOSTING MACHINE LEARNING MODELS

Publication Number WO/2020/068978
Publication Date 02.04.2020
International Application No. PCT/US2019/052951
International Filing Date 25.09.2019
IPC
G06F 16/907 2019.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
90Details of database functions independent of the retrieved data types
907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
CPC
G06F 16/907
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
90Details of database functions independent of the retrieved data types
907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
Applicants
  • AMAZON TECHNOLOGIES, INC. [US]/[US]
Inventors
  • SARTORELLO, Enrico
  • STEFANI, Stefano
  • KANDOI, Nikhil
  • POKKUNURI, Rama Krishna Sandeep
  • SUTARIA, Kalpesh N.
  • SABBINENI, Navneet
  • GELLA, Ganesh Kumar
  • LI, Cheng Ran
  • PUVVADI, Sudhakar Rao
  • KHATTAR, Tania
Agents
  • NICHOLSON, David F.
  • LEEGE, Brian F.
Priority Data
16/146,29528.09.2018US
16/146,33128.09.2018US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) HOSTING MACHINE LEARNING MODELS
(FR) HÉBERGEMENT DE MODÈLES D'APPRENTISSAGE AUTOMATIQUE
Abstract
(EN)
Techniques for hosting machine learning models are described. In some instances, a method of receiving a request to perform an inference using a particular machine learning model; determining a group of hosts to route the request to, the group of hosts to host a plurality of machine learning models including the particular machine learning model; determining a path to the determined group of hosts; determining a particular host of the group of hosts to perform an analysis of the request based on the determined path, the particular host having the particular machine learning model in memory; routing the request to the particular host of the group of hosts; performing inference on the request using the particular host; and providing a result of the inference to a requester is performed.
(FR)
L'invention concerne des techniques d'hébergement de modèles d'apprentissage automatique. Dans certains cas, le procédé consiste à recevoir une demande d'exécution d'une inférence à l'aide d'un modèle d'apprentissage automatique particulier ; à déterminer un groupe d'hôtes vers lesquels acheminer la demande, le groupe d'hôtes étant destiné à héberger une pluralité de modèles d'apprentissage automatique comprenant le modèle d'apprentissage automatique particulier ; à déterminer un chemin vers le groupe déterminé d'hôtes ; à déterminer un hôte particulier du groupe d'hôtes destiné à effectuer une analyse de la demande en fonction du chemin déterminé, l'hôte particulier comprenant le modèle d'apprentissage automatique particulier dans la mémoire ; à acheminer la demande à l'hôte particulier du groupe d'hôtes ; à exécuter une inférence sur la demande à l'aide de l'hôte particulier ; et à fournir un résultat de l'inférence à un demandeur.
Latest bibliographic data on file with the International Bureau