Processing

Please wait...

Settings

Settings

Goto Application

1. WO2012135319 - PROCESSING DATA IN A MAPREDUCE FRAMEWORK

Publication Number WO/2012/135319
Publication Date 04.10.2012
International Application No. PCT/US2012/030897
International Filing Date 28.03.2012
IPC
G06F 17/30 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
17Digital computing or data processing equipment or methods, specially adapted for specific functions
30Information retrieval; Database structures therefor
CPC
G06F 16/245
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
20of structured data, e.g. relational data
24Querying
245Query processing
G06F 16/90335
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
90Details of database functions independent of the retrieved data types
903Querying
90335Query processing
Applicants
  • GOOGLE INC. [US]/[US] (AllExceptUS)
  • CHATTOPADHYAY, Biswapesh [IN]/[US] (UsOnly)
  • LIN, Liang [CN]/[US] (UsOnly)
  • LIU, Weiran [CN]/[US] (UsOnly)
  • DVORSKY, Marian [SK]/[US] (UsOnly)
Inventors
  • CHATTOPADHYAY, Biswapesh
  • LIN, Liang
  • LIU, Weiran
  • DVORSKY, Marian
Agents
  • SODERBERG, J. Richard
Priority Data
13/078,50001.04.2011US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) PROCESSING DATA IN A MAPREDUCE FRAMEWORK
(FR) TRAITEMENT DE DONNÉES DANS UN CADRE D'APPLICATION MAPREDUCE
Abstract
(EN)
A computer-implemented method for processing input data in a mapreduce framework includes: receiving, in the mapreduce framework, a data processing request for input data; initiating, based on the data processing request, a map operation on the input data by multiple mappers in the mapreduce framework, each of the mappers using an aggregator to partially aggregate the input data into one or more intermediate key/value pairs; initiating a reduce operation on the intermediate key/value pairs by multiple reducers in the mapreduce framework, wherein, without sorting the intermediate key/value pairs, those of the intermediate key/value pairs with a common key are handled by a same one of the reducers, each of the reducers using the aggregator to aggregate the intermediate key/value pairs into one or more output values; and providing the output values in response to the data processing request.
(FR)
L'invention concerne un procédé mis en œuvre sur ordinateur pour traiter des données d'entrée dans un cadre d'application Mapreduce consistant à : recevoir, dans le cadre d'application Mapreduce, une demande de traitement de données d'entrée ; déclencher, sur la base de la demande de traitement de données, une opération de cartographie sur les données d'entrée à partir de multiples éléments de cartographie dans le cadre d'application Mapreduce, chacun des éléments de cartographie utilisant un agrégateur pour agréger partiellement les données d'entrée en une ou plusieurs paires de clés/valeurs intermédiaires ; déclencher une opération de réduction sur les paires de clés/valeurs intermédiaires par de multiples réducteurs du cadre d'application Mapreduce, cela permettant de faire en sorte que, sans trier les paires de clés/valeurs intermédiaires, celles des paires de clés/valeurs intermédiaires ayant une clé commune soient gérées par un seul des réducteurs, chacun des réducteurs utilisant l'agrégateur pour agréger les paires de clés/valeurs intermédiaires en une ou plusieurs valeurs de sortie ; et fournir les valeurs de sortie en réponse à la demande de traitement de données.
Latest bibliographic data on file with the International Bureau