Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020228177 - BATCH DATA PROCESSING METHOD AND APPARATUS, COMPUTER DEVICE AND STORAGE MEDIUM

Publication Number WO/2020/228177
Publication Date 19.11.2020
International Application No. PCT/CN2019/102672
International Filing Date 27.08.2019
IPC
G06F 9/50 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
9Arrangements for program control, e.g. control units
06using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
46Multiprogramming arrangements
50Allocation of resources, e.g. of the central processing unit
CPC
G06F 16/21
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
20of structured data, e.g. relational data
21Design, administration or maintenance of databases
G06F 9/5005
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
9Arrangements for program control, e.g. control units
06using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
46Multiprogramming arrangements
50Allocation of resources, e.g. of the central processing unit [CPU]
5005to service a request
G06N 20/00
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
20Machine learning
Applicants
  • 平安科技(深圳)有限公司 PING AN TECHNOLOGY (SHENZHEN) CO., LTD. [CN]/[CN]
Inventors
  • 朱鹏程 ZHU, Pengcheng
  • 王培 WANG, Pei
Agents
  • 深圳众鼎专利商标代理事务所(普通合伙) SHENZHEN ZHONGDING INTELLECTUAL PROPERTY AGENCY
Priority Data
201910405149.016.05.2019CN
Publication Language Chinese (ZH)
Filing Language Chinese (ZH)
Designated States
Title
(EN) BATCH DATA PROCESSING METHOD AND APPARATUS, COMPUTER DEVICE AND STORAGE MEDIUM
(FR) PROCÉDÉ ET APPAREIL DE TRAITEMENT DE DONNÉES PAR LOTS, DISPOSITIF INFORMATIQUE ET SUPPORT D'INFORMATIONS
(ZH) 批量数据处理方法、装置、计算机设备及存储介质
Abstract
(EN)
Disclosed by the present application are a batch data processing method and apparatus, a computer device and a storage medium, the method comprising: selecting a target batch task from a non-real time task queue, and creating a data processing queue on the basis of the target batch task; determining target idle information from within a target idle time queue, and acquiring the quantity of data to be processed corresponding to the data to be processed; acquiring a target quantity on the basis of the quantity of data to be processed, the target idle duration and an estimated number of threads; selecting, from within the data processing queue, data to be processed that corresponds to the target quantity, and determining said data to be segmentation process data; when the original load of a system is less than a busy load threshold; performing data processing on the segmentation process data by using the target processing thread during the target idle duration, and acquiring a data processing result; and updating the task status of each piece of segmentation process data in the data processing queue on the basis of the data processing result. The described method may rationally allocate system resources, and guarantees the efficiency of batch data processing.
(FR)
La présente invention concerne un procédé et un appareil de traitement de données par lots, un dispositif informatique et un support d'informations, le procédé consistant à : sélectionner une tâche de lot cible dans une file d'attente de tâches non en temps réel, et créer une file d'attente de traitement de données sur la base de la tâche de lot cible ; déterminer des informations d'inactivité cibles dans une file d'attente de temps d'inactivité cibles, et acquérir la quantité de données à traiter correspondant aux données à traiter ; acquérir une quantité cible sur la base de la quantité de données à traiter, de la durée d'inactivité cible et d'un nombre estimé de fils ; sélectionner, dans la file d'attente de traitement de données, des données à traiter qui correspondent à la quantité cible, et déterminer que lesdites données sont des données de processus de segmentation ; lorsque la charge d'origine d'un système est inférieure à un seuil de charge d'occupation, mettre en oeuvre un traitement de données sur les données de processus de segmentation à l'aide du fil de traitement cible pendant la durée d'inactivité cible, et acquérir un résultat de traitement de données ; et mettre à jour l'état de tâche de chaque élément des données de processus de segmentation de la file d'attente de traitement de données sur la base du résultat de traitement de données. Le procédé décrit permet d'attribuer de manière rationnelle des ressources système, et garantit l'efficacité du traitement de données par lots.
(ZH)
本申请公开了一种批量数据处理方法、装置、计算机设备及存储介质,该方法包括:从非实时任务队列中选取目标批量任务,基于目标批量任务创建数据处理队列;从目标空闲时间队列中确定目标空闲信息,获取待处理数据对应的待处理数据数量,基于待处理数据数量、目标空闲时长和预估线程数,获取目标数量,在数据处理队列中选取与目标数量相对应的待处理数据,确定为切分处理数据;在系统原始负载小于忙碌负载阈值时,获取目标处理线程,在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理,获取数据处理结果;基于数据处理结果,更新数据处理队列中每一切分处理数据的任务状态。该方法可以理分配系统资源,保障批量数据处理效率。
Latest bibliographic data on file with the International Bureau