Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2017036242) DATA PROCESSING METHOD, APPARATUS, AND SYSTEM
Latest bibliographic data on file with the International Bureau   

Pub. No.: WO/2017/036242 International Application No.: PCT/CN2016/087314
Publication Date: 09.03.2017 International Filing Date: 27.06.2016
IPC:
G06F 17/30 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
F
ELECTRIC DIGITAL DATA PROCESSING
17
Digital computing or data processing equipment or methods, specially adapted for specific functions
30
Information retrieval; Database structures therefor
Applicants:
华为技术有限公司 HUAWEI TECHNOLOGIES CO., LTD. [CN/CN]; 中国广东省深圳市 龙岗区坂田华为总部办公楼 Huawei Administration Building, Bantian,Longgang District Shenzhen, Guangdong 518129, CN
Inventors:
朱玉麒 ZHU, Yuqi; CN
Priority Data:
201510547952.X31.08.2015CN
Title (EN) DATA PROCESSING METHOD, APPARATUS, AND SYSTEM
(FR) PROCÉDÉ, APPAREIL ET SYSTÈME DE TRAITEMENT DE DONNÉES
(ZH) 一种数据处理方法、装置和系统
Abstract:
(EN) Disclosed are a data processing method, apparatus, and system, so as to avoid the problem of excessively frequent IO read-write operations on a magnetic disk or a memory caused by deadlock dependency that appears during big-data analysis processing based on the ETL technology. The method comprises: determining nodes meeting a condition from all nodes comprised in an ETL system; for each determined node meeting the condition, selecting partial non-blocking nodes from all non-blocking nodes existing on a transmission path on which a non-blocking data source received by the node passes through, and modifying the selected non-blocking nodes into blocking nodes; and/or storing the non-blocking data source received by the node in the node locally. Therefore, by using the method in the present invention, the deadlock dependency state that appears during data analysis processing based on the ETL technology can be avoided with relatively low performance loss, so that the problem that big-data analysis performance greatly decreases due to excessively frequent IO read-write operations on a magnetic disk or a memory can be resolved.
(FR) L’invention concerne un procédé, un appareil et un système de traitement de données, de façon à éviter le problème d’opérations de lecture-écriture d’entrée/sortie (E/S) excessivement fréquentes sur un disque magnétique ou une mémoire provoqué par une dépendance à un inter-blocage qui apparaît durant un traitement d’analyse de données volumineuses sur la base de la technologie ETL. Le procédé consiste : à déterminer des nœuds satisfaisant une condition parmi tous les nœuds compris dans un système ETL ; pour chaque nœud déterminé satisfaisant la condition, sélectionner des nœuds non de blocage partiels parmi tous les nœuds non de blocage existant sur un chemin de transmission qu'une source de données non de blocage reçue par le nœud traverse, et à modifier les nœuds non de blocage sélectionnés en nœuds de blocage ; et/ou à stocker la source de données non de blocage reçue par le nœud dans le nœud localement. Par conséquent, par utilisation du procédé dans la présente invention, l’état de dépendance à l’inter-blocage qui apparaît durant un traitement d’analyse de données sur la base de la technologie ETL peut être évité avec une perte de performances relativement faible, de telle sorte que le problème selon lequel les performances d’analyse de données volumineuses diminuent considérablement en raison d’opérations de lecture-écriture E/S excessivement fréquentes sur un disque magnétique ou une mémoire peut être résolu.
(ZH) 本发明公开了一种数据处理方法、装置和系统,以避免基于ETL技术对大数据进行分析处理时出现依赖死锁问题,而导致的对磁盘或内存的IO读写操作过于频繁的问题,该方法为:在ETL系统包括的所有节点中,确定符合条件的节点;针对确定出的每个符合所述条件的节点,在该节点接收的非阻塞数据源所经过的传输路径上存在的所有非阻塞节点中,选择部分非阻塞节点,将选择的非阻塞节点更改为阻塞节点;和/或将该节点接收的非阻塞数据源存储到该节点本地。因此,采用本发明的方法能够以较低的性能损失来解决基于ETL技术对数据分析处理出现的依赖死锁状态,从而可以避免对磁盘或内存的IO读写操作过于频繁,造成大数据分析性能大幅降低的问题。
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KR, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)