Some content of this application is unavailable at the moment.
If this situation persists, please contact us atFeedback&Contact
1. (WO2017096940) DATA IMPORT METHOD FOR SPARK-SQL-BASED BIG-DATA PROCESSING PLATFORM
Latest bibliographic data on file with the International Bureau

Pub. No.: WO/2017/096940 International Application No.: PCT/CN2016/095336
Publication Date: 15.06.2017 International Filing Date: 15.08.2016
IPC:
G06F 17/30 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
F
ELECTRIC DIGITAL DATA PROCESSING
17
Digital computing or data processing equipment or methods, specially adapted for specific functions
30
Information retrieval; Database structures therefor
Applicants:
深圳市华讯方舟软件技术有限公司 CHINA COMMUNICATION SOFTWARE TECHNOLOGY CO., LTD. [CN/CN]; 中国广东省深圳市 宝安区西乡街道宝田一路臣田工业区第37栋3楼 The 3rd Floor No.37 Building, Chentian Industrial Zone, 1st Baotian Road, Xixiang, Bao'an District Shenzhen, Guangdong 518102, CN
Inventors:
张鋆 ZHANG, Yun; CN
冯骏 FENG, Jun; CN
Agent:
北京律和信知识产权代理事务所(普通合伙) BEIJING LAWSING IP FIRM; 中国北京市 朝阳区朝阳门外大街18号丰联广场12层B1212 Room 1212, Fulllink Plaza No.18 Chaoyangmenwai Ave, Chaoyang District Beijing 100020, CN
Priority Data:
201510920069.010.12.2015CN
Title (EN) DATA IMPORT METHOD FOR SPARK-SQL-BASED BIG-DATA PROCESSING PLATFORM
(FR) PROCÉDÉ D'IMPORTATION DE DONNÉES POUR UNE PLATEFORME DE TRAITEMENT DE BIG DATA BASÉE SUR SPARK SQL
(ZH) 一种基于spark-SQL大数据处理平台的数据导入方法
Abstract:
(EN) Provided is a data import method for a Spark-SQL-based big-data processing platform; by means of a storage program, data is imported to a Spark-SQL data processing platform; said storage program comprises a partition part, a data compression part, and a write-to-HDFS part; said partition part, data compression part, and write-to-HDFS part use C language to program and compile and connect to form an optimized target code storing program. C language is used to implement partition logic, a plurality of partitions are supported, and user customization of the partition format is supported; the described data import method stores data at a significantly increased speed.
(FR) L'invention concerne un procédé d'importation de données pour une plateforme de traitement de big data basée sur Spark SQL. Au moyen d'un programme de mémorisation, les données sont importées vers une plateforme de traitement de données Spark SQL. Ledit programme de mémorisation comprend une partie partitions, une partie compression de données et une partie écriture dans HDFS. La partie partitions, la partie compression de données et la partie écriture dans HDFS utilisent le langage C pour programmer et compiler, et se connectent de manière à former un programme de mémorisation de code cible optimisé. Le langage C sert à mettre en œuvre une logique de partitions, une pluralité de partitions sont prises en charge, et la personnalisation du format de partitions par l'utilisateur est prise en charge. Le procédé d'importation de données ci-décrit mémorise des données à une vitesse nettement plus élevée.
(ZH) 一种基于spark-SQL大数据处理平台的数据导入方法,通过入库程序将数据导入spark-SQL大数据处理平台,所述入库程序包括分区部分、数据压缩部分、写入HDFS部分,所述分区部分、数据压缩部分、写入HDFS部分分别采用C语言编程并编译连接形成优化的目标代码入库程序。采用C语言实现分区逻辑,支持多个分区,支持用户自定义分区格式,上述数据导入方法入库速度得到极大提升。
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KR, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)