Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020192225 - REMOTE SENSING DATA INDEXING METHOD FOR SPARK, SYSTEM AND ELECTRONIC DEVICE

Publication Number WO/2020/192225
Publication Date 01.10.2020
International Application No. PCT/CN2019/130566
International Filing Date 31.12.2019
IPC
G06F 16/22 2019.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
20of structured data, e.g. relational data
22Indexing; Data structures therefor; Storage structures
CPC
G06F 16/2246
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
20of structured data, e.g. relational data
22Indexing; Data structures therefor; Storage structures
2228Indexing structures
2246Trees, e.g. B+trees
G06F 16/2291
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
20of structured data, e.g. relational data
22Indexing; Data structures therefor; Storage structures
2291User-Defined Types; Storage management thereof
Applicants
  • 深圳先进技术研究院 SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY [CN]/[CN]
Inventors
  • 熊景盼 XIONG, Jingpan
  • 王洋 WANG, Yang
  • 须成忠 XU, Chengzhong
Agents
  • 深圳市科进知识产权代理事务所(普通合伙) SHENZHEN KEJIN INTELLECTUAL PROPERTY OFFICE
Priority Data
201910223461.822.03.2019CN
Publication Language Chinese (ZH)
Filing Language Chinese (ZH)
Designated States
Title
(EN) REMOTE SENSING DATA INDEXING METHOD FOR SPARK, SYSTEM AND ELECTRONIC DEVICE
(FR) PROCÉDÉ D'INDEXATION DE DONNÉES DE DÉTECTION À DISTANCE POUR SPARK, SYSTÈME ET DISPOSITIF ÉLECTRONIQUE
(ZH) 一种面向Spark的遥感数据索引方法、系统及电子设备
Abstract
(EN)
A remote sensing data indexing method for Spark, a system and an electronic device. The method comprises: individually establishing in a PostgreSQL database a remote sensing data quadtree, a GeoHash and an R-tree index system, and storing the quadtree, GeoHash and R-tree index system separately, obtaining a multiple-index storage system of multiple coexisting indexes for Spark; selecting an indexing policy selector, establishing a connection between Spark and the multiple-index storage system; on the basis of the indexing policy selector, allocating a corresponding indexing means according to a computing scenario, and searching for remote sensing data in the multiple-index storage system according to said indexing means. The present method, by allocating different indexing means for different computing scenarios, can greatly reduce indexing time relative to a single indexing means, and is adapted for Spark computing tasks, rapidly and efficiently indexing a required file, and realizing high-efficiency computation of remote sensing data.
(FR)
L'invention concerne un procédé d'indexation de données de détection à distance pour Spark, un système et un dispositif électronique. Le procédé consiste à : établir individuellement, dans une base de données PostgreSQL, un arbre quaternaire de données de détection à distance, un code GeoHash et un système d'index d'arbre R, et stocker séparément l'arbre quaternaire, le code GeoHash et le système d'index d'arbre R, obtenir un système de stockage à index multiples constitué de multiples index coexistants pour Spark ; sélectionner un sélecteur de politique d'indexation, établir une connexion entre Spark et le système de stockage à index multiple ; sur la base du sélecteur de politique d'indexation, attribuer un moyen d'indexation correspondant conformément à un scénario de calcul, et rechercher des données de détection à distance dans le système de stockage à index multiple conformément auxdits moyens d'indexation. Le procédé selon l'invention, par l'attribution de différents moyens d'indexation pour différents scénarios de calcul, permet de réduire considérablement le temps d'indexation par rapport à un seul moyen d'indexation, et il est adapté pour des tâches de calcul Spark, indexant rapidement et efficacement un fichier requis, et réalisant un calcul à haut rendement de données de détection à distance.
(ZH)
一种面向Spark的遥感数据索引方法、系统及电子设备。所述方法包括:在PostgreSQL数据库中分别建立遥感数据的四叉树、GeoHash和R树索引系统,并将所述四叉树、GeoHash和R树索引系统进行分别存放,得到面向Spark多索引共存的多索引存储系统;选择索引策略选择器,建立Spark与所述多索引存储系统的对接;基于所述索引策略选择器,根据计算场景分配对应的索引方式,根据所述索引方式在所述多索引存储系统中查找遥感数据。所述方法能够根据不同计算场景分配索引方式,使索引时间相对于单一的索引方式大幅度下降,并且适应Spark计算任务,快速高效的索引到所需文件,实现遥感数据的高效计算。
Also published as
Latest bibliographic data on file with the International Bureau