Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020117655 - SYSTEM AND METHOD FOR INGESTING DATA

Publication Number WO/2020/117655
Publication Date 11.06.2020
International Application No. PCT/US2019/063964
International Filing Date 02.12.2019
IPC
G06F 16/00 2019.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
CPC
G06F 16/254
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
20of structured data, e.g. relational data
25Integrating or interfacing systems involving database management systems
254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
G06F 16/951
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
90Details of database functions independent of the retrieved data types
95Retrieval from the web
951Indexing; Web crawling techniques
G06F 16/9538
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
90Details of database functions independent of the retrieved data types
95Retrieval from the web
953Querying, e.g. by the use of web search engines
9538Presentation of query results
G06F 16/958
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
16Information retrieval; Database structures therefor; File system structures therefor
90Details of database functions independent of the retrieved data types
95Retrieval from the web
958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
G06F 40/205
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
40Handling natural language data
20Natural language analysis
205Parsing
Applicants
  • OWNED OUTCOMES INC. [US]/[US]
Inventors
  • KOZLOWSKI, Wojciech Sebastian
  • VARDHAN, Rohan Kumar Sudhir
  • SINGH, Chandan Kumar
  • REDDY, Rathna Shan
  • GOVINDARAJAN, Dharini
  • PRAMODA, Anita
Agents
  • FULLER, Michael L.
Priority Data
16/209,60604.12.2018US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) SYSTEM AND METHOD FOR INGESTING DATA
(FR) SYSTÈME ET PROCÉDÉ D'INGESTION DE DONNÉES
Abstract
(EN)
Present disclosure includes systems and a methods for ingestion and processing of data in large volumes and varied data models. The system consists of a data intake adapter, tagging service, relation service, query service, persistence service and physical storage medium. The data intake adapters are implemented to support required data formats and models. The invention includes a method enabling assignments of tags to any data element that can be referenced in the system, including in some embodiments tables, rows, columns, data points, nodes, vectors, lists or other types. The invention further includes a method of data representation for tags data using hash tree data structures. The disclosure also includes a relations mechanism and service that is capable of defining relations between data elements. The disclosed system includes also a query service that leverages the internal data structures to provide efficient lookup and retrieval methods supporting vast range of analytical use cases. The disclosure also describes a method of iterative processing using new data delivered to the system to increase data quality, and a method for working with user feedback to improve searching capabilities.
(FR)
La présente invention concerne des systèmes et des procédés d'ingestion et de traitement de données en grands volumes et de modèles de données variés. Le système est constitué d'un adaptateur d'admission de données, d'un service d'étiquetage, d'un service de relation, d'un service d'interrogation, d'un service de persistance et d'un support de stockage physique. Les adaptateurs d'admission de données sont mis en œuvre pour prendre en charge des formats et des modèles de données requis. L'invention comprend un procédé permettant des attributions d'étiquettes à n'importe quel élément de données qui peut être référencé dans le système, y compris dans certains modes de réalisation, des tableaux, des rangées, des colonnes, des points de données, des nœuds, des vecteurs, des listes ou d'autres types. L'invention comprend en outre un procédé de représentation de données pour des données d'étiquettes à l'aide de structures de données en arborescence de hachage. L'invention comprend également un mécanisme de relations et un service qui est capable de définir des relations entre des éléments de données. Le système décrit comprend également un service d'interrogation qui tire parti des structures de données internes pour fournir des procédés de recherche et de récupération efficaces prenant en charge une vaste gamme de cas d'utilisation analytique. L'invention concerne également un procédé de traitement itératif utilisant de nouvelles données fournies au système pour augmenter la qualité des données, et un procédé destiné à travailler avec une rétroaction d'utilisateur pour améliorer les capacités de recherche.
Also published as
Latest bibliographic data on file with the International Bureau