Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020114155 - SUBGRADE COMPACTION CONSTRUCTION DATA EFFICIENT PROCESSING SYSTEM

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028  

权利要求书

1   2   3   4   5   6   7  

附图

1   2  

说明书

发明名称 : 一种路基压实施工数据高效处理系统

技术领域

[0001]
本发明涉及路基压实施工原始数据高并发存储方法;本发明涉及路基压实施工数据高并发计算处理方法。

背景技术

[0002]
在路基压实施工过程中,施工车辆产生大量的施工数据。如何快速存储大量的实时施工数据,是一个技术难点,如何快速分析计算大量的原始施工数据,是另一个技术难点。如果存储或计算处理延时过长,将导致系统实时性能降低,数据量越大,实时性越低,最终将失去实时监控的意义。
[0003]
发明内容
[0004]
为了解决上述不足的缺陷,本发明提供了一种路基压实施工数据高效处理系统,本发明以解决大量施工原始数据的高并发快速存储及高并发快速计算处理为目的。通过设计合理的数据分片规则,以及基于线程池的存储任务调度策略,实现实时数据的高并发快速存储。通过数据的分片存储,实现了原始数据的高并发读取、计算和处理。
[0005]
本发明提供了一种路基压实施工数据高效处理系统,包括数据拆分单元、数据存储队列单元、存储任务调度线程池单元、原始数据存储单元、数据计算任务队列单元和计算任务执行单元。
[0006]
上述的系统,其中,所述数据拆分单元根据设计好的数据拆分策略,实现施工原始数据的拆分,属于同一分片的数据被存储在同一数据库文件中。
[0007]
上述的系统,其中,所述数据存储队列单元将原始施工数据被拆分成数据包后,以拆分后的数据包为单位,创建数据存储队列,此队列被数据存储线程池调度管理。
[0008]
上述的系统,其中,所述存储任务调度线程池单元根据存储任务队列情况,以策略调度存储任务。
[0009]
上述的系统,其中,所述原始数据存储单元根据不同的数据包存储在不同的数据库文件中。
[0010]
上述的系统,其中,所述数据计算任务队列单元以分片存储的数据库文件为基础,一个原始数据存储文件创建一个计算任务,计算任务放入队列中,此队列被计算任务调度线程池管理。
[0011]
上述的系统,其中,所述计算任务执行单元根据计算任务调度线程池以策略调度数据计算任务,由于待计算数据处于不同数据文件中,使得计算任务能以较高的并发数并发执行。
[0012]
本发明提供了一种路基压实施工数据高效处理系统具有以下有益效果:通过设计合理的数据分片规则,以及基于线程池的存储任务调度策略,实现实时数据的高并发快速存储。通过数据的分片存储,实现了原始数据的高并发读取、计算和处理;建立一种数据拆分策略,实现数据的分块存储,依据拆分的数据,建立了存储任务调度策略,实现了大量实时数据的高并发快速存储。依据拆分的数据,建立了计算任务的调度策略,实现了大量数据的高并发快速计算处理,实现了计算结果的快速存储。

附图说明

[0013]
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明及其特征、外形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图,重点在于示出本发明的主旨。
[0014]
图1、图2分别为本发明提供的施工数据轨迹及网格化处理流程图和施工数据提取及图片生成流程图。

具体实施方式

[0015]
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
[0016]
为了彻底理解本发明,将在下列的描述中提出详细的步骤以及详细的结构,以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下,然而除了这些详细描述外,本发明还可以具有其他实施方式。
[0017]
高并发数据存储及高并发数据计算处理,是路基压实施工信息化系统的核心技术功能,是施工实时监控的基础。
[0018]
参照图1、图2所示,本发明提供的一种路基压实施工数据高效处理系统,包括数据拆分单元、数据存储队列单元、存储任务调度线程池单元、原始数据存储单元、数据计算任务队列单元和计算任务执行单元。
[0019]
本发明中,数据拆分单元根据设计好的数据拆分策略,实现施工原始数据的拆分,属于同一分片的数据被存储在同一数据库文件中。
[0020]
本发明一优选而非限制的实施例中,数据存储队列单元将原始施工数据被拆分成数据包后,以拆分后的数据包为单位,创建数据存储队列,此队列被数据存储线程池调度管理。
[0021]
本发明一优选而非限制的实施例中,存储任务调度线程池单元根据存储任务队列情况,以一定的策略调度存储任务,使存储任务以尽可能大的并发数进行数据存储,由于原始数据分包存储在不同的数据库文件中,使得存储任务能以较大高的并发数并发执行。
[0022]
本发明一优选而非限制的实施例中,原始数据存储单元根据不同的数据包存储在不同的数据库文件中,这是原始数据并发存储的基础,也是数据并发处理的基础。
[0023]
本发明一优选而非限制的实施例中,数据计算任务队列单元以分片存储的数据库文件为基础,一个原始数据存储文件创建一个计算任务,计算任务放入队列中,此队列被计算任务调度线程池管理。
[0024]
本发明一优选而非限制的实施例中,计算任务执行单元根据计算任务调度线程池以一定策略调度数据计算任务,由于待计算数据处于不同数据文件中,使得计算任务能以较高的并发数并发执行。
[0025]
本发明中,本发明通过建立一种数据拆分策略,实现数据的分块存储,依据拆分的数据,建立了存储任务调度策略,实现了大量实时数据的高并发快速存储。依据拆分的数据,建立了计算任务的调度策略,实现了大量数据的高并发快速计算处理,实现了计算结果的快速存储。
[0026]
本发明中,数据的分块存储是并发存储和并发计算的基础。施工过程中,大量的数据传输到服务端,服务端需要接收并存储实时数据。如存储是以单入口的方式处理,则存储入口会成为存储的瓶颈,数据量越大,则存储延时越高。通过施工数据的工程属性,建立一套数据分块策略,归属于同一分块的数据存储在同一数据库文件中,通过这种方式,实现了存储的多入口,为数据的并发存储提供了数据基础,极大提高了数据存储的实时性。依据分块存储的数据库文件,建立数据存储队列,存储队列放入数据存储线程池中管理。数据存储线程池实按照设定的调度策略对存储任务进行合理调度,实现了数据存储任务的高并发执行。以分块存储的数据库文件为依据,建立数据计算处理任务队列。数据的分块存储为计算的并发执行提供了数据基础,数据计算任务调度线程池按照设定的调度策略对计算任务进行合理调度,实现了数据计算任务的高并发执行。每个分块的计算结果仍然存储在本分块的数据库文件中,在计算任务完成时,执行存库操作,从而实现了计算结果存库操作的并发执行。
[0027]
本发明通过设计合理的数据分片规则,以及基于线程池的存储任务调度策略,实现实时数据的高并发快速存储。通过数据的分片存储,实现了原始数据的高并发读取、计算和处理;建立一种数据拆分策略,实现数据的分块存储,依据拆分的数据,建立了存储任务调度策略,实现了大量实时数据的高并发快速存储。依据拆分的数据,建立了计算任务的调度策略,实现了大量数据的高并发快速计算处理,实现了计算结果的快速存储。
[0028]
以上对本发明的较佳实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施;任何熟悉本领域的技术人员,在不脱离本发明技术方案范围情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例,这并不影响本发明的实质内容。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

权利要求书

[权利要求 1]
一种路基压实施工数据高效处理系统,其特征在于,包括数据拆分单元、数据存储队列单元、存储任务调度线程池单元、原始数据存储单元、数据计算任务队列单元和计算任务执行单元。
[权利要求 2]
如权利要求1所述的一种路基压实施工数据高效处理系统,其特征在于,所述数据拆分单元根据设计好的数据拆分策略,实现施工原始数据的拆分,属于同一分片的数据被存储在同一数据库文件中。
[权利要求 3]
如权利要求1所述的一种路基压实施工数据高效处理系统,其特征在于,所述数据存储队列单元将原始施工数据被拆分成数据包后,以拆分后的数据包为单位,创建数据存储队列,此队列被数据存储线程池调度管理。
[权利要求 4]
如权利要求3所述的一种路基压实施工数据高效处理系统,其特征在于,所述存储任务调度线程池单元根据存储任务队列情况,以策略调度存储任务。
[权利要求 5]
如权利要求4所述的一种路基压实施工数据高效处理系统,其特征在于,所述原始数据存储单元根据不同的数据包存储在不同的数据库文件中。
[权利要求 6]
如权利要求5所述的一种路基压实施工数据高效处理系统,其特征在于,所述数据计算任务队列单元以分片存储的数据库文件为基础,一个原始数据存储文件创建一个计算任务,计算任务放入队列中,此队列被计算任务调度线程池管理。
[权利要求 7]
如权利要求6所述的一种路基压实施工数据高效处理系统,其特征在于,所述计算任务执行单元根据计算任务调度线程池以策略调度数据计算任务,由于待计算数据处于不同数据文件中,使得计算任务能以较高的并发数并发执行。

附图

[ 图 1]  
[ 图 2]