(12)发明专利申请
(10)申请公布号 CN 110704445 A(43)申请公布日 2020.01.17
(21)申请号 201910944246.7(22)申请日 2019.09.30
(71)申请人 石化盈科信息技术有限责任公司
地址 100007 北京市东城区东四十条甲22
号南新仓商务大厦A座1208室(72)发明人 索寒生 谌湘临 谭红星 刘玉龙
岳小宝 (74)专利代理机构 北京聿宏知识产权代理有限
公司 11372
代理人 吴大建 张杰(51)Int.Cl.
G06F 16/22(2019.01)G06F 16/2458(2019.01)
权利要求书1页 说明书6页 附图3页
(54)发明名称
工业数据湖系统(57)摘要
本发明公开了一种工业数据湖系统，其将采集到的多种工业数据分析成为工业应用可直接使用的分析数据，并根据分析数据的类型将其分类存储于多个数据库。当接收到工业应用的数据请求时，取数服务模块从数据库中提取该工业应用请求类型的所有分析数据并发送给该工业应用。本发明在存储数据之前就对数据进行了分析，并将分析数据按类型存储在其中的各个数据库中，从而避免了在接收到工业应用的数据请求后临时对数据进行分析的问题，达到了简化数据存储与输出工序的技术效果。
CN 110704445 ACN 110704445 A
权 利 要 求 书
1/1页
1.一种工业数据湖系统，其特征在于，包括：数据泵，其配置为获取工业数据；存储模块，其配置为根据预设规则对所述工业数据进行转换以得到分析数据，并将所述分析数据存储在与该分析数据的数据类型相关联的数据库中；
多个数据库，每个数据库配置为与一种数据类型相关联；取数服务模块，其包括读取模块，该读取模块配置为从所述数据库中提取工业应用请求的分析数据，并将提取的分析数据发送给该工业应用。
2.根据权利要求1所述的工业数据湖系统，其特征在于，所述读取模块具体配置为通过一条输出通道向工业应用发送分析数据。
3.根据权利要求2所述的工业数据湖系统，其特征在于，所述读取模块具体配置为响应于所述工业应用的数据请求来将提取的分析数据发送给该工业应用。
4.根据权利要求3所述的工业数据湖系统，其特征在于，所述取数服务模块还包括订阅模块，该订阅模块配置为接收工业应用发送的订阅请求，并识别由该订阅请求指示的该工业应用订阅的数据类型。
5.根据权利要求4所述的工业数据湖系统，其特征在于，所述读取模块具体配置为：在收到所述工业应用的数据请求之前不向该工业应用发送分析数据。6.根据权利要求5所述的工业数据湖系统，其特征在于，所述读取模块具体配置为：响应于所述工业应用的数据请求来确定与该工业应用订阅的数据类型相关联的数据库；
提取确定的数据库中存储的所有分析数据；将提取的所有分析数据发送给该工业应用。7.根据权利要求4所述的工业数据湖系统，其特征在于，所述订阅模块封装为订阅API。8.根据权利要求1至7中任一项所述的工业数据湖系统，其特征在于，所述分析数据的数据类型包括罐量计算类型、侧线量计算类型、装置告警模型、设备运行量类型和预测分析类型中一项或多项。
9.根据权利要求1至7中任一项所述的工业数据湖系统，其特征在于，所述存储模块封装为存储API。
10.根据权利要求1至7任一项所述的工业数据湖系统，其特征在于，所述读取模块封装为读取API。
2
CN 110704445 A
说 明 书工业数据湖系统
1/6页
技术领域
[0001]本发明涉及工业数据领域，工业数据的存储与调用方面，尤其涉及一种工业数据湖系统。
背景技术
[0002]在工业大数据数据库存储领域，现在的工业数据通常是分门别类地存储到相应的数据库中，如实时数据存储到RTDB数据库、实验数据存储到LIMS数据库，这就对不同类型的工业数据存储需要进行针对性开发，既加大了工作量又不利于工业数据的管理。[0003]因此，亟需一种对不同类型的数据可进行通用性存储的工业数据存储方法。发明内容
[0004]本发明所要解决的技术问题：现有的数据存储技术中，对不同类型的工业数据存储需要进行针对性开发，制作不同类型的专用数据库。该方法工作量较大，且不利于工业数据的管理。
[0005]针对上述现有技术中存在的技术问题，本发明提供了一种工业数据湖系统，其特征在于，包括：[0006]数据泵，其配置为获取工业数据；[0007]存储模块，其配置为根据预设规则对所述工业数据进行转换以得到分析数据，并将所述分析数据存储在与该分析数据的数据类型相关联的数据库中；[0008]多个数据库，每个数据库配置为与一种数据类型相关联；[0009]取数服务模块，其包括读取模块，该读取模块配置为从所述数据库中提取工业应用请求的分析数据，并将提取的分析数据发送给该工业应用。[0010]优选的是，所述读取模块具体配置为通过一条输出通道向工业应用发送分析数据。
[0011]优选的是，所述读取模块具体配置为响应于所述工业应用的数据请求来将提取的分析数据发送给该工业应用。[0012]优选的是，所述取数服务模块还包括订阅模块，该订阅模块配置为接收工业应用发送的订阅请求，并识别由该订阅请求指示的该工业应用订阅的数据类型。[0013]优选的是，所述读取模块具体配置为：
[0014]在收到所述工业应用的数据请求之前不向该工业应用发送分析数据。[0015]优选的是，所述读取模块具体配置为：
[0016]响应于所述工业应用的数据请求来确定与该工业应用订阅的数据类型相关联的数据库；
[0017]提取确定的数据库中存储的所有分析数据；[0018]将提取的所有分析数据发送给该工业应用。[0019]优选的是，所述分析数据的数据类型包括罐量计算类型、侧线量计算类型、装置告
3
CN 110704445 A
说 明 书
2/6页
警类型、设备运行量类型和预测分析类型中的一项或多项。[0020]优选的是，所述订阅模块封装为订阅API。[0021]优选的是，所述存储模块封装为存储API。[0022]优选的是，所述读取模块封装为读取API。[0023]与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
[0024]应用本发明提供的工业数据湖系统，将采集到的多种工业数据分析成为工业应用可直接使用的分析数据，并根据分析数据的类型将其分类存储于多个数据库。当接收到工业应用的数据请求时，读取模块从数据库中提取该工业应用请求类型的所有分析数据并发送给该工业应用。本发明提供的工业数据湖系统在存储数据之前就对数据进行了分析，并将分析数据按类型存储在其中的各个数据库中，从而避免了在接收到工业应用的数据请求后临时对数据进行分析的问题，达到了简化数据存储与输出工序的技术效果。[0025]在本发明一优选的实施例中，本发明的工业数据湖系统还具有订阅功能，工业应用只需针对目标类型的分析数据向工业数据湖系统订阅一次，工业数据湖系统即可响应工业应用的多次数据请求而向工业应用发送订阅的类型的所有分析数据。[0026]再有，本发明的工业数据湖系统的存储模块、读取模块和订阅模块都封装成API接口，实现了通过直接调用即可对工业数据进行分析、存储、订阅和输出的功能。附图说明
[0027]通过结合附图阅读下文示例性实施例的详细描述可更好地理解本公开的范围。其中所包括的附图是：
[0028]图1示出了工业数据湖系统的系统示意图。
[0029]图2示出了工业数据湖系统中数据库的分布示意图；
[0030]图3示出了工业数据湖系统输出数据的第一种方法的流程示意图；以及，[0031]图4示出了工业数据湖系统输出数据的第二种方法的流程示意图。
具体实施方式
[0032]从下文提供的详细描述中，将显而易见本公开的其他应用领域。但是，应当理解，示例性实施例的详细描述仅用于说明性目的，因此，并非旨在必须限制本公开的范围。[0033]在工业大数据数据库存储领域，现在的工业数据通常是分门别类地存储到相应的数据库中，如实时数据存储到RTDB数据库、实验数据存储到LIMS数据库，这就对不同类型的数据存储需要进行针对性开发，既加大了工作量又不利于工业数据的管理。此外，工业应用从这些数据库中获取到原始工业数据后，还需要进一步对这些数据进行分析，以得到适于报告、可视化、分析和机器学习等各种任务的分析数据，这无疑增加了各个工业应用的工作量且降低了整个系统的工作效率。
[0034]针对上述现有数据存储技术中存在的技术问题，本发明提供了一种工业数据湖系统，其主要思想是将原始工业数据转换为用于报告、可视化、分析和机器学习等各种任务的转换数据并进行统一存储，从而形成一个集中式数据存储容纳所有形式的数据库。
[0035]工业数据湖系统获取的原始数据包括从工厂的关系数据库中获取的结构化数据
4
CN 110704445 A
说 明 书
3/6页
(行和列)，如RTDB数据，从工厂的系统的接口中获得的半结构化数据(XML，JSON)，如LIMS数据。这些原始数据通过适配器接口进行访问，从而形成标准化的工业数据。之后，根据所需分析数据的生成要求，对这些工业数据进一步分析、加工，形成最终的分析数据。[0036]本发明所提供的工业数据湖系统，将采集到的工业数据分析成为工业应用可直接使用的分析数据并根据分析数据的类型将其分类存储于多个数据库中，当接收到工业应用的数据请求时，根据该工业应用事先所订阅的分析数据类型，为该工业应用提供其所订阅类型的分析数据。
[0037]下面将对本发明的实施例进行详细阐述。在本实施例中，预先存储了多种工业数据。
[0038]本实施例涉及一种工业数据湖系统。具体地，图1示出了工业数据湖系统的系统示意图。如图1所示，本实施例的工业数据湖系统主要包括数据泵、存储模块、数据库和取数服务模块。
[0039]数据泵用于获取工业数据。
[0040]存储模块用于将数据泵获取的工业数据进行分析得到分析数据，并将该分析数据存储在与该分析数据的数据类型相关联的数据库中。[0041]具体地，首先，通过数据泵获取多种工业数据。该工业数据为通过适配器接口对各个原始数据的数据源进行访问，并将原始数据标准化从而得到的标准化的工业数据。[0042]之后，根据湖内数据库中各类分析数据的生成方法及要求，对工业数据进行分析计算，从而得到各类分析数据。具体地，针对湖中可存储的每个类型的分析数据，数据库中存储有由工业数据生成该分析数据的方法及所需工业数据类型。例如，针对利用储油罐的尺寸数据计算得到的罐量计算数据，首先，数据泵获取计算罐量所需储油罐的各部分尺寸数据。之后，根据预先设置好的罐量计公式，利用储油罐的各部分尺寸数据，计算得到所需罐量计算数据，以作为分析数据。常见的分析数据的类型有：罐量计算类型、侧线量计算类型、装置告警类型、设备运行量类型和预测分析类型。[0043]最后，根据所述分析数据的类型，将各个分析数据分别存储在与该分析数据的数据类型相关联的数据库中。这里，每个数据库配置为与一种数据类型相关联。例如，如图2的工业数据湖系统中数据库的分布示意图所示，工业数据湖系统包括三个数据库：罐量计算数据库、侧线量计算数据库和装置告警数据库。其中，罐量计算数据存储于罐量计算数据库中，侧线量计算数据存储于侧线量计算数据库中，装置告警模型存储于装置告警数据库中。经存储模块分析得到的各类分析数据被分门别类地存储到与其分析数据类型相对应的数据库中。
[0044]取数服务模块用于接收工业应用发送的订阅请求，并识别由该订阅请求指示的该工业应用订阅的数据类型。[0045]具体地，工业应用向取数服务模块发送订阅请求，取数服务模块接收该订阅请求，并识别出该订阅请求中所包含的请求订阅的数据类型。取数服务模块根据该订阅请求确定该工业应用所请求订阅的一种或多种数据类型。之后，当工业应用向取数服务模块发数据请求时，无需每次提交其期望工业数据湖系统为其提供的分析数据类型，取数服务模块接收到来自该工业应用的数据请求时，将根据其事先申请订阅的数据类型向该工业应用提供与其订阅的数据类型相关联的分析数据。
5
CN 110704445 A[0046]
说 明 书
4/6页
取数服务模块包括读取模块和订阅模块。读取模块用于从数据库中提取工业应用
请求的分析数据，并将提取的分析数据发送给该工业应用。[0047]具体地，在接收到来自某一工业应用的数据请求时，读取模块响应该数据请求，并确定发送该数据请求的工业应用与其所事先订阅的分析数据类型，以及与该工业应用订阅的分析数据类型相关联的所有数据库。[0048]之后，读取模块从确定的所有数据库中提取其存储的所有分析数据。[0049]最后，读取模块将提取的所有分析数据通过一条输出通道，依次将各个类型的分析数据发送给该工业应用。
[0050]在本发明一优选的实施例中，上述存储模块、订阅模块和读取模块分别被封装为一个API。
[0051]这里，API(Application Programming Interface)，即应用程序编程接口，是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。具体地，预先把一些开发人员设定好的操作方法写在一个函数里面，并将其编译成一个组件(一般是动态链接库)，随操作系统一起发布，并配上说明文档。这些封装好的函数就叫做API。用户只需要简单地调用这些函数就可以使用函数里面的操作方法来完成工作，用户可以是不具有API编写能力的人员，由此提高了工业数据湖系统的可操作性，也降低了该系统的使用门槛。[0052]本工业数据湖系统对外提供API接口，实现了通过直接调用即可对工业数据进行分析、存储、订阅和输出的功能。[0053]下面，以订阅分析数据类型为罐量计算类型和装置告警类型的工业应用为例，分别说明工业数据湖系统输出数据第一种方法和第二种方法。
[0054]图3示出了工业数据湖系统输出数据的第一种方法的流程示意图。工业应用订阅了罐量计算数据和装置告警模型。读取模块从数据库提取并输出工业应用订阅的分析数据的第一种方法主要包括步骤S101至步骤S104。[0055]在步骤S101中，工业应用向工业数据湖系统的读取模块发出数据请求。该数据请求为请求工业数据湖系统为其提供分析数据。[0056]在步骤S102中，读取模块根据接收到的数据请求，确定所要发送的分析数据类型。具体地，读取模块在接收到数据请求后，首先确定该请求来自于工业应用，之后从系统内存储的分析数据订阅信息内确定工业应用所订阅的分析数据类型是罐量计算类型和装置告警类型。
[0057]在步骤S103中，准备所要发送的分析数据。读取模块调取存储于图2中示出的罐量计算数据库和装置告警模型数据库内的所有分析数据，即罐量计算数据库存储的所有罐量计算数据以及装置告警模型数据库存储的所有装置告警模型。[0058]在步骤S104中，将分析数据发送至工业应用。具体地，依次将罐量计算数据库和装置告警模型数据库内的所有分析数据，或依次将装置告警模型数据库和罐量计算数据库内的所有分析数据，通过读取模块所配置的唯一一条输出通道发送至工业应用。[0059]至此，读取模块完成其对工业应用所发出的数据请求的响应。
[0060]图4示出了工业数据湖系统输出数据的第二种方法的流程示意图。取数服务模块从数据库提取并输出工业应用订阅的分析数据的第二种方法主要包括步骤S201至步骤
6
CN 110704445 A
说 明 书
5/6页
S204。
在步骤S201中，工业应用向取数服务模块的订阅模块发出数据订阅请求。所述订
阅请求包括该工业应用向工业数据湖系统订阅数据类型为罐量计算类型和装置告警类型的分析数据的订阅请求。[0062]在步骤S202中，订阅模块根据订阅请求，确定工业应用所要订阅的分析数据类型。具体地，订阅模块接收到订阅数据请求，从而确定工业应用订阅的分析数据的类型为罐量计算类型和装置告警类型，并将确定的结果存储在取数服务模块的共享空间内，该共享空间允许订阅模块和读取模块共同访问，以便读取模块响应接收的数据请求而发送与该确定结果匹配的分析数据。[0063]之后，针对来自该工业应用的每个数据请求，执行步骤S203和步骤S204。[0064]在步骤S203中，取数服务模块的读取模块接收来自工业应用的数据请求。该数据请求为请求工业数据湖系统为其提供分析数据。[0065]在步骤S204中，读取模块响应接收到数据请求，根据其事先申请订阅的数据类型(即上述确定结果)向该工业应用提供与其订阅的数据类型相关联的分析数据。[0066]针对每个完成数据订阅步骤(步骤S201和步骤S202)的工业应用，读取模块每次接收到其所发出的数据请求时，将只执行步骤S203和S204，自动调取该工业应用事先发订阅的数据类型，以完成对该工业应用所发出的数据请求的响应。[0067]利用上述方法，工业应用只需针对目标类型的分析数据向工业数据湖系统订阅一次，工业数据湖系统即可响应工业应用的多次数据请求而向工业应用发送订阅的类型的所有分析数据。在本实施例中，工业应用期望的数据类型只需包含在订阅请求中即可，而无需包含在后续发送的多次数据请求中，从而大大减少了每次编写数据请求时的工作量，并且提高了数据输出步骤的工作效率。[0068]值得注意的是，针对每个工业应用，读取模块在订阅模块确定该工业应用所订阅的分析数据类型后，且在收到该工业应用的数据请求之前，不会向该工业应用发送其所订阅的分析数据。[0069]综上所述，本发明的有益效果可归纳如下：
[0070]1.本发明的工业数据湖系统将采集到的多种工业数据分析成为工业应用可直接使用的分析数据，并根据分析数据的类型将其分类存储于数据湖中。当接收到工业应用的数据请求时，将数据库中存储的该工业应用请求类型的所有分析数据发送给该工业应用。本发明提供的工业数据湖系统在存储数据之前就对数据进行了分析，并将分析数据按类型存储在其中的各个数据库中，从而避免了在接收到工业应用的数据请求后临时对数据进行分析的问题，达到了简化数据存储与输出工序的技术效果。[0071]2.本发明的工业数据湖系统的存储模块、订阅模块和读取模块都封装成API接口，实现了通过直接调用即可对工业数据进行分析、存储、订阅和输出的功能。[0072]3.本发明的工业数据湖系统还具有订阅功能，工业应用只需针对目标类型的分析数据向工业数据湖系统订阅一次，工业数据湖系统即可响应工业应用的多次数据请求而向工业应用发送订阅的类型的所有分析数据。这样，工业应用期望的数据类型只需包含在订阅请求中即可，而无需包含在后续发送的多次数据请求中，从而大大减少了每次编写数据请求时的工作量，并且提高了数据输出步骤的工作效率。
7
[0061]
CN 110704445 A[0073]
说 明 书
6/6页
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采
用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。
8
CN 110704445 A
说 明 书 附 图
1/3页
图1
图2
9
CN 110704445 A
说 明 书 附 图
2/3页
图3
10
CN 110704445 A
说 明 书 附 图
3/3页
图4
11
因篇幅问题不能全部显示，请点此查看更多更全内容