专利名称：一种基于大数据分布式编程框架的大数据预统系统
及方法
专利类型：发明专利
发明人：程涛木,刘军徽,叶春生,车新奕,雷果,王敏申请号：CN201610838908.9申请日：20160921公开号：CN106383886A公开日：20170208
摘要：本发明属于数据处理领域，尤其涉及一种基于大数据分布式编程框架的大数据预统系统及方法，旨在解决现有的大数据预统系统处理效率低的问题。本发明对Spark Streaming进行组件功能开发扩充，使得SQL语句解析后可以在Spark Streaming中运行，并结合了Spark Streaming的对数据的批处理和数据流处理优势，最终采用了Spark Streaming技术和SQL语句相结合的方式对大数据进行预统处理，使得整个系统对大数据的处理达到非常高的效率。
申请人：深圳市博瑞得科技有限公司
地址：518057 广东省深圳市南山区高新南七道数字技术园B1栋3楼A区1号
国籍：CN
代理机构：深圳市恒申知识产权事务所(普通合伙)
代理人：王利彬
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容