hadoop生态圈中的框架不包括什么
发布网友
发布时间：2022-04-23 13:04
共1个回答
热心网友
时间：2022-04-14 05:39
Hadoop 生态圈中的框架包括以下主要组件,除了以下组件之外的都不属于Hadoop 生态圈。
1）HDFS：一个提供高可用的获取应用数据的分布式文件系统。
2）MapRece:一个并行处理大数据集的编程模型。
3）HBase:一个可扩展的分布式数据库，支持大表的结构化数据存储。是一个建立在 HDFS 之上的，面向列的 NoSQL 数据库，用于快速读/写大量数据。
4）Hive:一个建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具；可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许不熟悉 MapRece 的开发人员也能编写数据查询语句，然后这些语句被翻译为 Hadoop 上面的 MapRece 任务。
5）Mahout:可扩展的机器学习和数据挖掘库。它提供的 MapRece 包含很多实现方法，包括聚类算法、回归测试、统计建模。
6）Pig:一个支持并行计算的高级的数据流语言和执行框架。它是 MapRece 编程的复杂性的抽象。Pig 平台包括运行环境和用于分析 Hadoop 数据集的脚本语言（PigLatin）。其编译器将 PigLatin 翻译成 MapRece 程序序列。
7）Zookeeper:—个应用于分布式应用的高性能的协调服务。它是一个为分布式应用提供一致性服务的软件，提供的功能包括配置维护、域名服务、分布式同步、组服务等。
8）Amban:一个基于 Web 的工具，用来供应、管理和监测 Hadoop 集群，包括支持 HDFS、MapReceAHive、HCatalog、HBase、ZooKeeperAOozie、Pig 和 Sqoop 。Ambari 也提供了一个可视的仪表盘来查看集群的健康状态，并且能够使用户可视化地查看 MapRece、Pig 和 Hive 应用来诊断其性能特征。
9）Sqoop:一个连接工具，用于在关系数据库、数据仓库和 Hadoop 之间转移数据。Sqoop 利用数据库技术描述架构，进行数据的导入/导出；利用 MapRece 实现并行化运行和容错技术。
10）Flume:提供了分布式、可靠、高效的服务，用于收集、汇总大数据，并将单台计算机的大量数据转移到 HDFS。它基于一个简单而灵活的架构，并提供了数据流的流。它利用简单的可扩展的数据模型，将企业中多台计算机上的数据转移到 Hadoop。
