Hadoop大数据生态系统及常用组件简介-Hadoop-@大数据资讯
你好，游客
Hadoop大数据生态系统及常用组件简介
来源：CNode社区&
作者：cloudwise123
　　经过多年信息化建设，我们已经进入一个神奇的&&时代，无论是在通讯社交过程中使用的微信、QQ、电话、短信，还是吃喝玩乐时的用到的团购、电商、移动支付，都不断产生海量信息数据，数据和我们的工作生活密不可分、须臾难离。 什么是大数据 什么是大数据，多大算大，100G算大么?如果是用来存储1080P的高清电影，也就是几部影片的容量。但是如果100G都是文本数据，比如云智慧透视宝后端kafka里的数据，抽取一条mobileTopic的数据如下：【107，6937，局域网，局域网，unknown，0，0，09f26f4fd5c9d757b9ae1a27fe421c9，3】，这种数据100G能有多少条，我们可想而知。
　　数据之所以为大，不但是因为数据量的巨大，同时各种渠道产生的数据既有IT系统生成的标准数据，还有大量多媒体类的非标准数据，数据类型多种多样，而且大量无用数据充斥其间，给数据的真实性带来很大影响，此外很多数据必须实时处理才最有价值。 一般数据量大(多)或者业务复杂的时候，常规技术无法及时、高效处理如此大量的数据，这时候可以使用，它是由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，编写和运行分布式应用充分利用集群处理大规模数据。Hadoop可以构建在廉价的机器上，比如我们淘汰的PC Server或者租用的云主机都可以拿来用。 今天，云智慧的李林同学就为大家介绍一下Hadoop生态圈一些常用的组件。 Gartner的一项研究表明，2015年，65%的分析应用程序和先进分析工具都将基于Hadoop平台，作为主流技术，Hadoop具有以下特性： ?方便：Hadoop运行在由一般商用机器构成的大型集群上，或者云计算服务上 ?健壮：Hadoop致力于在一般商用硬件上运行，其架构假设硬件会频繁失效，Hadoop可以从容地处理大多数此类故障。 ?可扩展：Hadoop通过增加集群节点，可以线性地扩展以处理更大的数据集。 目前应用Hadoop最多的领域有：
　　搜索引擎，Doug Cutting设计Hadoop的初衷，就是为了针对大规模的网页快速建立索引。
　　大数据存储，利用Hadoop的分布式存储能力，例如数据备份、数据仓库等。
　　大数据处理，利用Hadoop的分布式处理能力，例如、等。 Hadoop生态系统与基础组件 Hadoop2.0的时候引入了HA(高可用)与YARN(资源调度)，这是与1.0的最大差别。Hadoop主要由3部分组成：Mapreduce编程模型，HDFS分布式文件存储，与YARN。
　　上图是Hadoop的生态系统，最下面一层是作为数据存储的HDFS，其他组件都是在HDFS的基础上组合或者使用的。HDFS具有高容错性、适合批处理、适合大数据处理、可构建在廉价机器上等优点，缺点是低延迟数据访问、小文件存取、并发写入、文件随机修改。 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有几个关键词：软件框架、并行处理、可靠且容错、大规模集群、海量数据集就是MapReduce的特色。
　　MapReduce经典代码(wordCount) 上面这段代码就是接收一堆文本数据，统计这些文本数据中每个单词出现的次数。MapReduce也是一个计算模型，当数据量很大时，比如10个G，它可以把这10G的数据分成10块，分发到10个节点去执行，然后再汇总，这就是并行计算，计算速度比你一台机器计算要快的多。 HBase Hadoop的主要组件介绍完毕，现在看下HBase，它是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建大规模结构化存储集群。HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似，HBase 利用Hadoop HDFS 作为其文件存储系统;Google 运行MapReduce 来处理Bigtable中的海量数据， HBase 同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable 利用Chubby作为协同服务， HBase 利用Zookeeper作为对应。 有人问HBase和HDFS是啥关系，HBase是利用HDFS的存储的，就像MySQL和磁盘， MySQL是应用，磁盘是具体存储介质。HDFS因为自身的特性，不适合随机查找，对更新操作不太友好，比如百度网盘就是拿HDFS构建的，它支持上传和删除，但不会让用户直接在网盘上修改某个文件的内容。 HBase的表有以下特点： 1 ) 大：一个表可以有上亿行，上百万列。 2 ) 面向列：面向列表(簇)的存储和权限控制，列(簇)独立检索。 3 ) 稀疏：对于为空(NULL)的列，并不占用存储空间，因此，表可以设计的非常稀疏。 HBase提供的访问方式有命令行shell方式，java API(最高效和常用的)，Thrift Gateway 支持C++，PHP，Python等多种语言。 HBase的使用场景： ?需对数据进行随机读操作或者随机写操作; ?大数据上高并发操作，比如每秒对PB级数据进行上千次操作; ?读写访问均是非常简单的操作，比如历史记录，历史订单查询，三大运营商的流量通话清单的查询。
　　HBase在淘宝的应用场景 Hive 之前我们说了MapReduce计算模型，但是只有懂Java的才能撸代码干这个事，不懂Java的想用Hadoop的计算模型是不是就没法搞了呢?比如HDFS里的海量数据，数据分析师想弄点数据出来，咋办?所以就要用到Hive，它提供了SQL式的访问方式供人使用。 Hive是由Facebook 开源， 最初用于解决海量结构化的日志数据统计问题的ETL(Extraction-Transformation-Loading) 工具，Hive是构建在Hadoop上的数据仓库平台，设计目标是可以用传统SQL操作Hadoop上的数据，让熟悉SQL编程的人员也能拥抱Hadoop(注意。是数据仓库。不是数据库啊。) ?使用HQL作为查询接口 ?使用HDFS作为底层存储 ?使用MapReduce作为执行层 所以说Hive就是基于Hadoop的一个数据仓库工具，是为简化MapReduce编程而生的，非常适合数据仓库的统计分析，通过解析SQL转化成MapReduce，组成一个DAG(有向无环图)来执行。 Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、 聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng，由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
　　Flume就是一个数据管道，支持很多源(source)，sink(目标)，和透视宝的suro很像，比如拉取nginx日志可以拿这个工具简单一配就可用。当然每台nginx服务器上都要配置并启动一个flume. 下面给大家看看配置文件(把kafka的数据写入hdfs的配置),配置很简单.完全免去了自己写一个kafka的consumer再调用hdfs的API写数据的工作量.
　　YARN YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源调度器ResourceManager和每个应用程序特有的应用程序管理器ApplicationMaster，该调度器是一个 &纯调度器&，不再参与任何与具体应用程序逻辑相关的工作，而仅根据各个应用程序的资源需求进行分配，资源分配的单位用一个资源抽象概念 &Container& 来表示，Container 封装了内存和 CPU。此外，调度器是一个可插拔的组件，用户可根据自己的需求设计新的调度器，YARN 自身提供了 Fair Scheduler 和 Capacity Scheduler。 应用程序管理器负责管理整个系统中所有应用程序，包括应用程序的提交、与调度器协商资源以启动 ApplicationMaster、监控 ApplicationMaster 运行状态并在失败时重新启动等。 Ambari Ambari是一个集群的安装和管理工具，云智慧之前用的是Apache的Hadoop，运维同学用源码包安装，一个个配置文件去改，再分发到各个节点，中间哪一步搞错了，整个集群就启动不起来。所以有几个厂商提供Hadoop的这种安装和管理平台，主要是CDH和HDP，国内的很多人都用CDH的，它是Cloudera公司的，如果用它的管理界面安装，集群节点超过一定数量就要收费了。 Ambari是Apache的顶级开源项目，可以免费使用，现在用的人也很多。Ambari使用Ganglia收集度量指标，用Nagios支持系统报警，当需要引起管理员的关注时(比如，节点停机或磁盘剩余空间不足等问题)，系统将向其发送邮件。 ZooKeeper 随着计算节点的增多，集群成员需要彼此同步并了解去哪里访问服务和如何配置，ZooKeeper正是为此而生的。ZooKeeper 顾名思义就是动物园管理员，它是用来管大象(Hadoop) 、蜜蜂(Hive) 和 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，以Fast Paxos算法为基础实现同步服务，配置维护和命名服务等分布式应用。 其他组件 以上介绍的都是Hadoop用来计算和查询的比较常用和主流的组件，上面那副生态图中的其他几个组件简单了解一下就好： Pig是一种编程语言，它简化了Hadoop常见的工作任务，Pig为大型数据集处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。 Mahout是Hadoop提供做机器学习用的，支持的算法也比较少，但是一些常用的 k-means 聚类、分类还是有的，他是用MapReduce做的，但是MapReduce不太擅长这个东西，所以Mahout的作者也转投spark ML阵营了。 Sqoop是数据库ETL工具，用于将关系型数据库的数据导入到 Hadoop 及其相关的系统中，如 Hive和HBase。Sqoop 的核心设计思想是利用 MapReduce 加快数据传输速度，也就是说 Sqoop 的导入和导出功能是通过 MapReduce 作业实现的，所以它是一种批处理方式进行数据传输，难以实现实时数据的导入和导出。比如云智慧监控宝以前的业务数据都存在MySQL，随着数据量越来越大，要把数据导到Hbase，就可以拿Sqoop直接操作。 本文所介绍的东西都是用于离线计算的，而之前发布的《面临大数据挑战 透视宝如何使用Druid实现数据聚合》则是关于实时计算的框架Druid的。大数据常用的流计算框架主要有Storm，Spark Streaming，Flink，Flink虽然是2014年加入Hadoop的，但至今在生产环境上用的人还不多，似乎大家都持观望态度。 说一下流计算(Druid，Spark Streaming)和批处理(MapReduce，Hive)有啥区别，比如电商网站的个性化广告投放，当我们访问了亚马逊搜索笔记本电脑之后，他就会给你推荐很多笔记本电脑链接，你的请求和兴趣爱好被亚马逊服务器实时接收，流计算分析之后当时就会推荐给你可能会购买的东西。如果这个东西拿批处理去做，服务端收集完了，过半个小时才算出你可能要买电脑，这时候再给你推荐电脑明显就不合适了，因为这时候你可能在搜索电炒锅&&
　　最后再说一下大数据的工作流，比如有两个MapReduce的任务是有依赖的，必须第一个完成了才能执行第二个，这就需要一个调度工具来调度。MapReduce也提供调度的API，但是代码要写很多，上面的代码截图只是一部分，这个依赖我写了大概150行。所以这时候出现了工作流，用工作流来管理我们的各个job，我目前知道的有oozie和azkaban，oozie的配置比较灵活，推荐大家使用。
相关新闻 & & &
& (昨 14:47)
& (昨 14:41)
& (昨 14:53)
& (昨 14:45)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款我先列举一些我知道的，其他的欢迎大家补充。pache Hadoop 项目有两个核心组件，被称为 Hadoop 分布式文件系统 (Hadoop Distributed File System, HDFS) 的文件存储，以及被称为 MapReduce 的编程框架。有一些支持项目充分利用了 HDFS 和 MapReduce。HDFS： 如果您希望有 4000 ...我先列举一些我知道的，其他的欢迎大家补充。pache Hadoop 项目有两个核心组件，被称为 Hadoop 分布式文件系统 (Hadoop Distributed File System, HDFS) 的文件存储，以及被称为 MapReduce 的编程框架。有一些支持项目充分利用了 HDFS 和 MapReduce。HDFS： 如果您希望有 4000 多台电脑处理您的数据，那么最好将您的数据分发给 4000 多台电脑。HDFS 可以帮助您做到这一点。HDFS 有几个可以移动的部件。Datanodes 存储数据，Namenode 跟踪存储的位置。还有其他部件，但这些已经足以使您开始了。MapReduce： 这是一个面向 Hadoop 的编程模型。有两个阶段，毫不意外，它们分别被称为 Map 和 Reduce。如果希望给您的朋友留下深刻的印象，那么告诉他们，Map 和 Reduce 阶段之间有一个随机排序。JobTracker 管理您的 MapReduce 作业的 4000 多个组件。TaskTracker 从 JobTracker 接受订单。如果您喜欢 Java，那么用 Java 编写代码。如果您喜欢 SQL 或 Java 以外的其他语言，您的运气仍然不错，您可以使用一个名为 Hadoop Streaming 的实用程序。Hadoop Streaming：一个实用程序，在任何语言（C、Perl 和 Python、C++、Bash 等）中支持 MapReduce 代码。示例包括一个 Python 映射程序和一个 AWK 缩减程序。Hive 和 Hue： 如果您喜欢 SQL，您会很高兴听到您可以编写 SQL，并使用 Hive 将其转换为一个 MapReduce 作业。不，您不会得到一个完整的 ANSI-SQL 环境，但您的确得到了 4000 个注释和多 PB 级的可扩展性。Hue 为您提供了一个基于浏览器的图形界面，可以完成您的 Hive 工作。Pig: 一个执行 MapReduce 编码的更高层次的编程环境。Pig 语言被称为 Pig Latin。您可能会发现其命名约定有点不合常规，但是您会得到令人难以置信的性价比和高可用性。Sqoop：在 Hadoop 和您最喜爱的关系数据库之间提供双向数据传输。Oozie：管理 Hadoop 工作流。这并不能取代您的调度程序或 BPM 工具，但它在您的 Hadoop 作业中提供 if-then-else 分支和控制。HBase：一个超级可扩展的键值存储。它的工作原理非常像持久的散列映射（对于 Python 爱好者，可以认为是词典）。尽管其名称是 HBase，但它并不是一个关系数据库。FlumeNG：一个实时的加载程序，用来将数据流式传输到 Hadoop 中。它将数据存储在 HDFS 和 HBase 中。您会希望从 FlumeNG 开始，因为它对原始的水槽有所改进。Whirr：面向 Hadoop 的云配置。您可以在短短几分钟内使用一个很短的配置文件启动一个集群。Mahout：面向 Hadoop 的机器学习。用于预测分析和其他高级分析。Fuse：让 HDFS 系统看起来就像一个普通的文件系统，所以您可以对 HDFS 数据使用 ls、rm、cd 和其他命令。Zookeeper：用于管理集群的同步性。回答邀答的回答&
系统工程师
, 大型零售巨头apache官网有很多不一定每个模块都用，有些模块功能一样赞同浏览243系统工程师, 大型零售巨头评论612&
— talk with trend,talk with technologist
京ICP备号-30转自：http://www.cnblogs.com/gridmix/p/5102694.html
Technorati 标记: ,,,,,
1. hadoop 生态概况
是一个由Apache基金会所开发的基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
具有可靠、高效、可伸缩的特点。
Hadoop的核心是YARN,HDFS和Mapreduce
下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与spark
都能部署在yarn、mesos的资源管理系统之上
下面将分别对以上各组件进行简要介绍，具体介绍参见后续系列博文。
2、（Hadoop分布式文件系统）
源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。
HDFS是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。
HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。
它提供了一次写入多次读取的机制，数据以块的形式，同时分布在集群不同物理机器上。
3、（分布式计算框架）
源自于google的MapReduce论文，发表于2004年12月，Hadoop MapReduce是google MapReduce 克隆版。
MapReduce是一种分布式计算模型，用以进行大数据量的计算。它屏蔽了分布式计算框架细节，将计算抽象成map和reduce两部分，
其中Map对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果。Reduce则对中间结果中相同&键&的所有&值&进行规约，以得到最终结果。
MapReduce非常适合在大量计算机组成的分布式并行环境里进行数据处理。
4. （分布式列存数据库）
源自Google的Bigtable论文，发表于2006年11月，HBase是Google Bigtable克隆版
HBase是一个建立在HDFS之上，面向列的针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。
HBase采用了BigTable的数据模型：增强的稀疏排序映射表（Key/Value），其中，键由行关键字、列关键字和时间戳构成。
HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。
5. （分布式协作服务）
源自Google的Chubby论文，发表于2006年11月，Zookeeper是Chubby克隆版
解决分布式环境下的数据管理问题：统一命名，状态同步，集群管理，配置同步等。
Hadoop的许多组件依赖于Zookeeper，它运行在计算机集群上面，用于管理Hadoop操作。
6. （数据仓库）
由facebook开源，最初用于解决海量结构化的日志数据统计问题。
Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。
HQL用于运行存储在Hadoop上的查询语句，Hive让不熟悉MapReduce开发人员也能编写数据查询语句，然后这些语句被翻译为Hadoop上面的MapReduce任务。
7.(ad-hoc脚本）
由yahoo!开源，设计动机是提供一种基于MapReduce的ad-hoc(计算在query时发生)数据分析工具
Pig定义了一种数据流语言&Pig Latin，它是MapReduce编程的复杂性的抽象,Pig平台包括运行环境和用于分析Hadoop数据集的脚本语言(Pig Latin)。
其编译器将Pig Latin翻译成MapReduce程序序列将脚本转换为MapReduce任务在Hadoop上执行。通常用于进行离线分析。
8.(数据ETL/同步工具）
Sqoop是SQL-to-Hadoop的缩写，主要用于传统数据库和Hadoop之前传输数据。数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。
Sqoop利用数据库技术描述数据架构，用于在关系数据库、数据仓库和Hadoop之间转移数据。
9.（日志收集工具）
Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。
它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。
同时，Flume数据流提供对日志数据进行简单处理的能力，如过滤、格式转换等。此外，Flume还具有能够将日志写往各种数据目标（可定制）的能力。
总的来说，Flume是一个可扩展、适合复杂环境的海量日志收集系统。当然也可以用于收集其他类型数据
10.（数据挖掘算法库）
Mahout起源于2008年，最初是Apache Lucent的子项目，它在极短的时间内取得了长足的发展，现在是Apache的顶级项目。
Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。
Mahout现在已经包含了聚类、分类、推荐引擎（协同过滤）和频繁集挖掘等广泛使用的数据挖掘方法。
除了算法，Mahout还包含数据的输入/输出工具、与其他存储系统（如数据库、MongoDB 或Cassandra）集成等数据挖掘支持架构。
11. (工作流调度器）
Oozie是一个可扩展的工作体系，集成于Hadoop的堆栈，用于协调多个MapReduce作业的执行。它能够管理一个复杂的系统，基于外部事件来执行，外部事件包括数据的定时和数据的出现。
Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行的顺序。
Oozie使用hPDL（一种XML流程定义语言）来描述这个图。
12. (分布式资源管理器）
YARN是下一代MapReduce，即MRv2，是在第一代MapReduce基础上演变而来的，主要是为了解决原始Hadoop扩展性较差，不支持多计算框架而提出的。
Yarn是下一代 Hadoop 计算平台，yarn是一个通用的运行时框架，用户可以编写自己的计算框架，在该运行环境中运行。
用于自己编写的框架作为客户端的一个lib，在运用提交作业时打包即可。该框架为提供了以下几个组件：
& - 资源管理：包括应用程序管理和机器资源管理
& - 资源双层调度
& - 容错性：各个组件均有考虑容错性
& - 扩展性：可扩展到上万个节点
13. （分布式资源管理器）
& Mesos诞生于UC Berkeley的一个研究项目，现已成为Apache项目，当前有一些公司使用Mesos管理集群资源，比如Twitter。
& 与yarn类似，Mesos是一个资源统一管理和调度的平台，同样支持比如MR、steaming等多种运算框架。
14. （分布式内存文件系统）
Tachyon（/'t&ki:??n/ 意为超光速粒子）是以内存为中心的分布式文件系统，拥有高性能和容错能力，
能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。
Tachyon诞生于UC Berkeley的AMPLab。
15. (DAG计算模型)
Tez是Apache最新开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，
即Map被拆分成Input、Processor、Sort、Merge和Output， Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等，
这样，这些分解后的元操作可以任意灵活组合，产生新的操作，这些操作经过一些控制程序组装后，可形成一个大的DAG作业。
目前hive支持mr、tez计算模型，tez能完美二进制mr程序，提升运算性能。
16. (内存DAG计算模型)
Spark是一个Apache项目，它被标榜为&快如闪电的集群计算&。它拥有一个繁荣的开源社区，并且是目前最活跃的Apache项目。
最早Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架。
Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比，Spark可以让你的程序在内存中运行时速度提升100倍，或者在磁盘上运行时速度提升10倍
17. (图计算模型)
Apache Giraph是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
最早出自雅虎。雅虎在开发Giraph时采用了Google工程师2010年发表的论文《Pregel：大规模图表处理系统》中的原理。后来，雅虎将Giraph捐赠给Apache软件基金会。
目前所有人都可以下载Giraph，它已经成为Apache软件基金会的开源项目，并得到Facebook的支持，获得多方面的改进。
18. (图计算模型）
Spark GraphX最先是伯克利AMPLAB的一个分布式图计算框架项目，目前整合在spark运行框架中，为其提供BSP大规模并行图计算能力。
19. （机器学习库）
Spark MLlib是一个机器学习库，它提供了各种各样的算法，这些算法用来在集群上针对分类、回归、聚类、协同过滤等。
20. （流计算模型）
Spark Streaming支持对流数据的实时处理，以微批的方式对实时数据进行计算
21. （分布式消息队列）
Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。
活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。
这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。
22. （hbase sql接口）
Apache Phoenix 是HBase的SQL驱动，Phoenix 使得Hbase 支持通过JDBC的方式进行访问，并将你的SQL查询转换成Hbase的扫描和相应的动作。
23. (安全管理工具）
Apache ranger是一个hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的hadoop生态圈的所有数据权限。
24. （hadoop安全网关）
Apache knox是一个访问hadoop集群的restapi网关，它为所有rest访问提供了一个简单的访问接口点，能完成3A认证（Authentication，Authorization，Auditing）和SSO（单点登录）等
25. （数据生命周期管理工具）
Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台，设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务&上载（onboard）&到Hadoop集群。
26.（安装部署配置管理工具）
Apache Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，是为了让 Hadoop 以及相关的大数据软件更容易使用的一个web工具。
参考文献：
Hadoop生态系统介绍&
大数据和Hadoop生态圈，Hadoop发行版和基于Hadoop的企业级应用
统一资源管理与调度平台（系统）介绍
Tachyon简介
Apache Tez：一个运行在YARN之上支持DAG作业的计算框架
Giraph：基于Hadoop的开源图形处理平台
Hadoop家族学习路线图
基于Spark的图计算框架 GraphX 入门介绍&
Apache Spark 入门简介
Ambari&&大数据平台的搭建利器
消息系统Kafka介绍
使用Apache Phoenix 实现 SQL 操作HBase
面向Hadoop的、新的数据处理和管理平台：Apache Falcon
阅读(...) 评论() &}