(1.4)--2.大数据处理架构Hadoop2_Hadoop生态系统.pdf

大数据技术原理与应用大数据技术原理与应用第第2 2讲讲 大数据处理架构大数据处理架构HadoopHadoop（2 2）学习目标学习目标 了解了解Hadoop由来、用途、特性由来、用途、特性 了解了解Hadoop的生态系统的生态系统 掌握掌握Hadoop的核心组成的核心组成 掌握掌握Linux系统安装方法系统安装方法 掌握掌握Linux系统配置内容和方法系统配置内容和方法 掌握掌握Hadoop集群搭建内容和方法集群搭建内容和方法 掌握掌握Hadoop集群测试方法集群测试方法教学内容教学内容 2.1 Hadoop概述概述 2.2 Hadoop生态系统生态系统 2.3 Linux系统安装系统安装 2.4 Linux系统配置系统配置 2.5Hadoop集群搭建集群搭建 2.6Hadoop集群测试集群测试 Apache Hadoop版本分为两代，我们将第一代版本分为两代，我们将第一代Hadoop称为称为Hadoop 1.0，第二代第二代Hadoop称为称为Hadoop 2.0。第一代第一代Hadoop包含三个大版本，分别是包含三个大版本，分别是0.20.x，0.21.x和和0.22.x，其中，其中，0.20.x最后演化成最后演化成1.0.x，变成了稳定版，而，变成了稳定版，而0.21.x和和0.22.x则增加了则增加了NameNode HA等新的重大特性。等新的重大特性。第二代第二代Hadoop包含两个版本，分别是包含两个版本，分别是0.23.x和和2.x，它们完全不同于，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含，是一套全新的架构，均包含HDFS Federation和和YARN两个系两个系统，相比于统，相比于0.23.x，2.x增加了增加了NameNode HA和和Wire-compatibility两个重大两个重大特性。特性。2.2.1 Apache Hadoop版本演变版本演变2.2.1 Apache Hadoop版本演变版本演变 Hadoop的项目结构不断丰富发展，已经形成一个丰富的的项目结构不断丰富发展，已经形成一个丰富的Hadoop生态系统。生态系统。2.2.2 Hadoop生态系统组成生态系统组成2.2.2 Hadoop生态系统组成生态系统组成组件组件功能功能HDFS分布式文件系统MapReduce分布式并行编程模型YARN资源管理和调度器Tez运行在YARN之上的下一代Hadoop查询处理框架HiveHadoop上的数据仓库HBaseHadoop上的非关系型的分布式数据库Pig一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig LatinSqoop用于在Hadoop与传统数据库之间进行数据传递OozieHadoop上的工作流管理系统Zookeeper提供分布式协调一致性服务Storm流计算框架Flume一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统AmbariHadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控Kafka一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据Spark类似于Hadoop MapReduce的通用并行框架 Hadoop核心构成核心构成分布式文件系统HDFS资源管理系统YARN分布式计算框架MapReduce2.2.2 Hadoop生态系统组成生态系统组成HDFSYARNMapReduce 选择选择Hadoop生态系统进行大数据处理生态系统进行大数据处理源码开放社区活跃生态系统囊括了分布式存储和计算等的方方面面已得到企业界的验证2.2.2Hadoop生态系统组成生态系统组成9/10总结总结Hadoop项目已经变得非常成熟和完善，包括项目已经变得非常成熟和完善，包括Common、Avro、Zookeeper、HDFS、MapReduce、HBase、Hive、Chukwa、Pig等子项目，其中，等子项目，其中，HDFS、MapReduce和和YARN是是Hadoop的三大核心组件。的三大核心组件。Hadoop生态系统有哪些核心组成？生态系统有哪些核心组成？问题思考谢谢观看！