ITPub博客

首页 > 大数据 > Hadoop > hadoop的版本问题

hadoop的版本问题

Hadoop 作者:zws008 时间:2013-06-18 17:46:11 0 删除 编辑


现在hadoop的版本比较乱,常常搞不清楚版本之间的关系,下面简单的摘要了,apache hadoop和cloudera hadoop 的版本的演化.

 

apache hadoop官方给出的版本说明是:

1.0.X - current stable version, 1.0 release

1.1.X - current beta version, 1.1 release

2.X.X - current alpha version

0.23.X - simmilar to 2.X.X but missing NN HA.

0.22.X - does not include security

0.20.203.X - old legacy stable version

0.20.X - old legacy version

 

下图来自http://blog.cloudera.com/blog/2012/01/an-update-on-apache-hadoop-1-0/

可以简单说明apache hadoop和cloudera hadoop版本之间的变化关系

diagram-3 

0.20.x版本最后演化成了现在的1.0.x版本

0.23.x版本最后演化成了现在的2.x版本

hadoop 1.0 指的是1.x(0.20.x),0.21,0.22

hadoop 2.0 指的是2.x,0.23.x

CDH3,CDH4分别对应了hadoop1.0 hadoop2.0

 

董的博客有2篇文章也很清晰的解释了,hadoop版本以及各自的版本特性:

http://dongxicheng.org/mapreduce-nextgen/how-to-select-hadoop-versions/

http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-terms-explained/

apache-hadoop-versions

最后给出常见的下载hadoop不同版本的地址:

http://archive.apache.org/dist/hadoop/core/

http://archive.cloudera.com/cdh/3/

http://archive.cloudera.com/cdh4/cdh/4/

 

另外附注一个 hadoop各商业发行版的比较:

http://www.xiaohui.org/archives/795.html

hadoop有两个分支:0.20.x 和0.23.x。其中0.20.x是比较稳定的版本,0.23.x中新特性更多,但相对不稳定。

其中从0.20.x 分支发展出来的是:hadoop1.0,CDH3
从0.23.x 分支发展出来的是:hadoop-alpha,CDH4

下面具体说hadoop1.0、2.0 和CDH3、CDH4:

Apache Hadoop  2012年10月02日发布了 2.0 的第二个 Alpha 版本,版本号 2.0.2。该版本在 2000 个节点的集群上进行测试,目前开发团队的主要工作是处理无共享存储下的 HDFS HA ,还包括 YARN ResourceManager 以及调度方面的改进(YARN 是下一代的 MapReduce 实现)。

2011年12月27日顶级Apache开源项目Hadoop发布了1.0.0版。Hadoop是前雅虎开发者Doug Cutting开发的分布式计算平台,名字源于玩具象,至今已被数千家公司用于分析大容量数据。Hadoop 1.0.0主要是修正了bug,改进了性能和兼容性。它的上一个版本是0.20.205.0,新版的版本号原是 0.20.205.1,但开发者表示,Hadoop已经成熟几年前就做好了应用于生产的准备,但有些客户在采用前希望看到版本号是1.0,所以他们决定直接跳到了1.0。

cloudera CDH3基于hadoop稳定版0.20.2,并集成很多补丁(patch)

CDH4是基于Hadoop0.23的,但是它采用新的MapReduce,即MapReduce2.0,又叫Yarn。
CDH4的安装要求:64位的Red Hat Enterprise Linux5.7,CentOS5.7,Oracle Linux5.6,32位或64位的Red Hat Enterprise Linux6.2和CentOS6.2等

目前hadoop有2个开源版本,一个是Apache的版本,另一个是Cloudera在Apache的基础上进行优化的版本,也称为CDH3版。

两个版本的对比情况如下:

CDH3

版本

Apache

版本

描述

Hadoop Common

●

●

The common utilities that support the other Hadoop subprojects.

Hadoop Distributed File System (HDFS)

●

●

A distributed file system that provides high-throughput access to application data.

Hadoop MapReduce

●

●

A software framework for distributed processing of large data sets on compute clusters.

Flume

●

A distributed, reliable, and available service for efficiently moving large amounts of data as the data is produced.

Sqoop

●

A tool that imports data from relational databases into Hadoop clusters.

Hue

●

A graphical user interface to work with CDH.

Pig

●

●

A high-level data-flow language and execution framework for parallel computation.Enables you to analyze large amounts of data using Pig's query language called Pig Latin.

Hive

●

●

A data warehouse infrastructure that provides data summarization and ad hoc querying. A powerful data warehousing application built on top of Hadoop which enables you to access your data using Hive QL, a language that is similar to SQL.

HBase

●

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/24066286/viewspace-1120165/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-06-09