ITPub博客

首页 > Linux操作系统 > Linux操作系统 > Hadoop进入2.0时代

Hadoop进入2.0时代

原创 Linux操作系统 作者:jieforest 时间:2012-05-30 09:47:37 0 删除 编辑
[i=s] 本帖最后由 jieforest 于 2012-5-29 20:15 编辑

Apache Hadoop社区近日发布了最新的Apache Hadoop 2.0 Alpha版本,这标志着Apache Hadoop进入了一个新的分支。

Hadoop是Apache的顶级开源项目,由前雅虎开发者Doug Cutting(也是Nutch和Lucene的创始人)开发的分布式计算平台,是一个能够对大量数据进行分布式处理的框架。用户可以在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的威力进行高速运算和存储。

该版本提供了一些新的、重要的功能,包括:

1)HDFS HA,当前只能实现人工切换。

http://www.cloudera.com/blog/2009/07/hadoop-ha-configuration/


2)YARN,下一代MapReduce这是一套资源统一管理和调度平台,可管理各种计算框架,包括MapReduce、Spark、MPI等。

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html


3)HDFS Federation,允许HDFS中存在多个NameNode,且每个NameNode分管一部分目录,而DataNode不变,进而缩小了故障带来的影响范围,并起到一定的隔离作用。

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/Federation.html


4)基准性能测试

5)通过protobufs来提供HDFS和YARN的兼容性

除了以上这些功能外,还有一些来自社区的改进,包括HDFS快照和HA NameNode自动切换等。

需要注意的是,该版本还处于Alpha阶段,部分功能还在部署中,不可用于实际生产。

文档:http://hadoop.apache.org/common/docs/r2.0.0-alpha/

下载地址:http://hadoop.apache.org/common/releases.html



来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/301743/viewspace-731439/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2008-04-23

  • 博文量
    441
  • 访问量
    602359