ITPub博客

首页 > 大数据 > 数据分析 > Hadoop 大事记 - 73

Hadoop 大事记 - 73

原创 数据分析 作者:leniz 时间:2016-12-19 08:07:54 0 删除 编辑
周六早早的到了站,于是在候车室看完了MapReduce部分的讲解。相比之前的HDFS部分,换了一个讲课的,风格变化比较大,而且没有HDFS讲的透彻,
一部分原因可能是MapReduce比较复杂。 所以通过其他途径去进一步了解MapReduce是必须的。

另外也看看Hadoop的各种花边新闻,看到这个出现才短短几年的产品,你不得不惊叹技术演变之快,所以追技术的显然活得不轻松。
来看看Hadoop的时间轴吧,感受一下科技的进步。

Hadoop 大事记
2004年             Doug Cutting 和 Mike Caferella实现了HDFS和MapReduce的初版
2005年12月       Nutch移植到新框架,Hadoop在20个节点上稳定运行
2006年1月        Doug Cutting加入雅虎
2006年2月        Apache Hadoop项目正式启动,支持MapReduce和HDFS独立发展
2006年2月        雅虎的网格计算团队采用Hadoop
2006年4月        在188个节点上(每个节点10GB)运行排序测试集需要47.9个小时
2006年5月        雅虎建立了300个节点的Hadoop研究集群
2006年5月        在500个节点上运行排序测试集需要42个小时(硬件比4月份的更好)
2006年11月      研究集群增加到600个节点
2006年12月      排序测试集在20个节点运行了1.8个小时,100个节点运行了3.3个小时,500个节点上运行了5.2个小时,900个节点上运行7.8个小时
2007年1月        研究集群增加到900个节点
2007年4月        研究集群增加到两个集群1000个节点
2008年4月        在900个节点上运行1TB排序测试集仅需209秒,成为全球最快
2008年10月     研究集群每天加载10TB的数据
2009年3月        17个集群共24000个节点
2009年4月       在每分钟排序中胜出,59秒排序500GB(在1400个节点上)和173分钟内排序100TB数据(在3400个节点上)

附图:

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/554557/viewspace-2130904/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 好风凭借力 - 74
请登录后发表评论 登录
全部评论

注册时间:2008-05-31

  • 博文量
    448
  • 访问量
    1088996