ITPub博客

首页 > 大数据 > > Hadoop 进入寒冬期,崛起的会是 Spark 吗?

Hadoop 进入寒冬期,崛起的会是 Spark 吗?

作者:phyllis666 时间:2019-01-21 14:04:36 0 删除 编辑

笔者曾经看过一个非常有趣的比喻,Hadoop是第一家大型包工队,可以组织一大堆人合作(HDFS)搬砖盖房(用MapReduce),但是速度比较慢。


Hadoop开始升级,指定调度专家YARN调度工人。Spark从多个仓库搬砖(HDFS,Cassandra,S3,HBase),还允许不同专家如YARN、MESOS对人员和任务进行调度。


所以,最后,哪一家会胜出呢?

Hadoop是什么?

它可以通过Apache发行版开源,也可以通过Cloudera(规模和范围最大的Hadoop供应商),MapR或HortonWorks等厂商提供。 Spark是一个较新的项目,最初于2012年诞生在加州大学伯克利分校的AMPLab。它也是一个顶级Apache项目,专注于在集群中并行处理数据,最大的区别在于它在内存中运行。



来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31542328/viewspace-3151444/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-06-14

  • 博文量
    9
  • 访问量
    72