首页 > 大数据 > > Hadoop 进入寒冬期,崛起的会是 Spark 吗?
笔者曾经看过一个非常有趣的比喻,Hadoop是第一家大型包工队,可以组织一大堆人合作(HDFS)搬砖盖房(用MapReduce),但是速度比较慢。
Hadoop开始升级,指定调度专家YARN调度工人。Spark从多个仓库搬砖(HDFS,Cassandra,S3,HBase),还允许不同专家如YARN、MESOS对人员和任务进行调度。
所以,最后,哪一家会胜出呢?
Hadoop是什么?
它可以通过Apache发行版开源,也可以通过Cloudera(规模和范围最大的Hadoop供应商),MapR或HortonWorks等厂商提供。 Spark是一个较新的项目,最初于2012年诞生在加州大学伯克利分校的AMPLab。它也是一个顶级Apache项目,专注于在集群中并行处理数据,最大的区别在于它在内存中运行。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31542328/viewspace-3151444/ ,如需转载,请注明出处,否则将追究法律责任。