好程序员分享 大数据入门 教程 ：Hadoop 和 spark 的性能比较 ， 大数据课程，一门看似很专业实际很复杂的学科，备受追捧。因为大数据的就业前景真的很诱惑人，单单是就业薪资就能让人趋之若鹜。今天大数据讲师给大家分享的技术知识是大数据入门课程之Hadoop 和 spark 的性能比较。
曾经看过一个非常有趣的比喻，Hadoop 是一家大型包工队，可以组织一大堆人合作 (HDFS) 搬砖盖房 ( 用 MapReduce) ，但是速度比较慢。
Spark 是另一家包工队，虽然成立得晚一些，但是他们搬砖很快很灵活，可以实时交互地盖房子，比 Hadoop 快得多。
Hadoop 开始升级，指定调度专家 YARN 调度工人。 Spark 从多个仓库搬砖 (HDFS ， Cassandra,S3 ， HBase) ，还允许不同专家如 YARN/ MESOS 对人员和任务进行调度。
当然，他们两家并不是水火不容。Spark 经常和 Hadoop 团队合作，这让问题变得更加复杂。不管怎么说， Spark 和 Hadoop 都是两个独立的包工队，都有着各自的优缺点和特定的业务用例。
Hadoop 和 spark 的性能比较
Spark 在内存中运行速度比 Hadoop 快 100 倍，在磁盘上运行速度快 10 倍。众所周知， Spark 在数量只有十分之一的机器上，对 100TB 数据进行排序的速度比 Hadoop MapReduce 快 3 倍。此外， Spark 在机器学习应用中的速度同样更快，例如 Naive Bayes 和 k-means 。
由处理速度衡量的Spark 性能之所以比 Hadoop 更优，原因如下：
1 、每次运行 MapReduce 任务时， Spark 都不会受到输入输出的限制。事实证明，应用程序的速度要快得多。
2 、 Spark 的 DAG 可以在各个步骤之间进行优化。 Hadoop 在 MapReduce 步骤之间没有任何周期性连接，这意味着在该级别不会发生性能调整。
但是，如果Spark 与其他共享服务在 YARN 上运行，则性能可能会降低并导致 RAM 开销内存泄漏。出于这个原因，如果用户有批处理的诉求， Hadoop 被认为是更高效的系统。
文章写到这也该结束了，如果你对这篇文章感到意犹未尽，对大数据感兴趣，欢迎大家一起交流学习。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69913864/viewspace-2698804/ ，如需转载，请注明出处，否则将追究法律责任。
