好程序员解密Spark是否可以替代hadoop，首先这个问题，需要明确的是Hadoop是生态圈而Spark是计算框架是两者是不同的，我们所使用Hadoop基本是创建一个完成的分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件，而在Hadoop生态圈下，可以提供一些，对数据进行计算操作的方式包括MapReduce或Hive，其实Spark要是体态Hadoop应该是替其内部计算引擎。
主要就是MapReduce，因为MapReduce本身是存在甚多缺点的，最大缺陷之一是Map + Reduce的模型。这个模型并不适合描述复杂的数据处理过程。
而且MapReduce对数据处理时需要多次将计算的数据结果存储到磁盘上，就会造成大量IO读写，发生计算性能下降。而Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD: Resilient Distributed Dataset)中。
这些数据对象既可以放在内存，也可以放在磁盘，所以RDD同样也可以提供完成的灾难恢复功能。
所以所Spark完全替代hadoop是不可能的
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69913892/viewspace-2658228/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
好程序员大数据学习路线分享大数据之字符串
下一篇：
好程序员大数据学习路线分享大数据之线程
请登录后发表评论
登录
全部评论
