Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速,Spark是一种与Hadoop相似的开源集群计算环境,Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；
但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
相对于Hadoop,它主要有以下优势:
但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
相对于Hadoop,它主要有以下优势:
- 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
- 提供了高的性能和大数据处理能力，使得用户可以快速得到反馈体验更好。
- 提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。
- 出色的支持Interactive Query、流计算、图计算等。
- 在机器学习方面有着无与伦比的优势，特别适合需要多次迭代计算的算法。
- 拥有非常出色的容错和调度机制，确保系统的稳定运行。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/15498/viewspace-2123630/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
MongoDB分片集群chunk的概念
请登录后发表评论
登录
全部评论
最新文章
- Doris创建表报错Failed to find enough host with storage medium问题解决
- linux登录locale告警-bash: warning: setlocale: LC_TIME: cannot change的处理方法
- 在centos三台机器上部署oceanbase集群步骤
- MongoDB 4.0查看,更新和回收角色权限步骤
- MongoDB4.0创建自定义权限(只有查询，插入和更新的权限)的角色步骤
- TiDB DM同步报错ErrCode 44006处理一例
- SQL审核平台 Archery v1.8.0 LDAP功能配置步骤
- MySQL开源工具汇总图
- Doris 0.15 binlog load for centos 7测试详细步骤
- doris编译和安装部署详细步骤
