Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。它支持多语言，提供了 Java、Scala、Python 和 R 中的高级 API，以及支持通用执行图的优化引擎。
用途：
数据分析：数据分析师主要负责分析数据并建模的人，具备 SQL 统计 预测建模等方面的技能，有一定使用Python和Matlab或者R编程的能力。
Spark通过一系列组件支持数据分析任务。Spark Shell提供Python和Scala接口来进行交互式数据分析。Spark SQL提供独立的SQL shell来使用SQL探索数据，也可以通过标准的Spark程序或者Spark shell进行SQL查询。MLlib程序库进行机器学习和数据分析。Spark还支持调用R或者Matlab外部程序。
数据处理：工程师是使用 Spark开发数据处理应用的软件开发者。他们具备软件工程概念，能使用工程技术设计软件系统。
Spark为开发用于集群并执行的程序提供了捷径。不需要开发者关注分布式问题，网络通信及程序容错性。为工程师提供足够的接口实现常见的任务及对应用监性能调优。
特点：
快速性： spark通过使用先进的DAG调度器、查询优化器和物理执行引擎，可以高性能地进行批量及流式处理。使用逻辑回归算法进行迭代计算，spark比hadoop速度快100多倍。
通用性： Spark 提供了大量的库，包括Sark Core、Spark SQL、Spark Steaming、MLlib、GraphX。开发者可以在同一个应用程序中无缝组合使用这些库。spark构建了一个完善的生态栈，将批量计算、交互式计算、流式计算、机器学习及图计算整合到一个统一的框架体系中。
易用性： Spark提供了80多个高级运算符。gendan5.com/zs/diniw.html
多种资源管理器支持： Spark支持Hadoop YARN、Apache Mesos以及自带的独立集群管理器。
多数据源支持： Spark支持访问HDFS、Alluxio、Cassandra、HBase、Hive以及数百个其他数据源中的数据。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/70014563/viewspace-2920700/ ，如需转载，请注明出处，否则将追究法律责任。
