关注并标星 3分钟秒懂大数据

每天1次，打卡阅读

更快更全面获取大数据技术博客

1、Spark 简介

Spark是加州大学伯克利分校通用分布式内存计算引擎

Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以下特点：

1.运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100倍。

2.易用性好：Spark不仅支持Scala编写应用程序，而且支持Java和Python等语言进行编写，特别是Scala是一种高效、可拓展的语言，能够用简洁的代码处理较为复杂的处理工作。

3.通用性强：Spark生态圈即BDAS（伯克利数据分析栈）包含了Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX等组件，这些组件分别处理Spark Core提供内存计算框架、SparkStreaming的实时处理应用、Spark SQL的即席查询、MLlib或MLbase的机器学习和GraphX的图处理。

4.随处运行：Spark具有很强的适应性，能够读取HDFS、Cassandra、HBase、S3和Techyon为持久层读写原生数据，能够以Mesos、YARN和自身携带的Standalone作为资源管理器调度job，来完成Spark应用程序的计算。

Spark 模块划分：

核心模块上衍生了SQL、MLlib、Streaming、GraphX

Spark基础模块：Spark-Core；

Spark处理结构化数据的模块：Spark-SQL；

Spark流处理模块：Spark-Streaming；

Spark机器学习模块：Spark-MLIib；

Spark图计算模块：Spark-GraphX；

Spark-Core正如其名，是整个Spark中最核心的模块，它提供了基于RDD（后文介绍）的通用计算框架，使得整个spark能够在一套框架内进行计算，其Spark-Core上层的Spark-SQL，Spark-Streaming，Spark-MLIib，Spark-GraphX所涉及的计算均基于Spark-Core。