这样每隔一个batch时间间隔，都会将在这个时间间隔内接收的数据形成一个RDD，这样就会产生一个RDD序列，每个RDD代表数据流中一个时间间隔内的数据。正是这个RDD序列，形成SparkStreaming应用的输入DStream。

从宏观来说，Spark Streaming 使用“微批次”的架构，把流式计算当作一系列连续的小规模批处理来对待。Spark Streaming 从各种输入源中读取数据，并把数据分组为小的batch。新的batch按均匀的时间间隔创建出来。在每个时间区间开始的时候，一个新的batch就创建出来，在该区间内收到的数据都会被添加到这个batch中。在时间区间结束时，batch停止增长。时间区间的大小是由batch间隔这个参数决定的。batch间隔一般设在500 毫秒到几秒之间，由应用开发者配置。每个输入batch都形成一个RDD，以Spark 作业的方式处理并生成其他的RDD。处理的结果可以以批处理的方式传给外部系统。

StreamingContext初始化后，包括Receiver启动后，再到生成输入DStream，就完成了SparkStreaming应用程序的准备工作。

DStream的转化操作

在创建好输入DStream后，对其调用了filter()算子，filter()算子是转化操作，会将操作应用到DStream的每一个RDD。

需要记住的是，尽管这些函数看起来像作用在整个流上一样，但事实上每个DStream 在内部是由许多RDD（批次）组成，且这些转化操作是分别应用到每个RDD 上的。例如，filter()会对DStream内的每个时间区间的数据（RDD）进行过滤，reduceByKey() 会归约每个RDD中的数据，但不会归约不同区间之间的数据。

对于本文的示例，对输入DStream作filter操作后生成新的DStream的过程如下：

Spark Streaming允许DStream的数据输出到外部系统，如数据库或文件系统，输出的数据可以被外部系统所使用，该操作类似于RDD的输出操作。

在Spark核心中，作业是由一系列具有依赖关系的RDD及作用于这些RDD上的算子函数所组成的操作链。在遇到行动操作时触发运行，向DAGScheduler提交并运行作业。Spark Streaming中作业的生成与Spark核心类似，对DStream进行的各种操作让它们之间构建起依赖关系。

当遇到DStream使用输出操作时，这些依赖关系以及它们之间的操作会被记录到名为DStreamGraph的对象中表示一个job。这些job注册到DStreamGraph并不会立即运行，而是等到Spark Streaming启动后，到达批处理时间时，才根据DSteamGraph生成job处理该批处理时间内接收的数据。在Spark Streaming如果应用程序中存在多个输出操作，那么在批处理中会产生多个job。

与RDD中的惰性求值类似，如果一个DStream及其派生出的DStream都没有被执行输出操作，那么这些DStream就都不会被求值。如果StreamingContext中没有设定输出操作，整个context就都不会启动。

常用的一种调试性输出操作是print()，它会在每个批次中抓取DStream的前十个元素打印出来。

总体来说，Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark Core，也就是Spark Streaming将输入数据按照batch interval（如5秒）分成一段一段的数据（Discretized Stream），每一段数据都转换成Spark中的RDD（Resilient Distributed Dataset），然后将Spark Streaming中对DStream的Transformation操作变为针对DSteam内各个RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。整个流式计算根据业务的需求可以对中间的结果进行叠加或者存储到外部设备

假设batchInterval = 5s， SparkStreaming启动之后，0-5s内一直接受数据，假设SparkStreaming处理这一个批次数据的时间是3s，那么5-8s内一边接收新数据（开始第二批次），同时会触发DStream的job执行，这时会启动另一个线程处理第一批次的数据；8-10s内只是接收数据（还是第二批次）；10-13s内一边接收新数据（开始第三批次），一边处理第二批次的数据，然后13-15s只是接收数据（还是第三批次），如此往复进行数据的接收与处理。

SparkStreaming进行流数据处理大致可以分为：启动流处理引擎、接收及存储流数据、处理流数据和输出处理结果等4个步骤，其运行架构如下

（1） 初始化StreamingContext对象，在该对象启动过程中实例化DStreamGraph和JobScheduler，其中DStreamGraph用于存放DStream以及DStream之间的依赖关系等信息，而JobScheduler中包括ReceiverTracker和JobGenerator。其中ReceiverTracker为Driver端流数据接收器（Receiver）的管理者，JobGenerator为批处理作业生成器。在ReceiverTracker启动过程中，根据流数据接收器分发策略通知对应的Executor中的流数据接收管理器（ReceiverSupervisor）启动，再由ReceiverSupervisor启动流数据接收器Receiver。

（2） 当流数据接收器Receiver启动后，持续不断地接收实时流数据，根据传过来数据的大小进行判断，如果数据量很小，则攒多条数据成一块，然后再进行块存储；如果数据量大，则直接进行块存储。对于这些数据Receiver直接交给ReceiverSupervisor，由其进行数据转储操作。块存储根据是否设置预写日志分为两种，一种是使用非预写日志BlockManagerBasedBlockHandler方法直接写到Worker的内存或磁盘中，另一种是进行预写日志WriteAheadLogBasedBlockHandler方法，即在预写日志同时把数据写入到Worker的内存或磁盘中。数据存储完毕后，ReceiverSupervisor会把数据存储的元信息上报给ReceiverTracker，ReceiverTracker再把这些信息转发给ReceiverBlockTracker，由它负责管理收到的数据块的元信息。

（4） 在Spark核心的作业队数据进行处理，处理完毕后输出到外部系统，如数据库或文件系统，输出的数据可以被外部系统所使用。 由于实时流数据的数据源源不断地流入，Spark会周而复始地进行数据处理，相应地也会持续不断地输出结果。

————————————————

推荐阅读：