map (func)

返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成

filter (func)

返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成

flatMap (func)

类似于map，但是每一个输入元素可以被映射为0或多个输出元素（所以func应该返回一个序列，而不是单一元素）

mapPartitions (func)

类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T] => Iterator[U]

mapPartitionsWithIndex (func)

类似于mapPartitions，但func带有一个整数参数表示分片的索引值，因此在类型为T的RDD上运行时，func的函数类型必须是(Int, Iterator[T]) => Iterator[U]

sample (withReplacement, fraction, seed)

根据fraction指定的比例对数据进行采样，可以选择是否使用随机数进行替换，seed用于指定随机数生成器种子

union (otherDataset)

对源RDD和参数RDD求并集后返回一个新的RDD

intersection (otherDataset)

对源RDD和参数RDD求交集后返回一个新的RDD

distinct ([numTasks]))

对源RDD进行去重后返回一个新的RDD

groupByKey ([numTasks])

在一个(K,V)的RDD上调用，返回一个(K, Iterator[V])的RDD

reduceByKey (func, [numTasks])

在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的reduce函数，将相同key的值聚合到一起，与groupByKey类似，reduce任务的个数可以通过第二个可选的参数来设置

aggregateByKey (zeroValue)(seqOp, combOp, [numTasks])

相同的Key值进行聚合操作，在聚合过程中同样使用了一个中立的初始值zeroValue:中立值,定义返回value的类型，并参与运算seqOp:用来在同一个partition中合并值combOp:用来在不同partiton中合并值

sortByKey ([ascending], [numTasks])

在一个(K,V)的RDD上调用，K必须实现Ordered接口，返回一个按照key进行排序的(K,V)的RDD

sortBy (func,[ascending], [numTasks])

与sortByKey类似，但是更灵活

join (otherDataset, [numTasks])

在类型为(K,V)和(K,W)的RDD上调用，返回一个相同key对应的所有元素对在一起的(K,(V,W))的RDD

cogroup (otherDataset, [numTasks])

在类型为(K,V)和(K,W)的RDD上调用，返回一个(K,(Iterable,Iterable))类型的RDD

cartesian (otherDataset)

笛卡尔积

pipe (command, [envVars])

将一些shell命令用于Spark中生成新的RDD

coalesce (numPartitions )

重新分区

repartition (numPartitions)

重新分区

repartitionAndSortWithinPartitions (partitioner)

重新分区和排序

reduce ( func )

通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的

collect ()

在驱动程序中，以数组的形式返回数据集的所有元素

count ()

返回RDD的元素个数

first ()

返回RDD的第一个元素（类似于take(1)）

take ( n )

返回一个由数据集的前n个元素组成的数组

takeSample ( withReplacement , num , [ seed ])

返回一个数组，该数组由从数据集中随机采样的num个元素组成，可以选择是否用随机数替换不足的部分，seed用于指定随机数生成器种子

takeOrdered ( n , [ordering] )

takeOrdered和top类似，只不过以和top相反的顺序返回元素

saveAsTextFile ( path )

将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本

saveAsSequenceFile ( path )

将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下，可以使HDFS或者其他Hadoop支持的文件系统。

saveAsObjectFile ( path )

countByKey ()

针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数。

foreach ( func )

在数据集的每一个元素上，运行函数func进行更新。