# 一.coalesce
##1.coalesce源码
![](http://img.blog.itpub.net/blog/2019/07/23/1e526dbd54909a66.png?x-oss-process=style/bb)
![](http://img.blog.itpub.net/blog/2019/07/23/cd7d691657598903.png?x-oss-process=style/bb)
##2.coalesce解释
```
是窄依赖
由多变少
shuffer默认是false，要注意
```
##3.coalesce应用场景
```
解决小文件，例如你如果开始有200个文件对应20分区，你极端情况下你过滤变长一个文件，你不能还用200个分区去装吧
用coalesce解决，主要就是把前面的压缩一下，但是过滤完后你要用coalesce必须实现做预估
```
![](http://img.blog.itpub.net/blog/2019/07/23/5a011de8e0ed32d2.png?x-oss-process=style/bb)
##4.上述的极端情况
```
你如果是xxx.oalesce(1),从源头就是1，不会像mr可以设置reduce的数量
```
##5.注意事项用coalesce 中RDD的不可变性
```
下图说述的分区的大小a.partitions.size  你之前没有用变量接收coalesce 的值，是不会变得值
```
![](http://img.blog.itpub.net/blog/2019/07/23/4e7b52ee06f17027.png?x-oss-process=style/bb)
##6.你传一个参数要小于默认分区才会生效
![](http://img.blog.itpub.net/blog/2019/07/23/0d3fdb4cc2ced2df.png?x-oss-process=style/bb)
##7.coalesce设置的参数大于默认的分区数不会生效，前提是一个参数
![](http://img.blog.itpub.net/blog/2019/07/23/5fdbd565288eb781.png?x-oss-process=style/bb)
##8.coalesce设置的参数大于默认的分区数生效
![](http://img.blog.itpub.net/blog/2019/07/23/e2677374f8c8ad52.png?x-oss-process=style/bb)
##9.此问题对应的源码：
```
note With shuffle = true, you can actually coalesce to a larger number
一般数不需要第二个参数的
```
# 二.repartition 
##1.源码：
![](http://img.blog.itpub.net/blog/2019/07/23/612c7837c737bb0e.png?x-oss-process=style/bb)
##2.底层调用的是coalesce，但是传两个参数，允许shuffer
##3.由少变多
##4.repartition与coalesce区别：
```
就是repartition底层调用coalesce两个参数
```
#三.map方法使用
##1.源码
![](http://img.blog.itpub.net/blog/2019/07/23/3034b26cb78d9ea9.png?x-oss-process=style/bb)
##2.解释
```
每个函数操作的对象是每个元素
```
##3.注意事项
```
千万不要用于操作数据库，否则一个元素要拿个connect,太耗费资源

```
#四.mapPartitions 
##1.源码
![](http://img.blog.itpub.net/blog/2019/07/23/8eddab26297af8c6.png?x-oss-process=style/bb)
##2.解释
```
每个函数作用在每个分区上，多用于操纵数据库，一个分区一个connect
```
#五.foreach 与 foreachPartition 
##1.源码
![](http://img.blog.itpub.net/blog/2019/07/23/888b3ac9aa7ef77d.png?x-oss-process=style/bb)
##2.解释
```
一个是打印每个元素，一个是按分区打印，都是action
```
##3.注意事项
```
foreachPartition多用于操作数据库，存储结果
```
#五.collect
##1.源码
![](http://img.blog.itpub.net/blog/2019/07/25/1435450e2a24dbd7.png?x-oss-process=style/bb)
##2.解释与注意事项
```
源码 返回数组，数组里包含所有元数
数据小用可以，因为数据都会被放到内存里，输出到driver端的
超过内存会报oom
```
##3.driver端的OOM调整一些方法
```
把driver 调大一些，有局限性
RDD中元素太大，抽取回driver会报OOP
不可以用collect
可以用take
```
##4.collect注意数据量
```
collect
collectByKey
collectByValue
collectAsMap  结果集出来后变成map
这些要看数据量要悠着点用，都要数据量少
广播变量必须数据量少才可以用
```
#六.take
##1.源码
![](http://img.blog.itpub.net/blog/2019/07/25/466e7a7ebd77d9dd.png?x-oss-process=style/bb)
##2.解释
```
面试常问take是全部扫描还是部分扫描：
部分扫描从源码有体现

```
##3.collect 与 take 注意
```
不确定数据有多大你可以先count一下
如果少的情况下捏可以用collect，如果太多可以用take
这些知识测试用
要全部结果你可以保存到文件系统上去saveas...
```
#七.groupByKey 与 reduceByKey
##1.源码reduceByKey
![](http://img.blog.itpub.net/blog/2019/07/25/957cf106cf071b33.png?x-oss-process=style/bb)
##2.源码groupByKey
![](http://img.blog.itpub.net/blog/2019/07/25/d23d252860263435.png?x-oss-process=style/bb)
##3.reduceByKey测试代码
![](http://img.blog.itpub.net/blog/2019/07/25/f85cef938370e254.png?x-oss-process=style/bb)
##4.测试WEBUI截图
![](http://img.blog.itpub.net/blog/2019/07/25/d03aacb74a9e803d.png?x-oss-process=style/bb)
##5.groupByKey测试代码
![](http://img.blog.itpub.net/blog/2019/07/25/61e068d43c00e546.png?x-oss-process=style/bb)
##6.测试WEBUI截图
![](http://img.blog.itpub.net/blog/2019/07/25/0a8ed6ca5261193e.png?x-oss-process=style/bb)
##7.groupByKey与reduceByKey比较
```
groupByKey  比reduceByKey  数据大小明显变大，不如reduceByKey  性能好
```
![](http://img.blog.itpub.net/blog/2019/07/25/4a507ed2f567f068.png?x-oss-process=style/bb)
##8.groupByKey与reduceByKey shuffer截图比较
```
groupByKey   所有元素都shuffer
```
![](http://img.blog.itpub.net/blog/2019/07/25/81f0b7c70957f93a.png?x-oss-process=style/bb)
```
reduceByKey  在map阶段有一个聚合
```
![](http://img.blog.itpub.net/blog/2019/07/25/ff7c3efb5b17b184.png?x-oss-process=style/bb)

ITPub博客

spark的基本算子使用和源码解析

最新文章