#一.yarn 架构
![](http://img.blog.itpub.net/blog/2019/07/23/49b7bafc06e8864d.png?x-oss-process=style/bb)
#二.yarn在spark官网的位置
1.Delpoying 的 yarn
2.官网位置截图
 ![](http://img.blog.itpub.net/blog/2019/07/23/e6dc833200068cd2.png?x-oss-process=style/bb)
#二.spark -submit 提交到yarn
1.官网提交实例
![](http://img.blog.itpub.net/blog/2019/07/23/42d925930a7dbe5f.png?x-oss-process=style/bb)
2.自己测试提交改进官网实例
```
spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  /soft/spark/examples/jars/spark-examples_2.11-2.1.1.jar \
  3

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn-cluster  \
  /soft/spark/examples/jars/spark-examples_2.11-2.1.1.jar \
  3
```
3.总结：
   yarn  =  yarn client   单独写yarn  与 deploy-mode 后面写  yarn client  一样
4.提交可能遇到这个错误
![](http://img.blog.itpub.net/blog/2019/07/23/df2e8f3f62704bf5.png?x-oss-process=style/bb)
5.原因：
   spark 要用yarn 你得告诉人配置在哪
   命令行 export HADOOP_CONF_DIR  等
   配置到命令行值当前有效，但是你要配置到spark-env 中可以永久有效
#三.spark-submit 提交到yarn的日志
1.提交日志的显示
![](http://img.blog.itpub.net/blog/2019/07/23/16402cb920a78f61.png?x-oss-process=style/bb)
2.流程解释

```
    首先把spark的jars包里面的包要全部传上来
    配置文件也要放上来
    要看这个参数配没配置 spark.yarn.jars nor spark.yarn.archive
```
#四.spark-submit 提交到yarn加快速度，不用每次都去提交spark的jars
1.配置参数
```
 Neither spark.yarn.jars nor spark.yarn.archive is set,
  falling back to uploading libraries under SPARK_HOME.
```
2.官网位置
![](http://img.blog.itpub.net/blog/2019/07/23/29da24324c61f27f.png?x-oss-process=style/bb)
3.你要配置在spark-defalut.conf中，配置如下
    首先你要把你的spark中的jars所用jar包传到hdfs上
    之后你要spark.yarn.jars = hdfs路径
    在提交的时候就不会有提交yarn前面每次都是上传的日志了
4.对于每次都会有很久的accetped  申请资源的日志，这是正常现象，需要看资源是否满足才给申请
#五.spark-submit 提交到yarn的一些参数
1.查看参数  spark-submit --help 
2.参数截图
![](http://img.blog.itpub.net/blog/2019/07/23/0f096c10a8fe9d24.png?x-oss-process=style/bb)
3.主要用参数解释
    --num-executors   默认是有两个-executor
    --executor-cores  在yarn中默认每个executor一个core
    --executor-memory MEM       Memory per executor (e.g. 1000M, 2G) (Default: 1G). 默认每个executor 内存是1G
#五.yarn面试常问的问题
1.yarn有什么状态，先经过什么，在经过什么
    在yarn8088界面左侧显示
	![](http://img.blog.itpub.net/blog/2019/07/23/04cb51e1c08f8d0d.png?x-oss-process=style/bb)
2.yarn-client模式 与 cluster模式有什么区别
```
最明显区别：
主要看driver运行在哪里
client 模式driver运行在提交的这台机器，就是运行在本地
cluster 模式 driver运行在 AM 里

区别二：
client如果driver在集群外要频繁与executor通信好资源，
client模式下客户机可以是集群之外或之内的，如果是之内的
网络请求频次会非常高，如果100个driver都启动在一台机器
那么会driver 与 executor频繁通信

如果是cluster ：
driver在AM里，AM在nodemanager上的contains 容器里
所以不需要频繁通信，每台机器上都有
通信在集群内部对网络会好些
区别三：

client 不可以crtl + c 把客户端干掉要不就没法与executor通信了
cluster 通过客户端提交到集群上客户端有没有无所谓了

区别四：
client模式在客户端可以看到日志
cluster 你是看不到日志的，日志在yarn上所以看不到
```
3.cluster 模式  Driver 运行在AM里面 图片
![](http://img.blog.itpub.net/blog/2019/07/24/f613d3748519c903.png?x-oss-process=style/bb)
4.client模式 Driver运行在本地
![](http://img.blog.itpub.net/blog/2019/07/24/6f4aff16a02924fa.png?x-oss-process=style/bb)

ITPub博客

spark 与 yarn 结合

最新文章