# 一.添加jar包运行
## 1.官网位置
```
点击步骤：
Spark Programming Guide
Linking with Spark
版本要对应和集群上
```
![](http://img.blog.itpub.net/blog/2019/07/26/0d0f2e3e3601b5a0.jpeg?x-oss-process=style/bb)
## 2.idea 引入cdh可能报红线
![](http://img.blog.itpub.net/blog/2019/07/26/4f045792d929e668.jpeg?x-oss-process=style/bb)
## 3.原因
```
idea 引入cdh版的hadoop等包可能报红线，
因为默认idea引的仓库是apache的所以有红线
```
## 4.解决：
![](http://img.blog.itpub.net/blog/2019/07/26/6762335904be1dfd.jpeg?x-oss-process=style/bb)
## 5.上传本地文件
```
公司中是用rz
ftp工具不用因为中间有跳板机，ftp不好用
```
# 二.提交程序到集群
## 1.官网案例
![](http://img.blog.itpub.net/blog/2019/07/26/d70606e8f1d2cc3a.jpeg?x-oss-process=style/bb)
## 2.测试代码
```shell
 spark-submit \
  --class test.Demo2 \
  --master local[2] \
  /demo/original-sparkrdd-1.0-SNAPSHOT.jar \
  hdfs://s202:9000/input/*   \
  hdfs://s202:9000/result
```
## 3../spark-submit --help  查看帮助
## 4.MR也可以基于内存但是是有限的，有局限性
![](http://img.blog.itpub.net/blog/2019/07/26/2282e97f3dc0bdb4.jpeg?x-oss-process=style/bb)
# 三.SparkRDD
## 1.RDD
```shell
弹性分布式数据集
弹性体现在计算上，分布式的时候计算可以容错，通过机制进行修复，准确是体现在计算层面上

```
## 2.RDD五大特点
```
*  - A list of partitions
*  - A function for computing each split
每个函数作用每个分区上
对RDD计算就是对分区进行计算
split 如分区partitions
*  - A list of dependencies on other RDDs
RDDA 是加载其余是转化的
RDDA-RDDB-RDDC
*  - Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
优化时候用的多
*  - Optionally, a list of preferred locations to compute each split on (e.g. block locations for
*    an HDFS file)
preferred locations（类似多个副本）  数组在哪在那计算性能好，不用移动数据
对每个分片计算会有一组
计算每个分片会有多个副本
窄依赖容错不是对所有分区进行重新计算，对父类，宽依赖不通

Resilient Distributed Dataset (RDD)在上面五个特点完美体现

切分，副本，计算，分布式
```
## 3.RDD五大特点和源码中的对应关系
```
关键计算传什么参数，对应第二个特点，必须传个分片的
def compute(split: Partition, context: TaskContext): Iterator[T]

对应RDD第一点
protected def getPartitions: Array[Partition]

对应第三点
protected def getDependencies: Seq[Dependency[_]] = deps

计算必须拿到PreferredLocations 在什么位置
第五点
protected def getPreferredLocations(split: Partition): Seq[String] = Nil
对应第四点
@transient val partitioner: Option[Partitioner] = None

类似于JdbcRDD什么都要继承RDD
```
## 4.RDD宏观概念
![](http://img.blog.itpub.net/blog/2019/07/26/1bd63f8f647f6987.jpeg?x-oss-process=style/bb)
# 三.RDD的操作
## 1.官网
![](http://img.blog.itpub.net/blog/2019/07/26/637865c1ada9d6a8.jpeg?x-oss-process=style/bb)
## 2.重点解释不要硬编码
![](http://img.blog.itpub.net/blog/2019/07/26/c667f23abda7c207.jpeg?x-oss-process=style/bb)
## 3.官网解释
```
appName 是一个作业的名字
也可以不写，不要硬编码，提交时写，用时间拼接，可以知道提交的是哪个
The appName parameter is a name for your application to show on the cluster UI.
master 是你连接集群的方式
master is a Spark, Mesos or YARN cluster URL, or a special “local” string to run in local mode.
但是，运行一个集群你不要硬编码，不要代码中设置master，提交的时候设置
In practice, when running on a cluster, you will not want to hardcode master in the program, 
而是要用spark-submit 提交，
but rather launch the application with spark-submit and receive it there.
测试就用local 就可以了
However, for local testing and unit tests, you can pass “local” to run Spark in-process.

```
## 4.stop注意
```
Only one SparkContext may be active per JVM. You must stop() the active SparkContext before creating a new one.
一个jvm只能有一个SparkContext，想要在启动别个，必须关闭stop()
```
## 5.yarn在spark需要配置的参数
```
在spark-env  中配置HADOOP_CONF_DIR or YARN_CONF_DIR ，指向hadoop的etc/hadoop的
```
![](http://img.blog.itpub.net/blog/2019/07/26/e36cd08251f9cee4.jpeg?x-oss-process=style/bb)
## 6.spark-shell 的使用，主要用jars
```
spark-shell 底层也是调用spark-submit 脚本运行
```
![](http://img.blog.itpub.net/blog/2019/07/26/520b15bde2d752c2.jpeg?x-oss-process=style/bb)
# 四.RDD的创建方式
## 1.RDD创建一
```
 Typically you want 2-4 partitions for each CPU in your cluster. 不浪费
因为这样设置省着cpu空闲，一个分区一个CPU可能空闲，浪费
task多不处理小文件多，要合并，调优
```
![](http://img.blog.itpub.net/blog/2019/07/26/3ef8afd38c044c79.jpeg?x-oss-process=style/bb)
## 2.RDD创建方式一 解释
```
加载外部集合用parallelize方法，用的少，最好有个CPU对应几个分区，
防止空闲浪费资源，一个task一个分区
```
## 3.RDD创建二
![](http://img.blog.itpub.net/blog/2019/07/26/9b604915101bde4a.jpeg?x-oss-process=style/bb)
## 4.解释
```
加载外部数据源，本地文件，HDFS,hbase等
```
## 5.RDD注意事项笔记：官网
![](http://img.blog.itpub.net/blog/2019/07/26/b4829595347e9024.jpeg?x-oss-process=style/bb)
## 5.解释
```
1.如果你要使用本地文件，那你又多少个节点，每个节点都要有这个文件，否则
找不到，standalone   也一样，一般用不到
2.全部的输入方式包括文件，支持目录，压缩，通配符
3.textFile() 有第二个参数，分区，默认有个block一个分区，你可以调的
更高，不可以比block更少
这个可以调优

1.wholeTextFiles() 返回key,value  key是路径，value值
2序列化测试
3.saveAsTextFile() 保存
```

ITPub博客

SparkRDD的总结

最新文章