# 一.SparkSQL架构
## 1.架构
![](http://img.blog.itpub.net/blog/2019/07/29/c7669873a7fbb048.png?x-oss-process=style/bb)
## 2.解释
```
一个sql 过来 解析成unresolved，只拿出来字段名和表名
但是不知道字段名和表名在哪个位置
需要通过Schema 确定表的位置等信息，
生成逻辑执行计划，Logical,知道数据从哪里来了
通过一些列优化过滤生成物理执行计划Physical
最后把物理执行计划放到spark集群上运行
```
## 3.样例
![](http://img.blog.itpub.net/blog/2019/07/29/3fc1cfc4ee7a8d9a.png?x-oss-process=style/bb)
# 二.SparkSQL的几点误区
```
Spark SQL就是写SQL,这是错误的观点
Spark SQL不是SQL,超出SQL,因为SQL是其一部分
Spark SQL 是处理结构化数据的，只是Spark中的一个模块
Spark SQL 与 Hive on Spark  不是一个东西
Spark SQL 是spark里面的
Hive on Spark 的功能是比Spark SQL多的
Hive on Spark 稳定性不是很好
```
# 三.SQL的几个几点注意
## 1.SQL注意
```
关系数据库集群成本很高，还是有限的
SQL : schema + file
使用sql的前提就是有schema ，作用到文件上去
hive是进程的
hive2.0 默认引擎是Tez
Hive on Spark 就是把hive执行引擎改成spark
```
## 2.执行引擎
```
mr
spark
Tez
```
## 3.SparkSQL的JOIN
```
spark sql 可以跨数据源进行join，例如hdfs与mysql里表内容join
Spark SQL运行可以不用hive，只要你连接到hive的metastore就可以
```
## 3.hive底层的hiveserver2协议走的是thrift
```
hiveserver2开启可以用JDBC或者ODBC直接连接
```
![](http://img.blog.itpub.net/blog/2019/07/29/7e53f1fcea145719.png?x-oss-process=style/bb)

# 四.连接Hive的几种方式
## 1.三种方式
```
spark-sql 与 spark-shell  ，thriftserver
thriftserver对应hive里面的hiveserver2

```
## 2.thriftserver连接方式
```
./beeline -u jdbc:hive2://localhost:10000 -n root  
```
![](http://img.blog.itpub.net/blog/2019/07/29/0b6aea27fc000503.png?x-oss-process=style/bb)
## 3.thriftserver和spark-sql,spark-shell  的区别在哪？
```
spark-shell、spark-sql 都是是一个独立的 spark application，
启动几个就要几个application，非常耗资源

用thriftserver，无论启动多少个客户端（beeline）连接在一个thriftserver，
是一个独立的spark application，
后面不用在重新申请资源。前一个beeline缓存的，下一个beeline也可以用

用thriftserver，可在ui看执行计划，优化有优势
```
## 4.注意情况
```
这个要起来，要不spark-shell， spark-sql，连接不上，这个跟hive一样
```
![](http://img.blog.itpub.net/blog/2019/07/29/f7a922322f158be3.png?x-oss-process=style/bb)
## 5.可能出错
```
spark-shell --master local[2] --jars /soft/hive/lib/mysql-connector-java-8.0.12.jar 这样启动不起来
你可以试试把mysql-connector-java-8.0.12.jar 放到spark的jars里
```
![](http://img.blog.itpub.net/blog/2019/07/29/1faf7cf6eaaffd89.png?x-oss-process=style/bb)
## 6.解决
![](http://img.blog.itpub.net/blog/2019/07/29/a2920b090cd8dc27.png?x-oss-process=style/bb)

ITPub博客

SparkSQL基础知识总结

最新文章