ITPub博客

首页 > 大数据 > Spark > spark2.2.0 配置spark sql 操作hive

spark2.2.0 配置spark sql 操作hive

原创 Spark 作者:laoma8888 时间:2018-09-23 12:48:41 0 删除 编辑

spark可以通过读取hive的元数据来兼容hive,读取hive的表数据,然后在spark引擎中进行sql统计分析,从而,通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下:

 1、启动hive的元数据服务
hive可以通过服务的形式对外提供元数据读写操作,通过简单的配置即可
  编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容:
<property>
<name>hive.metastore.uris</name>
<value>thrift:// master:9083</value>
</property>

  启动hive metastore

[root@master apache-hive-1.2.2-bin]# ./bin/hive --service metastore  1>/dev/null  2>&1  &

  查看 metastore:

[root@master apache-hive-1.2.2-bin]# jobs
[1]+  Running                 ./bin/hive --service metastore > /dev/null 2>&1 &

 
2、spark配置
    将hive的配置文件拷贝给spark
将 $HIVE_HOME/conf/hive-site.xml copy $SPARK_HOME/conf/

[root@master apache-hive-1.2.2-bin]# cp ./conf/hive-site.xml /usr/local/spark-2.3.0/conf/

 
   将mysql的jdbc驱动包拷贝给spark
将 $HIVE_HOME/lib/mysql-connector-java-5.1.12.jar copy或者软链到$SPARK_HOME/lib/

[root@master lib]# cp ./mysql-connector-5.1.8.jar /usr/local/spark-2.3.0/jars/

 
3、启动spark-sql的shell交互界面
   [root@master lib]# spark-sql 

4、在spark sql 中执行hive操作

spark-sql> show databases;

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31496956/viewspace-2214737/,如需转载,请注明出处,否则将追究法律责任。

上一篇: Scala 类和对象
请登录后发表评论 登录
全部评论

注册时间:2017-11-30

  • 博文量
    61
  • 访问量
    53872