ITPub博客

首页 > 大数据 > Spark > Spark SQL其他接口

Spark SQL其他接口

Spark 作者:mcxiaoracle 时间:2023-08-15 23:20:58 0 删除 编辑

Spark SQL也支持直接运行SQL查询的接口,不用写任何代码。

运行Thrift JDBC/ODBC服务器

./sbin/start-thriftserver.sh


这个脚本接受任何的 bin/spark-submit 命令行参数,加上一个 --hiveconf 参数用来指明Hive属性。你可以运行 ./sbin/start-thriftserver.sh --help 来获得所有可用选项的完整列表。默认情况下,服务器监听 localhost:10000 。你可以用环境变量覆盖这些变量。

export HIVE_SERVER2_THRIFT_PORT= < listening-port> export HIVE_SERVER2_THRIFT_BIND_HOST= < listening-host> ./sbin/start-thriftserver.sh \  --master < master-uri> \  ...



./bin/beeline



Spark SQL CLI是一个便利的工具,它可以在本地运行Hive元存储服务、执行命令行输入的查询。注意,Spark SQL CLI不能与Thrift JDBC服务器通信。

在Spark目录运行下面的命令可以启动Spark SQL CLI。


Spark SQL CLI是一个便利的工具,它可以在本地运行Hive元存储服务、执行命令行输入的查询。注意,Spark SQL CLI不能与Thrift JDBC服务器通信。

在Spark目录运行下面的命令可以启动Spark SQL CLI。






来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69949806/viewspace-2970952/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: Spark SQL性能调优
请登录后发表评论 登录
全部评论
数据方向,了解oracle ,IBM DB2 730

注册时间:2019-09-30

  • 博文量
    286
  • 访问量
    226568