ITPub博客

首页 > 大数据 > 数据分析 > HBase实践 | 使用Spark分析云HBase的数据

HBase实践 | 使用Spark分析云HBase的数据

数据分析 作者:JAVA技术驿站 时间:2018-12-13 17:12:49 0 删除 编辑

云HBase具有很好的在线入库和查询能力,不过在分析上面有比较大的欠缺,这篇文章主要介绍如何使用Spark对云HBase中数据做复杂分析。

1 云HBase查询分析的现状

  • HBase原生API:HBase原生API适合基于row key做点查,这个是HBase最擅长的查询场景

  • Phoenix:Phoenix作为HBase的SQL层,使用二级索引的技术,擅长多条件组合查询;Phoenix没有自己的计算资源,类似groupby这样的复杂查询需要借助HBase的协处理器来完成,这样一方面性能不好,同时会影响HBase集群的稳定性;

  • Spark:具有丰富的算子支持复杂分析,使用Spark集群的计算资源,通过并发分析的方式可以提高性能,同时不影响HBase集群的稳定性。

2 Spark分析HBase的方式对比

Spark分析HBase数据有“RDD API”、“SQL API”、“HFILE”三种方式,相关对比如下:

对于数据动态更新增加的小表推荐使用SQL API的方式,可以有效的优化分析,减少对HBase集群稳定性的影响;对于静态表或者全量静态表的分析推荐使用分析HFILE的方式直读HDFS,这样可以完全不影响HBase集群稳定性;不推荐使用RDD API 的方式,这种方式一方没有优化性能差,同时在高并发以及表数据量大时,会严重影响HBase集群的稳定性,从而影响在线业务。

3 三种方式的具体使用

云HBase团队为大家提供了一个github项目供大家参考使用上面的三种方式来开发Spark分析HBase的程序,项目地址:

https://github.com/lw309637554/alicloud-hbase-spark-examples?spm=a2c4e.11153940.blogcont573569.14.1b6077b4MNpI9X

  • 依赖项:需要下载云HBase及云Phoenix的client包

  • 分析HFILE:

    • 需要先开通云HBase的HDFS访问权限,参考文档

    • 在hbase shell中对表生成snapshot表“snapshot 'sourceTable', ‘snapshotName'”

    • 在项目中配置自己的hdfs-sit.xml文件,然后通过直读HDFS的方式分析snapshot表

  • 具体的example

    • RDD API对应:org.apache.spark.hbase.NativeRDDAnalyze

    • SQL API对应:org.apache.spark.sql.execution.datasources.hbase.SqlAnalyze

    • 分析HFILE对应:org.apache.spark.hfile.SparkAnalyzeHFILE

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31562040/viewspace-2285172/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-11-13

  • 博文量
    8
  • 访问量
    5870