ITPub博客

首页 > IT职业 > IT职场 > HBase二级索引实现方案

HBase二级索引实现方案

IT职场 作者:cdfoxman 时间:2021-09-09 09:35:34 0 删除 编辑

关于使用hbase进行多维度条件实时查询的方案调研。
1.MapReduce方案  
优点:并发批量构建Index 
缺点:不能实时构建Index  
2.ITHBASE方案 
    缺点:需要重构hbase,几年没有更新。 
3.IHBASE方案 
    缺点:需要重构hbase。 
4.Coprocessor方案 
   华为的HBase二级索引采用此方案(hindex 代码开源)。
    1)、索引和数据分别放在不同表里;
  2)、所有的运算逻辑全都放在服务端;
  3)、需要修改HBase源码,侵入性大
  4)、 查询时无需指定,即可自动使用最优索引
    缺点:代码很复杂,代码量非常多。一下子要弄明白原理可能比较困难。hindex和公司的HBase版本不兼容性
5.Solr+hbase方案
   缺点:对Solr不熟悉 
6.CCIndex   
   缺点: 如存储开销比较大,尤其是当索引列比较多的时候,空间开销会更大;索引更新代价比较高,会影响系统的吞吐量;索引创建以后,不能够动态增加或修改。
7.360的hbase二级索引
    360二级索引的特点如下:
  1)、索引和Rowkey在同一个表里;
  2)、支持多范围与操作优化;
  3)、支持索引重建
    缺点:没有开源,需要按照他的思想去实现,原理不是太清楚,只明白一点点,按照这个思想来重新搭建也可能非常耗时间。
8.phoenix的二级索引
    好处:开源,自带二级索引。

https://blogs.apache.org/hbase/entry/coprocessor_introduction

observers分为三种:

RegionObserver:提供数据操作事件钩子;

WALObserver:提供WAL(write ahead log)相关操作事件钩子;

MasterObserver:提供DDL操作事件钩子。

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8857&highlight=hbase%2B%B6%FE%BC%B6

2.https://www.cnblogs.com/MOBIN/p/5579088.html

原文出处

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/625/viewspace-2804977/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-04-12

  • 博文量
    237
  • 访问量
    1740