ITPub博客

首页 > 大数据 > > HBase在贝壳找房的实践经验

HBase在贝壳找房的实践经验

作者:浪花小雨滴 时间:2020-05-09 15:14:59 0 删除 编辑

目录:

•HBase简介

•HBase在贝壳的使用

•HBase优化经验

•Q&A


HBase是什么:

•Google Bigtable系统的开源实现

•分布式的,可扩展的,一致性的,有序的半结构化数据存储系统(KV映射表)

•利用HDFS作为持久化介质,保证数据可靠性(WAL,多副本)

•利用Zookeeper作为协同服务(服务发现,状态维持)

数据模型:

HBase优化链路:

Profile利器-火焰图-介绍:

HBase&HDFS优化杂项:

•HDFS短路读(short-circuit)

•并行多线程读取datanode(Hedged Reads)

•检测stale datanodes, 避免读取慢速datanode

•关闭Hadoop均衡器, 避免影响HBase本地性

•Multiwal,提升HBase写入性能

PageCache对HBase影响:

1.现象:

HBase压测时经常宕掉,在将机器内存从64G升级128G非常稳定

2.排查/猜想:

HBase进程内存设置为50G,升级内存后也未调整

HBase本身堆使用率不高

多增加的内存会被OS用来做文件缓存(应该会大幅提升命中率)

相关资料提示HBase为IO敏感型,缓存命中率与稳定性有啥关系

3.试验:

借助systemtap统计cache命中率

OS优化杂项:

•增加 打开文件数,进程数限制 (nproc,nofile)

•关闭swap(swappiness=0)

•TCP快速回收重用,优化短连接(tcp_tw_reuse = 1)

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3134277/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    40175