首页 > 大数据 > > HBase在贝壳找房的实践经验
目录:
•HBase简介
•HBase在贝壳的使用
•HBase优化经验
•Q&A
HBase是什么:
•Google Bigtable系统的开源实现
•分布式的,可扩展的,一致性的,有序的半结构化数据存储系统(KV映射表)
•利用HDFS作为持久化介质,保证数据可靠性(WAL,多副本)
•利用Zookeeper作为协同服务(服务发现,状态维持)
数据模型:




HBase优化链路:

Profile利器-火焰图-介绍:









HBase&HDFS优化杂项:
•HDFS短路读(short-circuit)
•并行多线程读取datanode(Hedged Reads)
•检测stale datanodes, 避免读取慢速datanode
•关闭Hadoop均衡器, 避免影响HBase本地性
•Multiwal,提升HBase写入性能
PageCache对HBase影响:
1.现象:
HBase压测时经常宕掉,在将机器内存从64G升级128G非常稳定
2.排查/猜想:
HBase进程内存设置为50G,升级内存后也未调整
HBase本身堆使用率不高
多增加的内存会被OS用来做文件缓存(应该会大幅提升命中率)
相关资料提示HBase为IO敏感型,缓存命中率与稳定性有啥关系
3.试验:
借助systemtap统计cache命中率



OS优化杂项:
•增加 打开文件数,进程数限制 (nproc,nofile)
•关闭swap(swappiness=0)
•TCP快速回收重用,优化短连接(tcp_tw_reuse = 1)
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3134277/ ,如需转载,请注明出处,否则将追究法律责任。