ITPub博客

首页 > 大数据 > 数据分析 > HBase的容错性介绍和总结

HBase的容错性介绍和总结

原创 数据分析 作者:chenfeng 时间:2017-04-24 13:56:47 0 删除 编辑
  • Master容错:zookeeper重新选择一个新的Master
– 无Master的过程中,数据读取仍照常进行,
– 无Master过程中,region的切分,负载均衡等无法进行
  • RegionServer容错:定时向zookeeper汇报心跳,
– 如果一段时间内未出现心跳,Master将该RegionServer上的Region重新分配到其它RegionServer上,
– 失效服务器上‘预写’日志由Master进行分割并派送给新的RegionServer
  • Zookeeper容错:Zookeeper高可靠的服务,不存在单点故障
通过Web UIs监控Hadoop和Hbase集群
所有Hadoop和Hbase进程都包含Web server
– 通过公开的端口提供信息
– 具体的信息类型和内容由各进程指定
  • Hbase一些重要的端口:
– HBase Master http://:16010
– RegionServer http://:16020
– (0.98)HBase Master http://:60010
– (0.98)RegionServer http://:60030
  • NameNode的端口
– NameNode http://:50070
通过日志文件诊断问题
所有日志默认情况下都写到/var/log/hbase目录下
  • 可以通过进程的Web接口访问查看日志文件
  • 可以通过Web接口动态设置日志级别
使用日志文件可以诊断主要问题
  • Thrift and REST 错误仅记录在日志文件中,不会发送给客户端

总结
  • 表通过row key拆分成region
  • 表拆分成regions并且由RegionServers管理
  • HMaster负责协调管理RegionServers
  • HDFS和ZooKeeper为Hbase提供高可用(HA)
  • hbase:meta用于找到哪个RegionServer服务管理哪些region和region的起止rowkey

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/15498/viewspace-2137870/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
交流MySQL,PolarDB/PolarDB-X,PostgreSQL,MongoDB和Redis技术。

注册时间:2015-12-07

  • 博文量
    784
  • 访问量
    2691489