ITPub博客

首页 > 大数据 > > HBase的容错性介绍和总结

HBase的容错性介绍和总结

作者:浪花小雨滴 时间:2020-05-18 16:47:18 0 删除 编辑
  • Master容错:zookeeper重新选择一个新的Master

– 无Master的过程中,数据读取仍照常进行,
– 无Master过程中,region的切分,负载均衡等无法进行

  • RegionServer容错:定时向zookeeper汇报心跳,

– 如果一段时间内未出现心跳,Master将该RegionServer上的Region重新分配到其它RegionServer上,
– 失效服务器上‘预写’日志由Master进行分割并派送给新的RegionServer

  • Zookeeper容错:Zookeeper高可靠的服务,不存在单点故障

通过Web UIs监控Hadoop和Hbase集群
所有Hadoop和Hbase进程都包含Web server
– 通过公开的端口提供信息
– 具体的信息类型和内容由各进程指定

  • Hbase一些重要的端口:

– HBase Master http://:16010
– RegionServer http://:16020
– (0.98)HBase Master http://:60010
– (0.98)RegionServer http://:60030

  • NameNode的端口

– NameNode http://:50070
通过日志文件诊断问题
所有日志默认情况下都写到/var/log/hbase目录下

  • 可以通过进程的Web接口访问查看日志文件
  • 可以通过Web接口动态设置日志级别

使用日志文件可以诊断主要问题

  • Thrift and REST 错误仅记录在日志文件中,不会发送给客户端


总结

  • 表通过row key拆分成region
  • 表拆分成regions并且由RegionServers管理
  • HMaster负责协调管理RegionServers
  • HDFS和ZooKeeper为Hbase提供高可用(HA)
  • hbase:meta用于找到哪个RegionServer服务管理哪些region和region的起止rowkey

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/15498/viewspace-2137870/,如需转载,请注明出处,否则将追究法律责任。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3127202/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    39904