ITPub博客

首页 > 大数据 > > HBase——第一章(安装与配置)

HBase——第一章(安装与配置)

作者:浪花小雨滴 时间:2020-05-12 14:51:24 0 删除 编辑

基础知识:

  • HBase简介

  1. HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
  2. HBase是Google BigTable的开源实现,类似Google BigTable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase利用Zookeeper作为对应。


  • HBase特点

  1. HBase作为面向列的数据库运行在HDFS之上,HDFS缺乏随即读写操作,HBase正是为此而出现。HBase以Google BigTable为蓝本,以键值对的形式存储。项目的目标就是快速在主机内数十亿行数据中定位所需的数据并访问它。
  2. HBase是一个数据库,一个NoSql的数据库,像其他数据库一样提供随即读写功能,Hadoop不能满足实时需要,HBase正可以满足。如果你需要实时访问一些数据,就把它存入HBase。
  3. 可以用Hadoop作为静态数据仓库,HBase作为数据存储,放那些进行一些操作会改变的数据。


  • Hive VS HBase
  1. Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。
  2. 想象你在操作RMDB数据库,如果是全表扫描,就用Hive+Hadoop,如果是索引访问,就用HBase+Hadoop 。
  3. Hive query就是MapReduce jobs可以从5分钟到数小时不止,HBase是非常高效的,肯定比Hive高效的多。

相关下载:


HBase安装与配置



注意:本实验采用3个节点分别为hadoop中的master、slave1、slave2



1、解压

相关命令:


  1. sudo tar -xzvf /home/kaede/hbase-1.0.3-bin.tar.gz -C .

2、更改文件权限

相关命令:

  1. sudo chown -R hadoop:hadoop hbase-1.0.3/



3、编辑conf目录下hbase-env.sh文件

相关内容:

  1. export JAVA_HOME=/usr/lib/jdk1.8.0_112/
  2. export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop
  3. export HBASE_HEAPSIZE=2048
  4. export HBASE_MANAGES_ZK=false

注意:JAVA_HOME表示java安装目录,HBASE_CLASSPATH指向存放有Hadoop配置文件的目录,这样HBase可以找到HDFS的配置信息,由于本文Hadoop和HBase部署在相同的物理节点,所以就指向了Hadoop安装路径下的conf目录。HBASE_HEAPSIZE单位为MB,可以根据需要和实际剩余内存设置,默认为1000。HBASE_MANAGES_ZK=false指示HBase使用已有的Zookeeper而不是自带的。



4、编辑conf目录下hbase-site.xml文件

相关内容:

  1. <configuration>
  2. <property>
  3. <name>hbase.rootdir</name>
  4. <value>hdfs://master:9000/hbase</value>
  5. </property>

  6. <property>
  7. <name>hbase.cluster.distributed</name>
  8. <value>true</value>
  9. </property>

  10. <property>
  11. <name>hbase.zookeeper.quorum</name>
  12. <value>master,slave1,slave2</value>
  13. </property>

  14. <property>
  15. <name>hbase.master</name>
  16. <value>hdfs://master:60000</value>
  17. </property>

  18. <property>
  19. <name>hbase.zookeeper.property.dataDir</name>
  20. <value>/home/hadoop/opt/zookeeper_data</value>
  21. </property>

  22. <property>
  23. <name>hbase.master.info.bindAddress</name>
  24. <value>master</value>
  25. </property>

  26. <property>
  27. <name>hbase.master.info.port</name>
  28. <value>60010</value>
  29. </property>

  30. <property>
  31. <name>hbase.regionserver.port</name>
  32. <value>16020</value>
  33. </property>

  34. <property>
  35. <name>hbase.regionserver.info.port</name>
  36. <value>16030</value>
  37. </property>

  38. <property>
  39. <name>hbase.regionserver.info.port.auto</name>
  40. <value>true</value>
  41. </property>

  42. <property>
  43. <name>hbase.regionserver.info.bindAddress</name>
  44. <value>0.0.0.0</value>
  45. </property>
  46. </configuration>

5、创建dataDir目录(所有节点)

相关命令:

  1. mkdir -p /home/hadoop/opt/zookeeper_data

6、编辑conf目录下regionservers文件

相关内容:

  1. slave1
  2. slave2

7、配置其他节点(在master下)

相关命令:

  1. scp -r hbase-1.0.3/ hadoop@Slave1:/home/hadoop
  2. scp -r hbase-1.0.3/ hadoop@Slave2:/home/hadoop

8、配置环境变量(所有节点)

相关命令与内容:

  1. sudo vim ~/.bashrc
  2. ------------------------------内 容------------------------------
  3. export HBASE_HOME=/home/hadoop/hbase-1.0.3
  4. export PATH=$PATH:HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin
  5. ------------------------------内 容------------------------------
  6. source ~/.bashrc

9、启动与检验(注意要在启动hdfs与Zookeeper的条件下)

相关命令:

  1. start-hbase.sh
  2. jps

10、启动shell

相关命令:

  1. hbase shell
  2. status
  3. list

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3163917/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    40397