ITPub博客

首页 > 大数据 > > 知识布局-大数据apache基础组件安装文档-hbase

知识布局-大数据apache基础组件安装文档-hbase

作者:浪花小雨滴 时间:2020-05-12 15:22:51 0 删除 编辑

前言

由于水平有限,如果存在知识点上面的错误,请大神明确指出,我会认真听取,并及时修正自己的错误。

目录

本文包含目录中的hbase部署章节。

4.hbase部署

......4.1. linux相应的配置文件

............4.1.1.profile配置

......4.2.hbase相应配置文件

............4.2.1.hbase-env.sh 配置

............4.2.2.hbase-site.xml配置

............4.2.3.regionservers

......4.3.hbase启动命令

............4.3.1.创建软连接

............4.3.2.启动hbase

............4.3.3.检查hbase是否搭建完成


4.hbase部署

概述

版本信息:hbase “0.98.17”,java version "1.7.0_79",hadoop version “2.5.2”

说明:我们的demo采用3台机器。集群组成为:一台master,两台slave。

master名称为corenode,slave分别为datanode01和datanode02。


安装hbase的大体流程分为6步。按照下面的6步进行执行,最终会完成hbase的搭建工作。

1.检查部署准备环节的事情是否完成(安装准备中的5个),如果没有完成,则需要找相应 的文档进行安装

2.检查zookeeper是否完成安装,如果没有安装,那么参考zookeeper的安装文档进行安装。

3.检查hadoop是否完成安装,如果没有安装,那么参考hadoop的安装文档进行安装。

4.配置/etc/profile

5.解压hbase tar包,并修改相应的配置文件

6.启动hbase

详细安装情况请参考如下几个小节。

4.1. linux相应的配置文件

4.1.1.profile配置

hbase-0.98.17安装在/mnt/apps/hbase/hbase-0.98.17-hadoop2下面,所有的配置都是按照这个目录进行配置的。

我们使用vim /etc/profile,进入进行编辑:

#set Hbase-0.98.17

export HBASE_HOME=/mnt/apps/hbase/hbase-0.98.17-hadoop2

export PATH=$PATH:$HBASE_HOME/bin

编辑完成之后,退出编辑,执行 source /ect/profile,即完成profile的配置。

4.2.hbase相应配置文件

4.2.1.hbase-env.sh 配置

export JAVA_HOME=/mnt/apps/jdk/jdk1.7.0_79

export HBASE_MASTER_OPTS="-Xloggc:/mnt/apps/hbase/hbase-0.98.17-hadoop2/logs/mastergc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:CMSInitiatingOccupancyFraction=80 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC $HBASE_MASTER_OPTS"

export HBASE_REGIONSERVER_OPTS="-Xloggc:/mnt/apps/hbase/hbase-0.98.17-hadoop2/logs/regiongc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:CMSInitiatingOccupancyFraction=80 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC $HBASE_REGIONSERVER_OPTS"

export HBASE_PID_DIR=/mnt/apps/hbase/hbase-0.98.17-hadoop2/pids

export HBASE_MANAGES_ZK=false

export HBASE_HEAPSIZE=1024


4.2.2.hbase-site.xml配置

<configuration>

<property>

<name>hbase.master</name>

<value>60000</value>

</property>

<property>

<name>hbase.rootdir</name>

<value>hdfs://bonree/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>corenode,datanode01,datanode02</value>

</property>

<property>

<name>hbase.hregion.max.filesize</name>

<value>536870912</value>

</property>

<property>

<name>hbase.hregion.memstore.flush.size</name>

<value>5368709</value>

</property>

<property>

<name>hbase.hstore.compaction.min</name>

<value>3</value>

</property>

<property>

<name>hbase.hstore.compaction.max</name>

<value>12</value>

</property>

<property>

<name>hbase.hregion.majorcompaction</name>

<value>0</value>

</property>

<property>

<name>hbase.regionserver.restart.on.zk.expire</name>

<value>true</value>

</property>

<property>

<name>zookeeper.session.timeout</name>

<value>90000</value>

</property>

<property>

<name>hbase.hstore.blockingStoreFiles</name>

<value>100000</value>

</property>

<property>

<name>hbase.regionserver.thread.compaction.large</name>

<value>9</value>

</property>

<property>

<name>hbase.regionserver.thread.compaction.small</name>

<value>9</value>

</property>

<property>

<name>hbase.thrift.maxQueuedRequests</name>

<value>1000</value>

</property>

<property>

<name>hbase.client.write.buffer</name>

<value>2097152</value>

</property>

<property>

<name>hbase.thrift.minWorkerThreads</name>

<value>16</value>

</property>

<property>

<name>hbase.thrift.maxWorkerThreads</name>

<value>1000</value>

</property>

<property>

<name>hbase.regionserver.lease.period</name>

<value>240000</value>

</property>

<property>

<name>hbase.rpc.timeout</name>

<value>280000</value>

</property>

</configuration>

4.2.3.regionservers

datanode01

datanode02

4.3.hbase启动命令

hbase-daemons.sh start master

4.3.1.创建软连接

在每台机器上配置软连接:ln -s ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml ${HBASE_HOME}/conf/hdfs-site.xml

4.3.2.启动hbase

start-hbase.sh

4.3.3.检查hbase是否搭建完成

执行检查命令:hbase hbck >./hbck.log

查看日志,采用less hbck.log

存活的regionserver为2,dead region server为0,说明hbase正常启动。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3125453/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    40027