ITPub博客

首页 > 大数据 > > HBase环境分布式搭建

HBase环境分布式搭建

作者:浪花小雨滴 时间:2020-05-12 15:23:35 0 删除 编辑

前面三个文档已经完成了基础环境的搭建

《HBase基础环境搭建》

《HBase基础环境搭建之Hadoop搭建》

《HBase基础环境搭建之Hive和Sqoop安装》

现在进入HBase的环境搭建

环境工具



解压

tar -zxvf hbase-1.2.1-bin.tar.gz -C /opt/bigdata/



环境工具



解压缩

tar -zxvf zookeeper-3.4.9.tar.gz -C /opt/bigdata/



先配置Zookeeper

进入安装目录,找到配置文件的地方



重命名zoo_sample.cfg

mv zoo_sample.cfg zoo.cfg



我们在zookeeper目录下创建一个目录data

/opt/bigdata/zookeeper-3.4.9/data



编辑zoo.zfg

dataDir=/opt/bigdata/zookeeper-3.4.9/data

server.1=masterhbase:2888:3888

server.2=masterslave1:2888:3888

server.3=masterslave2:2888:3888



进入

/opt/bigdata/zookeeper-3.4.9/data目录

创建文件编辑数据1

执行echo 1 > myid



将配置好的zookeeper发送到另外两台机器

scp -r zookeeper-3.4.9/ root@masterslave1:/opt/bigdata/

scp -r zookeeper-3.4.9/ root@masterslave2:/opt/bigdata/

发现文件夹已经在两台机器上了



将masterslave1的myid更改



将masterslave2的myid更改



可以启动了(三台节点均执行)

bin/zkServer.sh start



有一个错误

ZooKeeper JMX enabled by default

查看下状态

bin/zkServer.sh status

发现没有启动



查看下日志



查看下,发现有错误



这个问题是本机的上要设置为0.0.0.0

masterhbase



masterslave1



masterslave2



重新启动就可以了



进入HBase安装目录



找到配置文件,完成JDK

编辑hbase-env.sh



不使用hbase自带的ZK,hbase依赖ZK的,所以它自带了一个

export HBASE_MANAGES_ZK=false



编辑hbase-site.xml

<property>

<name>hbase.tmp.dir</name>

<value>/opt/bigdata/hbase-1.2.1/data</value>

</property>

<property>

<name>hbase.rootdir</name>

<value>hdfs://masterhbase:8082/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>masterhbase,masterslave1,masterslave2</value>

</property>

<property>

<name>zookeeper.znode.parent</name>

<value>/hbase</value>

</property>



根据上面的配置我们创建目录

/opt/bigdata/hbase-1.2.1/data



在hdfs上创建目录

bin/hdfs dfs -mkdir /hbase



修改regionservers,指定regionserver的机器

/opt/bigdata/hbase-1.2.1/conf下



拷贝hadoop中core-site.xml和hdfs-site.xml这两个文件到hbase下

cp core-site.xml /opt/bigdata/hbase-1.2.1/conf/

cp hdfs-site.xml /opt/bigdata/hbase-1.2.1/conf/



替换Hadoop和ZK对应版本的jar包



在这个目录里我们可以看到hadoop的版本和我们安装的不一样,我们是hadoop-2.7.3,所以我们要变动一些包

下面是15个,我们删除

hadoop-annotations-2.5.1.jar

hadoop-auth-2.5.1.jar

hadoop-client-2.5.1.jar

hadoop-common-2.5.1.jar

hadoop-hdfs-2.5.1.jar

hadoop-mapreduce-client-app-2.5.1.jar

hadoop-mapreduce-client-common-2.5.1.jar

hadoop-mapreduce-client-core-2.5.1.jar

hadoop-mapreduce-client-jobclient-2.5.1.jar

hadoop-mapreduce-client-shuffle-2.5.1.jar

hadoop-yarn-api-2.5.1.jar

hadoop-yarn-client-2.5.1.jar

hadoop-yarn-common-2.5.1.jar

hadoop-yarn-server-common-2.5.1.jar

zookeeper-3.4.6.jar

然后将我们准备好的jar包上传



将HBase拷贝到另外两台机器

scp -r hbase-1.2.1/ root@masterslave1:/opt/bigdata/

scp -r hbase-1.2.1/ root@masterslave2:/opt/bigdata/



启动HBase

必须要提前启动zookeeper、hadoop进程再启动hbase

bin/hbase-daemon.sh start master

bin/hbase-daemon.sh start regionserver

或者

bin/start-hbase.sh



在浏览器也可以访问

外部UI界面

主机名+端口号60010/16010

masterhbase:16010/


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3134536/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    39857