ITPub博客

首页 > 大数据 > > HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

HBase环境搭建(hbase1.2.5+zookeeper3.4.6)

作者:浪花小雨滴 时间:2020-05-12 15:22:38 0 删除 编辑

系统版本,Hadoop已安装完成



Mysql安装完成



Hive版本



Sqoop版本



我们先开启hdfs、出现问题



查看日志,发现端口被占用



查看端口



找找是那个程序占用,我们安装lsof



没有找到问题



我们修改端口号

修改文件



修改内容



重启后依然有错误,我们将端口调回



这时候突然发现是权限的问题才看不到PID



把占用的端口都kill掉



重启又出现新的问题



我们停止hdfs服务、将文件夹下dfs/name/in_use.lock文件删除、重启hdfs服务

停止hdfs服务



将文件夹下dfs/name/in_use.lock文件



重启hdfs服务

出现问题(只删除了namenode,重复上面步骤把datanode删除)



我们再重启,终于成功了



浏览器访问也OK



安装zookeeper

准备工具



我们解压



我们进入到安装目录中



我们修改zoo_sample.cfg文件名为zoo.cfg



我们建立一个数据目录,将目录配置到zoo.cfg中



在zoo.cfg中配置dataDir就可以了



注意:此处我们配置的是单节点的,如果是伪节点,需要做时间同步,然后配置2888等端口后,此处我们暂时只配置单节点

启动Zookeeper



查看jps



我们安装HBase

准备工具



解压到目录



我们进入到目录



进入Hbase



我们先配置hbase-env.sh,记下java_home



配置jdk



使用的是hbase自带的zookeper,需要将这个变量值设置为true,我们配置了单节点zookeeper,所以此处设为false


接下来可以保存了

然后我们配置hbase-site.xml,这里面现在是空的



这里面的配置我们来这里找:

这个安装包在我们本地



我们把它解压



找到这个jar



找到这个文件



我们打开可以看到,这些是我们要配置的



我们修改里面的内容

先修改hbase.tmp.dir,我们先创建目录



完成配置



我们继续修改hbase.rootdir



然后是hbase.fs.tmp.dir和hbase.bulkload.staging.dir,这个不需要改动





然后hbase.cluster.distributed



然后是hbase.zookeeper.quorum




我们拷贝到hbase-site.xml



我们修改配置regionservers



修改为



接下来我们替换jar

我们看到jar包中,hadoop版本是2.5.1,这个可能存在兼容性问题



我们删除原来的包、替换新的包(zookeeper-3.4.6.jar、htrace-core-3.1.0-incubating.jar是符合的我们不替换jar、),这样替换的话是14个



都已经删除了



这是准备的16个包



我们上传



然后我们启动Hbase

启动有两种

必须要提前启动zookeeper、hadoop进程再启动hbase

bin/hbase-daemon.sh start master

bin/hbase-daemon.sh start regionserver

或者

bin/start-hbase.sh

我们启动



少了一个任务,我们查看日志发现



这是因为我们配置Hadoop使用的9000



而hbase是8020



我们做下修改



重新启动



继续启动



我们访问UI界面



我们再看下Hadoop中的UI



就能看到一些信息


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3162595/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    40234