系统版本,Hadoop已安装完成

Mysql安装完成

Hive版本

Sqoop版本

我们先开启hdfs、出现问题

查看日志,发现端口被占用

查看端口

找找是那个程序占用,我们安装lsof

没有找到问题

我们修改端口号
修改文件

修改内容

重启后依然有错误,我们将端口调回

这时候突然发现是权限的问题才看不到PID

把占用的端口都kill掉

重启又出现新的问题

我们停止hdfs服务、将文件夹下dfs/name/in_use.lock文件删除、重启hdfs服务
停止hdfs服务

将文件夹下dfs/name/in_use.lock文件

重启hdfs服务
出现问题(只删除了namenode,重复上面步骤把datanode删除)

我们再重启,终于成功了

浏览器访问也OK

安装zookeeper
准备工具

我们解压

我们进入到安装目录中

我们修改zoo_sample.cfg文件名为zoo.cfg

我们建立一个数据目录,将目录配置到zoo.cfg中

在zoo.cfg中配置dataDir就可以了

注意:此处我们配置的是单节点的,如果是伪节点,需要做时间同步,然后配置2888等端口后,此处我们暂时只配置单节点
启动Zookeeper

查看jps

我们安装HBase
准备工具

解压到目录

我们进入到目录

进入Hbase

我们先配置hbase-env.sh,记下java_home

配置jdk

使用的是hbase自带的zookeper,需要将这个变量值设置为true,我们配置了单节点zookeeper,所以此处设为false

接下来可以保存了
然后我们配置hbase-site.xml,这里面现在是空的

这里面的配置我们来这里找:
这个安装包在我们本地

我们把它解压

找到这个jar

找到这个文件

我们打开可以看到,这些是我们要配置的

我们修改里面的内容
先修改hbase.tmp.dir,我们先创建目录

完成配置

我们继续修改hbase.rootdir

然后是hbase.fs.tmp.dir和hbase.bulkload.staging.dir,这个不需要改动


然后hbase.cluster.distributed

然后是hbase.zookeeper.quorum

我们拷贝到hbase-site.xml

我们修改配置regionservers

修改为

接下来我们替换jar
我们看到jar包中,hadoop版本是2.5.1,这个可能存在兼容性问题

我们删除原来的包、替换新的包(zookeeper-3.4.6.jar、htrace-core-3.1.0-incubating.jar是符合的我们不替换jar、),这样替换的话是14个

都已经删除了

这是准备的16个包

我们上传

然后我们启动Hbase
启动有两种
必须要提前启动zookeeper、hadoop进程再启动hbase
bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver
或者
bin/start-hbase.sh
我们启动

少了一个任务,我们查看日志发现

这是因为我们配置Hadoop使用的9000

而hbase是8020

我们做下修改

重新启动

继续启动

我们访问UI界面

我们再看下Hadoop中的UI

就能看到一些信息

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3162595/ ,如需转载,请注明出处,否则将追究法律责任。