ITPub博客

首页 > 大数据 > 可视化 > Hadoop1.0.4+Hbase0.94.2+Hive0.9.0  分布式部署安装

Hadoop1.0.4+Hbase0.94.2+Hive0.9.0  分布式部署安装

可视化 作者:petylau 时间:2013-02-28 11:46:44 0 删除 编辑

 

因为个人太懒,所以很多配图没有上传,完整的部署安装教程另外备份了。这里记录一下防止文档丢了Hadoop1.0.4+Hbase0.94.2+Hive0.9.0 <wbr> <wbr>分布式部署安装


Hadoop1.0.4+Hbase0.94.2+Hive0.9.0

分布式部署安装

 

目录

1 服务器配置

2 Hadoop安装

3 Hbase安装

4 Hive安装

版本控制信息

版本

日期

拟稿和修改

说明

1.0

2012-11-27

Yoan.Liang

报文标准初稿(内部版本:1000

 



1       服务器配置

1.1    下载安装JDK

1.2    修改NameNodeDataNode服务器各自的/etc/sysconfig/network文件

修改如下:

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=Master.2.Hadoop

     红字部分为需要修改的主机名称,如该文件没有hostname项则手动添加

1.3    NameNodeDataNode服务器各自的/etc/下建立hostname文件,如果该文件存在则修改,文件内容是你需要设定的主机名称

1.4    修改NameNodeDataNode服务器各自的/etc/hosts文件

         例如:

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1               localhost.localdomain localhost

192.168.29.192          Slave.1.Hadoop  slave1

192.168.29.191          Master.Hadoop   master

192.168.29.193          Slave.2.Hadoop  slave2

::1             localhost6.localdomain6 localhost6

     红字部分为需要添加的主机。

1.5    修改完第一、二项后需要重启服务器

1.6    建立NameNodeDataNode服务器之间相互免登陆SSH

    用各服务器中同样存在的账户登陆,这里以root为例子

   执行netstat –nat命令查看SSH服务是否安装并启动,在输出端口中开到22端口开启后则执行SSH 测试命令 ssh localhost

   提示后输入yes后,出现警告提示并要求输入密码输入密码后,如可正常登陆即SSH安装启动成功。

   返回账户根目录路径下,输入SSH命令ssh-keygen -t rsa 出现提示按回车直至完成。

   进入.ssh目录。该目录在当前账户的根目录下且不被显示,直接输入命令 cd .ssh进入ssh生产密钥的默认目录下,用ls命令看到生成的密钥对id_rsaid_rsa.pub两个文件。

  id_rsa.pub重命名为任意不重复名称后缀为pub的文件,这里将id_rsa.pub重命名为master2.pub

  scp命令复制到各台服务器上(包括本机)的对应账户.ssh目录下。在另外的服务器上执行命令cat master2.pub >> authorized_keys 将公钥导入到文件authorized_keys中。

   导入完成后执行命令 服务器名称>,第一次连接的服务器会出现提示,输入yes记录服务器。现在测试SSH,用命令 主机名>可以免密码相互登陆服务器,则设置成功。

2       Hadoop安装

2.1    wget命令下载Hadoop包文件

下载路径:
http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.4/hadoop-1.0.4.tar.gz

2.2    下载完成后使用命令 压缩包名.tar>

解压完成后目录下出现hadoop文件夹,进入hadoop并在目录下创建tmp文件夹,该文件夹用于Hadoop的临时文件存储。

2.3    修改/etc/profile
新增以下内容:(具体的内容根据你的安装路径修改,这步只是为了方便使用)

          export HADOOP_HOME=/opt/ hadoop-1.0.4

          export PATH=$PATH:$HADOOP_HOME/bin

2.4    进入hadoop/conf目录,修改配置文件hadoop-env.sh,在文件最后加上JDK路径。
# set java environment

export JAVA_HOME=/opt/jdk1.7.0

(红色字部分是当前服务器的JDK路径)

如果当前ssh端口不是默认的22,则需要解除HADOOP_SSH_OPTS的注释并修改端口

例子如下:

          export HADOOP_SSH_OPTS="-p 2547"

修改配置文件core-site.xml在文件中添加hadoop.tmp.dir, fs.default.name

例子

<!-- Put site-specific property overrides in this file. -->

       

                hadoop.tmp.dir

                /opt/hadoop/tmp

               

                        A base for other temporary directories.

                    

       

        <!-- file system properties -->

       

                fs.default.name

                hdfs://192.168.29.143:9000

       

hadoop.tmp.dir是配置hadoop中临时文件的存储位置,这里指向了刚刚创建的tmp文件夹。

fs.default.name则是配置hdfs的路径,这里默认是NameNode9000端口。

修改配置文件hdfs-site.xml,在文件中添加dfs.replication项。该项是配置数据备份数。如DataNode比较多则可以多配几个,要注意的是不能配置多于DataNode个数的值

例子:

<!-- Put site-specific property overrides in this file. -->

       

                dfs.replication

                2

       

修改配置文件mapred-site.xml,在文件中添加mapred.job.tracker项 该项是配置jobTracker的主机。如按照默认则是NameNode9001端口

例子

<!-- Put site-specific property overrides in this file. -->

       

                mapred.job.tracker

                http://192.168.29.191:9001

       

(例子中红色部分是需要修改的jobTracker主机IP

修改配置文件masters,这里指定的是NameNode主机

修改完成后将hadoop文件夹复制到其他机器DataNode服务器上,并修改JDK路径为对应服务器的JDK安装路径。

NameNode服务器修改slaves文件,在文件中配置所有DataNode机器。

进入NameNode服务中hadoop文件夹中的bin目录,执行start-all.shhadoop项目启动。

3    Hbase安装

3.1    进入opt目录下用命令wget 下载Hbase0.94.2,下载地址为

http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.2/hbase-0.94.2.tar.gz

3.2    下载完成后使用命令 压缩包名.tar>

进入解压后的hbase目录下的conf文件夹,修改hbase-site.xml文件。

在文件中添加hbase.rootdirhbase.zookeeper.quorumhbase.zookeeper.property.dataDirhbase.cluster.distributedhbase.masterdfs.support.append六项,修改完成后将文件复制到每台服务器的hadoop项目下的conf文件夹内。

例子:

<!--

 

-->

        hbase.rootdir

        hdfs://Master.Hadoop:9000/hbase

   

   

        hbase.zookeeper.quorum

        Master.Hadoop,Slave.1.Hadoop,Slave.2.Hadoop,Slave.3.Hadoop

   

   

        hbase.zookeeper.property.dataDir

        /opt/hbase/zookeeper

   

   

        hbase.cluster.distributed

        true

   

   

        hbase.master

        Master.Hadoop:6000

   

   

        dfs.support.append

        true

   

(注意:hbase.zookeeper.quorum项上配置全部的hbase服务器,不能用IP只能用hosts上配置的服务器名称,以逗号分隔)

3.3    编辑hbase-env.sh文件

在文件最尾添加

export JAVA_HOME=/opt/jdk1.7.0

export HBASE_SSH_OPTS=" "

export HBASE_PID_DIR=/opt/hbase/pids

export HBASE_MANAGES_ZK=true

3.4    编辑修改conf/regionservers文件

Master.Hadoop

Slave.1.Hadoop

Slave.2.Hadoop

Slave.3.Hadoop

这里添加的是HBaseregion服务器

3.5    复制整个Hbase文件夹到需要部署的服务器相同路径下,并修改对应的JDK及其他相关路径。

3.6    进入hbase目录下的bin文件夹,运行start-hbase.sh启动hbase服务。(如下图)

4       Hive安装

4.1    安装Mysql,并为Hive创建用户及开启远程登录权限 

4.2    下载mysql数据库对应驱动JAR包放到 /home/hive-0.9.0/lib下。

4.3    NameNode服务器上,用wget命令下载Hive项目

下载地址:http://mirror.bit.edu.cn/apache/hive/hive-0.9.0/hive-0.9.0.tar.gz

注意:hive项目只需要安装在NameNode服务器上

4.4    tar命令解压下载的项目压缩包

4.5    删除HADOOP项目下lib文件夹中已有的hbase-0.92.0.jar 以及hbase-0.92.0-tests.jar, 并把hbase中自带的对应jar包拷贝过来

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/389495/viewspace-1119528/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论