ITPub博客

首页 > 大数据 > Hadoop > CentOS6.4下Hadoop伪分布安装

CentOS6.4下Hadoop伪分布安装

原创 Hadoop 作者:熊深圳 时间:2015-04-05 20:25:02 0 删除 编辑
1.系统介绍及所需软件:

VMware Workstation,Secure Shell Client,

(CentOS-6.4-x86_64-bin-DVD1.iso,jdk-7u67-linux-x64,Hadoop-2.2.0)

注:低版本的hadoop原生版本是32位,后来高版本的都是64位的,至于从何版本开始,可到官网查,因为不知道这一点试了好多次都没有成功。

2.永久关闭防火墙,不然ssh无密码连接时可能会无法连接。执行如下命令

3.进入/etc/hosts添加自己的IP地址和主机名。如

4.安装jdk并配置环境变量。(此处用的是RPM包)。

安装命令:rpm -ivh jdk-7u67-linux-x86.rpm

进入/etc/profile文件,添加Java环境变量

执行source /etc/profile 刷新配置文件

5.创建新用户并配置新用户免密码和用户目录。

useradd hadoop

passwd hadoop

mkdir -p /home/Hadoop

chown hadoop:hadoop /home/hadoop/*

chmod 755 /home/hadoop/*

6.hadoop用户下安装hadoop(我安装版本hadoop-2.2.0)

 使用ssh上传文件到机器(hadoop用户下)

 解压安装tar -zvxf hadoop-2.2.0.tar.gz

在/etc/profile文件下添加环境变量,如下

保存配置文件

执行source /etc/profile 使其立即生效

7.进行配置文件的修改,版本不同配置文件位置会不同。

hadoop-env.sh 文档添加Java路径

  以下
data  tmp  name文件要事先建立。

core-site.xml文档添加如下信息

       

hdfs-site.xml文档添加如下信息
 

mapred-site.xml文档添加如下信息


8.设置免密码登陆

在hadoop用户下执行免密码登陆的操作。

1.ssh-keygen –t rsa 直接按回车。文件选择要安放的路径时,直接按回车默认。

2.找到一个.ssh的隐藏文件。(路径会在上一步操作中显示)

3.使id_rsa.pub 文件成为公钥执行下列命令

cp id_rsa.pub authorized_keys

9.测试

在hadoop主目录下执行下列命令。

bin/hadoop namenode –format(这是格式化存放数据的目录)

bin/start-all.sh(启动节点,相对的bin/stop-all.sh关闭节点)

jps    (会显示六个节点包含jps,便是安装成功)

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/30172158/viewspace-1503038/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2015-03-21

  • 博文量
    26
  • 访问量
    496633