ITPub博客

首页 > 大数据 > Hadoop > hadoop配置详解:单机+集群详细完整版

hadoop配置详解:单机+集群详细完整版

Hadoop 作者:pigbysea 时间:2013-04-05 21:38:38 0 删除 编辑
1、前期准备:
①操作系统:Ubuntu12.04LTS;②下载jdk-6u24-linux-i586.bin③下载hadoop-1.0.4.tar.gz
2、安装JDK
①拷贝jdk-6u24-linux-i586.bin到/usr/local/目录下;
②cd /usr/local/执行./jdk-6u24-linux-i586.bin;
③编辑/etc/profile:添加以下语句:
   A、JAVA_HOME=/usr/local/jdk.1.24(jdk名称)
   B、export JRE_HOME=/usr/local/jdk.1.24(jdk名称)/jre
   C、export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
   D、export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
保存/etc/profile文件,并退出
④执行source /etc/profile使得jdk生效
java -version 可以看到你所安装的jdk信息
3、在单节点(伪分布式)环境下运行Hadoop
1、添加 hadoop用户
①创建hadoop组:sudo addgroup hadoop
②增加hadoop用户并将其添加到hadoop组中:adduser --ingroup hadoop hadoop,在此过程中需要为hadoop设置密码
2、配置ssh
安装ssh:sudo apt-get install ssh
配置 SSH使得Hadoop应用能够实现无密码登录:
A、su hadoop
B、ssh-keygen -trsa -P ""
C、cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
解释:第一条命令将当前用户切换为hadoop(如果当前用户就是hadoop,则无需输入),第二条命令将生成一个公钥和私钥对(即id_dsa和id_dsa.pub两个文件,位于~/.ssh文件夹下),第三条命令使得hadoop用户能够无需输入密码通过SSH访问localhost。
D、验证是否设置成功:这时可通过以下命令来验证安装是否成功(如果没有提示输入密码直接登录成功,则说明安装成功):ssh localhost
E、退出远程登录hadoop模式:Ctrl-C
3、 配置Hadoop
①拷贝hadoop-1.0.4.tar.gz到/usr/local中,并用tar -zxvf hadoop-1.0.4.tar.gz进行解压,然后用mv hadoop-1.0.4.tar.gz hadoop对其进行重命名;另外需要将hadoop的用户组组和所有者改为hadoop
注明:Hadoop的配置文件都放在/hadoop/conf这个文件夹下面,主要是四个配置文件,分别是core-site.xml,hadoop-env.sh,hdsf-site.xml和mapred-site.xml
修改conf/hadoop-­‐env.sh,设置JAVA_HOME,在该文件中找到如下行,去掉前面的注释
Thejava implementation to use. Required
export JAVA_HOME=/usr/lib/j2sdk1.5-sun
修改为:
export JAVA_HOME=/usr/local/jdk.1.6.24(jdk名称)
修改core-site.xml内容如下:
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/8649834/viewspace-1119774/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论
  • 博文量
    1
  • 访问量
    1922