ITPub博客

首页 > 大数据 > Hadoop > hadoop安装配置

hadoop安装配置

Hadoop 作者:735051866 时间:2012-12-16 10:50:05 0 删除 编辑

os:redhat 6

hadoop 两个节点,一个master 一个slave

192.168.0.1  master

192.168.0.2. slave

因为在虚拟机上安装的,安装之前确保有足够的磁盘空间,安装之前关闭每台机器的防火墙

1.在每台机器上安装jdk1.6或以上

配置/etc/profile

export JAVA_HOME=/usr/java

export JAVA_BIN=/usr/java/bin

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.java;$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

2.修改每台主机/etc/hosts,增加

192.168.0.1  master

192.168.0.2. slave

3.创建hadoop用户,下面操作都用hadoop用户完成,配置ssh无密码登陆 ,详见上一篇 hadoop安装配置之ssh无密码登陆

4.安装hadoop,下载hadoop-1.1.1.tar.gz放到/usr/local目录下

tar -zvxf hadoop-1.1.1.tar.gz

修改hadoop-1.1.1名称为hadoop

a. 修改hadoop/conf 下的hadoop-env.sh文件

 修改 export JAVA_HOME=/usr/java

b.修改hadoop/conf/masters内容为

master

c.修改hadoop/conf/slaves内容为

slave

d.配置conf/core-site.xml
<configuration>
  <property>
  <name>fs.default.name</name>
 <value>hdfs://master:9000</value>
 </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/tmp</value>
 </property>
</configuration>

e.修改配置conf/mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

</configuration>

f.修改配置conf/hdfs-site.xml

<configuration>

<property>

<name>dfs.name.dir</name>

<value>/home/hadoop/name</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/home/hadoop/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value> 

</property>

</configuration>

拷贝/usr/local/hadoop到slave

scp -r /usr/local/hadoop slave:/usr/local

如果这样不能拷贝先拷贝到slave的/home/hadoop目录下,再在slave上拷贝到/usr/local目录

每台机器上都执行chown -R hadoop:hadoop hadoop

到这里基本上配置完毕,在master上执行/usr/local/hadoop/bin/start-all.sh

查看每台主机上的/usr/local/hadoop/logs/下的日志文件看是否报错

然后执行/usr/local/hadoop/hadoop-example看是否都执行成功


<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22863184/viewspace-1120115/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-11-12