首页 > 大数据 > Hadoop > hadoop安装配置
os:redhat 6
hadoop 两个节点,一个master 一个slave
192.168.0.1
192.168.0.2. slave
因为在虚拟机上安装的,安装之前确保有足够的磁盘空间,安装之前关闭每台机器的防火墙
1.在每台机器上安装jdk1.6或以上
配置/etc/profile
export JAVA_HOME=/usr/java
export JAVA_BIN=/usr/java/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.java;$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
2.修改每台主机/etc/hosts,增加
192.168.0.1
192.168.0.2. slave
3.创建hadoop用户,下面操作都用hadoop用户完成,配置ssh无密码登陆 ,详见上一篇 hadoop安装配置之ssh无密码登陆
4.安装hadoop,下载hadoop-1.1.1.tar.gz放到/usr/local目录下
tar -zvxf hadoop-1.1.1.tar.gz
修改hadoop-1.1.1名称为hadoop
a. 修改hadoop/conf 下的hadoop-env.sh文件
b.修改hadoop/conf/masters内容为
master
c.修改hadoop/conf/slaves内容为
slave
d.配置conf/core-site.xml
<configuration>
</configuration>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
拷贝/usr/local/hadoop到slave
scp -r /usr/local/hadoop slave:/usr/local
如果这样不能拷贝先拷贝到slave的/home/hadoop目录下,再在slave上拷贝到/usr/local目录
每台机器上都执行chown -R hadoop:hadoop hadoop
到这里基本上配置完毕,在master上执行/usr/local/hadoop/bin/start-all.sh
查看每台主机上的/usr/local/hadoop/logs/下的日志文件看是否报错
然后执行/usr/local/hadoop/hadoop-example看是否都执行成功
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/22863184/viewspace-1120115/ ,如需转载,请注明出处,否则将追究法律责任。