第一步:配置机器ip和网络环境,关闭防火墙,启动ssh服务 ,修改 /etc/hosts
使用setup命令
Firewall configuration disabled
System services ssh 退出setup 执行命令:/sbin/service sshd start
修改/etc/hosts : vi
/etc/hosts 添加 192.168.128.135(虚拟机IP) master
第二步:安装jdk,设置环境变量
jdk版本:jdk-7u21-linux-i586.tar.gz
安装jdk: tar -zxvf
jdk-7u21-linux-i586.tar.gz
设置环境变量:vi /etc/profile
添加:export JAVA_HOME=/home/ocdc/app/jdk (jdk安装路径)
export HADOOP_HOME=/home/ocdc/app/hadoop-1.0.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
手动使环境变量生效: source /etc/profile
测试: jps
第三步:生成免密匙登陆
输入命令:ssh-keygen
cd .ssh
cat id_rsa.pub > authorized_keys
chmod go-wx
authorized_keys
第四步: 安装hadoop并设置环境变量
hadoop版本:hadoop-1.0.3.tar.gz
安装hadoop:tar -zxvf hadoop-1.0.3.tar.gz
1.HDFS
NameNode,DataNode组建配置 ----->core-site.xml
fs.default.name
hdfs://master:9000
<!--hadoop namenode 服务器地址和端口,以域名形式-->
fs.checkpoint.dir
/home/hadoop/hdfs
<!--hadoop secondary 数据存储路径,可以配置成多个目录,用,号分隔。-->
2.HDFS
NameNode,DataNode组建配置 -------->hdfs-site.xml
dfs.name.dir
/home/hadoop/hdfs/name
dfs.data.dir
/home/hadoop/hdfs/data
<!-- HDFS数据文件 存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔-->
dfs.http.address
master:50070
<!---HDFS Web查看主机和端口-->
dfs.secondary.http.address
master:50090
<!--辅控HDFS web查看主机和端口-->
3.MapReduce JobTracker TaskTracker 启动配置 -------->mapred-site.xml
mapred.job.tracker
master:9001
<!--JobTracker rpc主机和端口-->
mapred.local.dir
/home/hadoop/mapred
<!--MapReduce 产生的中间文件数据,按照磁盘可以配置-->
true
mapred.system.dir
/home/hadoop/mapred/mrsystem
true
<!-- MapReduce的系统控制文件-->
第五步:hadoop单机系统启动执行和异常检查
格式化文件namenode
/home/ocdc/app/hadoop/bin/hadoop namenode -format
启动hadoop服务
/home/ocdc/app/hadoop/bin/start-all.sh
停止,命令相同,将start换为stop
出现错误可查看日志
tail -f
/home/ocdc/app/hadoop/logs/*
第六步:检查是否部署启动成功
#检查 namenode 和 datanode 是否正常 http://master:50070/
#检查
jobtracker 和
tasktracker 是否正常
http://master:50030/
#检查 hdfs 是否正常
hadoop fs -ls /
hadoop fs -mkdir /data/
hadoop fs -put xxx.log /data/
#检查 mapreduce 是否正常
hadoop jar hadoop-examples-1.0.3.jar pi 100
100
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26834311/viewspace-1063268/
,如需转载,请注明出处,否则将追究法律责任。