ITPub博客

首页 > 大数据 > Hadoop > hadoop 单机版部署步骤

hadoop 单机版部署步骤

原创 Hadoop 作者:mx739150 时间:2013-12-13 22:19:00 0 删除 编辑
第一步:配置机器ip和网络环境,关闭防火墙,启动ssh服务 ,修改 /etc/hosts
使用setup命令
Firewall configuration    disabled 
System services           ssh    退出setup   执行命令:/sbin/service sshd start
修改/etc/hosts : vi /etc/hosts  添加 192.168.128.135(虚拟机IP) master
第二步:安装jdk,设置环境变量
jdk版本:jdk-7u21-linux-i586.tar.gz
安装jdk:  tar -zxvf  jdk-7u21-linux-i586.tar.gz
设置环境变量:vi /etc/profile
添加:export JAVA_HOME=/home/ocdc/app/jdk (jdk安装路径)
         export HADOOP_HOME=/home/ocdc/app/hadoop-1.0.3
         export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
手动使环境变量生效: source /etc/profile
测试: jps
第三步:生成免密匙登陆
输入命令:ssh-keygen
             cd .ssh
             cat id_rsa.pub > authorized_keys 
             chmod go-wx  authorized_keys
第四步:  安装hadoop并设置环境变量
hadoop版本:hadoop-1.0.3.tar.gz
安装hadoop:tar -zxvf hadoop-1.0.3.tar.gz
1.HDFS NameNode,DataNode组建配置  ----->core-site.xml

 
    fs.default.name
hdfs://master:9000
<!--hadoop namenode 服务器地址和端口,以域名形式-->
 


    fs.checkpoint.dir
    /home/hadoop/hdfs
    <!--hadoop secondary 数据存储路径,可以配置成多个目录,用,号分隔。-->
 


2.HDFS NameNode,DataNode组建配置 -------->hdfs-site.xml


    dfs.name.dir
/home/hadoop/hdfs/name
     
 

 
    dfs.data.dir
/home/hadoop/hdfs/data
<!-- HDFS数据文件 存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔-->
   
 


  dfs.http.address
master:50070
<!---HDFS Web查看主机和端口-->
 

 
    dfs.secondary.http.address
master:50090
<!--辅控HDFS web查看主机和端口-->
 


3.MapReduce JobTracker TaskTracker 启动配置  -------->mapred-site.xml


    mapred.job.tracker
master:9001
<!--JobTracker rpc主机和端口-->
 


    mapred.local.dir
/home/hadoop/mapred
<!--MapReduce 产生的中间文件数据,按照磁盘可以配置-->
    true
 
 

    mapred.system.dir
    /home/hadoop/mapred/mrsystem
true
<!-- MapReduce的系统控制文件-->
 
 

第五步:hadoop单机系统启动执行和异常检查
格式化文件namenode
/home/ocdc/app/hadoop/bin/hadoop namenode -format
启动hadoop服务
/home/ocdc/app/hadoop/bin/start-all.sh
停止,命令相同,将start换为stop
出现错误可查看日志
 tail -f /home/ocdc/app/hadoop/logs/*
第六步:检查是否部署启动成功
#检查 namenode 和 datanode 是否正常  
http://master:50070/ 
#检查 jobtracker 和 tasktracker 是否正常 http://master:50030/
#检查 hdfs 是否正常

hadoop fs -ls /

hadoop fs -mkdir /data/

hadoop fs -put xxx.log /data/

#检查 mapreduce 是否正常

hadoop jar hadoop-examples-1.0.3.jar pi 100 100




























来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26834311/viewspace-1063268/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2013-12-12

  • 博文量
    5
  • 访问量
    180547