ITPub博客

首页 > 大数据 > Hadoop > 部署hadoop伪分布式的基本步骤

部署hadoop伪分布式的基本步骤

Hadoop 作者:Vino1990 时间:2012-07-19 11:06:20 0 删除 编辑
1、安装jdk
2、下载并解压hadoop,在解压后,进入文件夹conf,修改hadoop-env.sh,设置JAVA_HOME的路径为安装的jdk路径,添加HADOOP_HOME为解压缩后的hadoop路径,设置系统的环境变量PATH为export PATH=$PATH:/hadoop目录/bin
3、进入解压缩后hadoop目录下的conf目录,修改core-site.xml、hdfs-site.xml、mapred-site.xml文件
如下:
1)修改conf/core-site.xml:

   
     fs.default.name  
     hdfs://localhost:9000  
     

  
     hadoop.tmp.dir
     /tmp/hadoop/hadoop-${user.name}
  



2)修改conf/mapred-site.xml:
  
  
mapred.job.tracker  
localhost:9001  
  


3)修改conf/hdfs-site.xml:
  
  
dfs.replication  
1  
  
 
4、配置SSH.包括安装,重要一步是生成密钥,用来启用无密码登陆
   ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   测试:ssh localhost ,无密码即可登录

5、格式化HDFS文件系统。格式化过程中创建了一个空的文件系统,由namenode管理文件系统的元数据,datanode自由加入或者离开集群。hadoop namenode -format

6、启动守护进程:bin下面的脚本文件:./start-all.sh 
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/24250188/viewspace-1120334/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-07-16