ITPub博客

首页 > 大数据 > Hadoop > Hadoop的安装-2.伪分布模式

Hadoop的安装-2.伪分布模式

Hadoop 作者:wangqirong1988 时间:2014-02-20 14:55:17 0 删除 编辑

adoop是Apache基金会下的一个开源云计算平台项目。当前最新版本是hadoop 0.20.1。下面就hadoop 0.20.1为蓝本,介绍在Ubuntu Linux 9.10下安装hadoop的方法。
支持的平台:
  Linux,可作为开发和产品部署的平台;
  Windows,可作为开发平台。
事先需要的软件:
  1.JavaTM1.6.x,必须安装,建议选择Sun公司发行的Java版本;
  2.ssh必须安装,并保证sshd运行,hadoop将以ssh进行通讯;
  3.如果是windows,则需要装Cygwin,用以支持shell命令。
安装可用的模式:
  1.本地模式;
  2.伪分布模式;
  3.全分布模式。
伪分布模式安装步骤:
  1.将hadoop安装包解压缩到某目录下;
  2.修改conf/hadoop-env.sh文件,export JAVA_HOME=那行设置正确的JAVA_HOME位置,并且把前面JAVA_HOME的"#"去掉!
  3.修改conf/core-site.xml,改为:

 
    fs.default.name
    hdfs://localhost:9000
 

  4.修改conf/hdfs-site.xml,改为:

 
    dfs.replication
    1
 

  5.修改conf/mapred-site.xml,改为:

 
    mapred.job.tracker
    localhost:9001
 

  6.设置本机ssh本机无密码
   先测试一下,输入命令ssh localhost,如果提示密码,则需要进行以下操作:
     $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
     $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  7.格式化namenode:
     $ bin/hadoop namenode -format
  8.启动Hadoop:
     $ bin/start-all.sh
 

  至此,hadoop伪分布模式安装完毕!
*NameNode-http://localhost:50070/
*JobTracker-http://localhost:50030/
查看状态
测试1
将输入文件拷贝到分布式文件系统:$bin/hadoop fs -put conf input       //把conf 文件夹 放到 HDFS里
运行发行版提供的示例程序:$bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'    //搜索input 里的所有文件 dfs开头的文件
或者:$bin/hadoop jar hadoop-*-examples.jar wordcount input output //统计input 里的所有单词数
查看输出文件:
        将输出文件从分布式文件系统拷贝到本地文件系统查看:
       $bin/hadoop fs -get output output
       $cat  output/*
或者
在分布式文件系统上查看输出文件
成全部操作后,停止守护进程:$bin/stop-all.sh

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23715230/viewspace-1114353/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-04-13