ITPub博客

首页 > 大数据 > Hadoop > 【转载】Win7 Cygwin下安装Hadoop1.0.2 dy

【转载】Win7 Cygwin下安装Hadoop1.0.2 dy

Hadoop 作者:windytao 时间:2013-02-02 13:59:58 0 删除 编辑


安装步骤如下:

1:安装了ssh [windows版本的]

2: 安装了JDK[windows版本的]

/cygdrive/d/JAVA/jdk1.7.0/

3:下载hadoop-1.0.2.tar.gz

解压在目录d:/hadoop/下

4:进入hadoop-1.0.4

编辑conf如下配置文件


A: hadoop-evn.sh

将原来的#export JAVA_HOME=...替换为

export JAVA_HOME=/cygdrive/d/JAVA/jdk1.7.0/ 

注意和后面的#隔一个空格


B:core-site.xml

配置如下

 

      

  fs.default.name     

  hdfs://localhost:9000   

  

    

     hadoop.tmp.dir   

     /hadoop/temp   

 


C:hdfs-site.xml

 首先创建hadoop的hdfs的name和data目录

mkdir /hadoop/hsdf/name

mkdir /hadoop/hsdf/data

也可以手动在相应文件夹下创建目录

 

 

    

  dfs.name.dir   

      /hadoop/hdfs/name   

    

    

     dfs.data.dir   

     /hadoop/hdfs/data   

    

      

 dfs.replication     

 1   

 

  

D: mapred-site.xml

首先创建hadoop的mapred的local和system目录 

mkdir /hadoop/mapred/local

mkdir /hadoop/mapred/system

也可以手动在相应文件夹下创建目录


 

      

  mapred.job.tracker     

  localhost:9001   

 

    

      mapred.local.dir   

    /hadoop/mapred/local   

    

    

    mapred.system.dir   

    /hadoop/mapred/system   

 

 

E:配置masters和slaves文件

localhost   

原文件已有可不修改

6:格式化namenode

先到hadoop当前目录下

 

$ cd d:/hadoop

再进行格式化

$ bin/hadoop namenode -format 

 

 

13/02/01 13:30:21 INFO namenode.NameNode: STARTUP_MSG:

/ ************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = dy-PC/192.168.1.101

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 1.0.2

STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0.2 -r 1304954; compiled by 'hortonfo' on Sat Mar 24 23:58:21 UTC 2012

************************************************************ /

13/02/01 13:30:22 INFO util.GSet: VM type       = 32-bit

13/02/01 13:30:22 INFO util.GSet: 2% max memory = 19.33375 MB

13/02/01 13:30:22 INFO util.GSet: capacity      = 2^22 = 4194304 entries

13/02/01 13:30:22 INFO util.GSet: recommended=4194304, actual=4194304

13/02/01 13:30:26 INFO namenode.FSNamesystem: fsOwner=dy

13/02/01 13:30:26 INFO namenode.FSNamesystem: supergroup=supergroup

13/02/01 13:30:26 INFO namenode.FSNamesystem: isPermissionEnabled=true

13/02/01 13:30:26 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100

13/02/01 13:30:26 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)

13/02/01 13:30:26 INFO namenode.NameNode: Caching file names occuring more than 10 times

13/02/01 13:30:27 INFO common.Storage: Image file of size 108 saved in 0 seconds.

13/02/01 13:30:27 INFO common.Storage: Storage directory hadoophdfs ame has been successfully formatted.

13/02/01 13:30:27 INFO namenode.NameNode: SHUTDOWN_MSG:

/ ************************************************************

SHUTDOWN_MSG: Shutting down NameNode at dy-PC/192.168.1.101

************************************************************ /


 

 7:启动

启动hadoop

$ bin/start-all.sh

starting namenode, logging to /cygdrive/d/hadoop/libexec/../logs/hadoop-dy-namenode-dy-PC.out

localhost: starting datanode, logging to /cygdrive/d/hadoop/libexec/../logs/hadoop-dy-datanode-dy-PC.out

localhost: starting secondarynamenode, logging to /cygdrive/d/hadoop/libexec/../logs/hadoop-dy-secondarynamenode-dy-PC.out

starting jobtracker, logging to /cygdrive/d/hadoop/libexec/../logs/hadoop-dy-jobtracker-dy-PC.out

localhost: starting tasktracker, logging to /cygdrive/d/hadoop/libexec/../logs/hadoop-dy-tasktracker-dy-PC.out




现在可以登录

localhost:50030 

localhost:50070 

查看是否配置成功


8:关闭

关闭hadoop

$ bin/stop-all.sh


原文地址:http://hi.baidu.com/huareal/item/9b2a489844376fb3cc80e509

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/22335849/viewspace-1120667/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-08-13