ITPub博客

首页 > 大数据 > 可视化 > Windows下Hadoop的搭建

Windows下Hadoop的搭建

可视化 作者:hpwsk 时间:2012-07-19 14:49:23 0 删除 编辑

1.安装JDK

MapReduce 程序的编写和Hadoop 的编译都依赖于JDK,光JRE 是不够的。由于安装JDK对于学习Hadoop的人来说肯定不是问题,这里就不再赘述安装过程了。

2.安装Cygwin

Cygwin 是一个windows下的linux环境模拟工具,我们下载的Cygwin Setup.exe是一个在线安装程序,下载下来Setup.exe之后根据提示一步步安装,建议选择先下载然后安装,这是因为下载有时需要很长的过程,如果边下载边安装可能会出现问题。在安装Cygwin过程中其他选项默认安装,其中Base分支下要选择安装sed, Editors分支下要选择了vim,Net分支下要选择了OpenSSH,所谓选择安装上诉项目就是点击对应项目出现其版本号即可。安装sed是为了在eclipse 上编译Hadoop,安装vim,以方便在Cygwin 上直接修改配置。

3.配置Windows系统变量

需要配置的环境变量为:JAVA_HOME=jre的安装目录,Path=JDKbin目录;Cygwinbin目录;Cygwinusr/bin目录。CYGWIN=ntsec tty

4.安装sshd服务

启动Cygwin,在命令行输入ssh-host-config,出现提示Should privilege separation be used? 时候选择No。当看到Host configuration finished. Have fun! 则表示ssdh服务安装成功。

5.配置sshd服务

首先在服务中启动CYGWIN sshd 服务然后打开Cygwin输入ssh-keygen生成密钥文件,输入ssh -keygen后遇见要输入文字的地方直接按回车,一般是按三次。接下来生成authorized_keys.cd 命令切目录到~/.ssh下执行 cp id_rsa.pub authorized_keys复制生成即可。此时执行exit退出Cygwin.重新打开Cygwin执行ssh localhost,如果是第一次根据提示输入yes.然后执行who命令,如何能查看到当前登录用户信息则表示ssh登录成功。(这里必须复制生成authorized_keys后关闭然后再打开Cygwin否则可能会出错)。

6.下载并安装Hadoop

将下载的的Hadoop安装包解压到本地目录,并修改conf文件夹下的四个配置文件分别是hadoop-env.shcore-site.xmlhdfs-site.xml mapred-site.xml。

修改hadoop-env.sh

hadoop-env.sh中的JAVA_HOME修改成自己的JDK安装路径,由于LinuxWindows环境下路径写法不一样,在复制路径后要将“”改成“/”并且要用Cygwin的驱动,例如JDK安装目录是C: Javajdk1.7.0_03则该配置文件中应该写成JAVA_HOME= /cygdrive/C/Java/jdk1.7.0_03,并将对应的export前面的#号去掉并保存。

修改core-site.xml

为简化core-site.xml 配置 unsrccore目录下core-default.xml 文件复制 runconf 目录下,并将core-default.xml 文件名改成core-site.xml修改fs.default.name 的值,如下所示:

fs.default.name

hdfs://localhost:8888

其中端口号8888根据需要自行设定

修改hdfs-site.xml

为简化hdfs-site.xml 配置,将runsrchdfs 目录下的hdfs-default.xml 文件复制到runconf 目录下,将hdfs-default.xml 文件名改成hdfs-site.xml。改mapred.job.tracker的值,默认为3,这里修改为1,这是因为我们安装的是单机版的伪分布式,故不需要3份备份,只要一份即可,如下所示:

dfs.replication

1

修改mapred-site.xml

为简化mapred-site.xml 配置runsrcmapred下的mapred-default.xml文件复制到runconf 并将mapred-default.xml文件名改成mapred-site.xml修改mapred.job.tracker的值,如下所示:

mapred.job.tracker

localhost:9999

其中端口号9999根据需要自行设定.

至此Hadoop安装完毕!

7.启动Hadoop

Cygwin 中,进入hadoop bin 目录,运行./start-all.sh 启动hadoop,在启动成功之后,可以执行./hadoop fs -ls /命令,查看hadoop 的根目录,至此HadoopWindows平台下安装成功。并可以正式启动。

(详细相关教程http://v-lad.org/Tutorials/Hadoop/00 - Intro.html)

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23207923/viewspace-1120671/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-01-19