ITPub博客

首页 > 大数据 > Hadoop > Windows下安装Hadoop

Windows下安装Hadoop

Hadoop 作者:mxm289292649 时间:2014-01-01 13:27:57 0 删除 编辑
1.下载Cygwin,运行Setup.exe,记得安装Sed、Openssh、Openssl,安装目录为d:cygwin。
2.安装JDK,设置Windows环境变量,添加JAVA_HOME,值为java安装目录,添加CLASSPATH,值为.
  1. ;%JAVA_HOME%lib ools.jar;%JAVA_HOME%dt.jar  
,在Path变量中添加%JAVA_HOME%in
3.设置Windows环境变量,添加CYGWIN变量,值为ntsec tty,Path变量中添加d:cygwin;d:cygwinin,
4.将cygwin安装的快捷方式设置兼容性,以管理员权限运行。
5.下载hadoop 0.20.2版本(当前最新版为1.0.1,但是运行jobtracer会出现set permission错误,
  1. java.io.IOException: Failed to set permissions of path: file:XXX to 0700  
5.运行cygwin
6.更改目录权限
  1. chmod +r /etc/group  
  2. chmod +r /etc/passwd  
  3. chmod +rwx /var  
7.运行ssh-host-config
   提示 if privilege separation should be used时,输入no
   提示 if sshd should be installed as a service时,输入yes
   提示 the value of CYGWIN environment variable时,输入ntsec
   提示 Do you want to use a different name时,输入no
   提示 Create new privileged user account 'cyg_server'?时,输入no
   提示 Do you want to proceed anyway?时,输入yes
8.打开Windows服务管理页面,找到CYGWIN sshd服务,设置属性,选择登录,选择有管理员权限的用户和对应的Windows登录密码
9.回到cygwin,运行
  1. cygrunsrv -S sshd  

启动sshd服务。
10.在本地生成空密码的公钥和私钥,运行

  1. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
11.配置本地访问不需要密码,运行
  1. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
12.测试本地访问
  1. ssh localhost  
没有使用过ssh连接localhost, 那么会有提示添加localhost到knowhosts中去,然后要求输入密码,记得运行exit,退出ssh。
13.将下载的hadoop拷贝到cygwin当前目录下,运行
  1. tar xvzf hadoop-0.20.2.tar.gz  
解压将产生hadoop软件目录。
14.删除hadoop-0.20.2.tar.gz,运行
  1. rm hadoop-0.20.2.tar.gz  
15.在hadoop安装目录下,建日志目录
  1. mkdir logs  
  2. chmod 777 logs  
16.建立jdk link,比如jdk在d:program filesJavajdk1.6.31目录下
  1. ln -s "cygdrive/d/Program Files/Java/jdk1.6.31" "/usr/local/jdk"  

17.打开hadoop安装目录下的conf目录,编辑hadoop-env.sh,添加

  1. export JAVA_HOME=/usr/local/jdk  
18.修改hadoop目录下conf目录下的core-site.xml
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/10401738/viewspace-1119382/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论
  • 博文量
    1
  • 访问量
    3206