ITPub博客

首页 > 大数据 > Hadoop > windows上安装hadoop问题总结 ye

windows上安装hadoop问题总结 ye

Hadoop 作者:Hawl 时间:2013-04-07 16:00:16 0 删除 编辑
ssh:
安装Cygwin过程中,选择OpenSSH包。安装完成后,运行ssh -V,查看版本无误。运行

ssh localhost

发生错误:ssh: connect to host localhost port 22: Connection refused

因为Cygwin只是自动安装了客户端,服务端没有安装启动,ssh的服务端是作为windows的一个名为sshd的services存在的。

安装服务端,在Cygwin Shell下运行

ssh-host-config


dfs.tmp.dir

 

如果dfs.name.dir与dfs.data.dir分别位于两个不同的tmp目录下(这是由于namenode是在cygwin下用$USER启动的,而datanode是hadoop通过ssh,使用cyg_server启动),可以通过conf/hadoop.env中配置:
export HADOOP_IDENT_STRING=当前cygwin登录用户名

另外,虽然我们为hadoop配置的dfs.tmp.dir目录是/tmp/hadoop-用户名,但是在cygwin下,有些数据会被写入到cygwin安装盘(假定cygwin安装在C:cygwin下)所在的根目录的tmp目录下,这也是cygwin与java对posix路径名处理不一致导致,由于有些数据写在C:cygwin mp下,有些写在了C: mp下(这些数据本来应该写在一起),会导致hdfs启动失败,为了解决这个问题,建议通过windows的cmd模式在cygwin的安装盘下建立一个ntfs的符号链接,如:
Junction C: mp C:cygwin mp (Junction需安装)
 上面的命令会让C:下的tmp指向cygwin目录下的tmp目录,这样无论写哪个目录都最终写到同一个位置


运行wordcount时报错:

java.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005040912_0002/attempt_201005040912_0002_m_000006_0/work/tmp does not exist.

解决:是因为没有设置中间的暂存目录

在mapred-site.xml中:
添加:

  mapred.child.tmp
  /home/hadoop-0.20.1/temp


<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/699325/viewspace-1119814/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2011-06-30