首页 > 大数据 > Hadoop > windows上安装hadoop问题总结 ye
ssh localhost
发生错误:ssh: connect to host localhost port 22: Connection refused
因为Cygwin只是自动安装了客户端,服务端没有安装启动,ssh的服务端是作为windows的一个名为sshd的services存在的。
安装服务端,在Cygwin Shell下运行
ssh-host-config
dfs.tmp.dir
如果dfs.name.dir与dfs.data.dir分别位于两个不同的tmp目录下(这是由于namenode是在cygwin下用$USER启动的,而datanode是hadoop通过ssh,使用cyg_server启动),可以通过conf/hadoop.env中配置:
export
HADOOP_IDENT_STRING=当前cygwin登录用户名
另外,虽然我们为hadoop配置的dfs.tmp.dir目录是/tmp/hadoop-用户名,但是在cygwin下,有些数据会被写入到cygwin安装盘(假定cygwin安装在C:cygwin下)所在的根目录的tmp目录下,这也是cygwin与java对posix路径名处理不一致导致,由于有些数据写在C:cygwin mp下,有些写在了C: mp下(这些数据本来应该写在一起),会导致hdfs启动失败,为了解决这个问题,建议通过windows的cmd模式在cygwin的安装盘下建立一个ntfs的符号链接,如:
Junction C: mp
C:cygwin mp (Junction需安装)
运行wordcount时报错:
java.io.FileNotFoundException:
File
C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005040912_0002/attempt_201005040912_0002_m_000006_0/work/tmp
does not exist.
解决:是因为没有设置中间的暂存目录
在mapred-site.xml中:
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/699325/viewspace-1119814/ ,如需转载,请注明出处,否则将追究法律责任。