ITPub博客

首页 > 大数据 > 可视化 > windows上基于eclipse的hadoop开发环境配置&实例wordCount的一些问题

windows上基于eclipse的hadoop开发环境配置&实例wordCount的一些问题

可视化 作者:mpegnet 时间:2013-02-19 12:32:43 0 删除 编辑

1.eclipse3.5是最完美最容易安装配置hadoop开发环境的;3.7以上版本需要重新编译hadoop的eclipse插件(如hadoop1.0.4的插件为hadoop-eclipse-plugin-1.0.4)才能使用,网上可以搜到,本人未亲测eclipse3.7以上的版本,只试过myeclipse,但不成功。

 

2.插件安装配置过程可参考:http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html

 

3.一般配置完后在Project Explorer中点击DFS Locations-->HadoopTest1下的文件夹(1),括号中是文件夹下文件的数量,会显示错误:error: failure to login,弹出的错误提示框内容为"An internal error occurred during: "Connecting to DFS hadoop". org/apache/commons/configuration/Configuration". 经过察看Eclipse的log,发现是缺少jar包导致的。进一步查找资料后,发现直接复制hadoop-eclipse-plugin-1.0.4.jar,该包中lib目录下缺少了jar包。

    解决方法:首先要对hadoop-eclipse-plugin-0.20.203.0.jar进行修改。用归档管理器打开该包,发现只有commons-cli-1.2.jar 和hadoop-core.jar两个包。将HADOOP_HOME/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和 jackson-mapper-asl-1.0.1.jar 等5个包复制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目录下;然后,修改该包META-INF目录下的MANIFEST.MF,将classpath修改为一下内容:

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar;最后,重新把插件复制到eclipse的plugins文件夹下。

 

4.异常:Failed to set permissions of path: mphadoop-AdministratormapredstagingAdministrator-4954228.staging to 0700。

    这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。问题主要出自/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue()方法,可以把方法内的代码注释掉,然后重新打包hadoop-core-1.0.4.jar(可以自己重新编译,或者在网上下载别人改好的)

    解决方法参考:http://blog.csdn.net/mengfei86/article/details/8155544

 

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/2467549/viewspace-1119530/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2007-12-15