ITPub博客

首页 > 大数据 > Hadoop > 4.在win下远程连接hadoop并测试wordcount

4.在win下远程连接hadoop并测试wordcount

Hadoop 作者:Gloriadu 时间:2013-12-31 11:12:10 0 删除 编辑
该文章是在这三篇文章的基础上进行的。
[转载]1.安装和配置cygwin
[转载]2.安装和配置hadoop
[转载]3.Windows下Cygwin环境的Hadoop安装-遇到的问题和解决方法

1. 先把hadoop/deploy/comtrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下,重启eclipse。

2. eclipse中Window -> Open Perspective -> Other 选择Map/Reduce.

3. 在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”
user name(即hadoop的运行用户)4.在win下远程连接hadoop并测试wordcount
并修改Advanced parameters选项卡中的信息。
把dfs.replication改为1,把hadoop.job.ugi改成如下图所示,后面的Tardis是固定的。
4.在win下远程连接hadoop并测试wordcount
重启eclipse,出现下图
4.在win下远程连接hadoop并测试wordcount

我们可以看到,在文章3中上传到data_in的文档file1和file2,并见到执行自带程序wordcount后形成的输出文件data_out及改代码执行成功后的文档。


在eclipse中测试hadoopWordCount代码,改代码在我的博文《在伪分布模式下运行wordcount》中。
出现如下问题
4.在win下远程连接hadoop并测试wordcount
4.在win下远程连接hadoop并测试wordcount

从网上搜索,原因可能是:本地用户administrator(本机windows用户)想要远程操作Hadoop系统,没有权限引起的。
  解决办法:
            a、如果是测试环境,可以取消Hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。
            b、修改Hadoop location参数,在advanced parameter选项卡中,找到hadoop.job.ugi项,将此项改为启动hadoop的用户名即可。
            注意第一次设置的时候可能没有Hadoop.job.ugi参数,报错后在去看就有了。
详细请参考:http://www.codesky.net/article/201202/172933.html
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/802371/viewspace-1119383/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论