ITPub博客

首页 > Linux操作系统 > Linux操作系统 > eclipse连接hadoop

eclipse连接hadoop

原创 Linux操作系统 作者:olivianing 时间:2013-08-31 21:04:18 0 删除 编辑

1. 准备:

 

    linux上已经安装好hadoop集群或者单机;

 

    windows上有个hadoop-0.20.2文件夹;

 

    Eclipse Europa 3.3.2

    (勿使用其他版本,测试没通过)下载地址: http://www.eclipse.org/downloads/packages/release/europa/winter

 

2. 安装eclipse插件:

 

    把hadoop-0.20.2/contrib/eclipse-plugin下的hadoop-0.20.2-eclipse-plugin.jar文件拷到eclipse 的plugins目录下,重启eclipse,在Window-》Open Perspective-》other,弹出的窗口中应该有一项Map/Reduce项,代表安装成功了。如果没有的话,把eclipse下的 configuration/org.eclipse.update文件夹删了,再重启eclipse。

 

 

 

 

 

3. 配置环境:

 

 

启动eclipse,转到Map/Reduce Perspective,在上图的Map/Reduce Locations里,新建一个Location,填入以下值

    * Location Name -- localhost
    * Map/Reduce Master  (mapred.job.tracker中配置的jobtracker地址和端口)
          o Host -- 10.125.50.20
          o Port -- 50021
    * DFS Master (fs.default.name中配置的host和端口)
          o Host -- hd021-test.nh.**
          o Port -- 8020
    * User name -- lxw (用来提交mr任务的用户名)

 

 

 

 

 

4. 上传文件到hdfs:

 

   hadoop fs -put 10.125.50.20.pub /user/lxw/input/

   这时,在eclipse的Project explorer的DFS location中,应该能反应变化,没有的话,reconnect一下

 

   

 

 

 

5. 创建Map/Reduce Project:

 

   右键点击  Project Explorer 窗口,选择 New -> Project.. 找到 Map/Reduce Project, 点Next ,输入名字。

 

   点击下面的Config Hadoop Install Directiory,输入Hadoop的目录,如:D:\hadoop-0.20.2

 

  

 

6. 新建mr程序:

 

 右键点击新创建的 Hadoop 工程,选择  New -> Other 转到 Map/Reduce 文件夹, 选择 MapReduceDriver 然后点击 Next ,输入名字,点击Finish。

 

这样会自动生成一些代码,不用管,直接删掉,然后写自己的mr程序即可;

 

7. 运行mr程序:

 

选择 Run As --> Run on Hadoop. 弹出以下窗口:

 

 

选择 "Choose existing hadoop location" , 然后选择刚才创建的hadoop配置信息,点击fihish即可开始运行;

 

参考:http://superlxw1234.iteye.com/blog/1583164

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28598517/viewspace-771992/,如需转载,请注明出处,否则将追究法律责任。

上一篇: hive hbase集成
下一篇: hadoop 生态系统
请登录后发表评论 登录
全部评论

注册时间:2013-02-09

  • 博文量
    27
  • 访问量
    115444