ITPub博客

首页 > 大数据 > Hadoop > Eclipse hadoop插件安装

Eclipse hadoop插件安装

Hadoop 作者:rmb81 时间:2013-02-27 17:52:02 0 删除 编辑

1、环境

Eclipse3.7

Hadoop-0.20.2

 

2、插件安装

安装这个插件很简单,haoop-0.20.2自带一个eclipse的插件,在hadoop目录下的 contribeclipse-pluginhadoop-0.20.2-eclipse-plugin.jar,把这个文件copy到 eclipse的eclipseplugins

目录下,然后启动eclipse就算完成安装了。

这里说明一下,haoop-0.20.2自带的eclipse的插件只能安装在eclipse 3.3上才有反应,而在eclipse 3.7上运行hadoop程序是没有反应的,所以要针对eclipse 3.7重新编译插件。

另外简单的解决办法是下载第三方编译的eclipse插件,下载地址为:

http://code.google.com/p/hadoop-eclipse-plugin/downloads/list

由于我用的是Hadoop-0.20.2,所以下载hadoop-0.20.3-dev-eclipse-plugin.jar.

然后将hadoop-0.20.3-dev-eclipse-plugin.jar重命名为hadoop-0.20.2-eclipse-plugin.jar,把它copy到eclipse的eclipseplugins目录下,然后启动eclipse完成安装。

 

如图:

计算机生成了可选文字: 国preferences 巨。。.te,text 二{回 HadooPMaP/Reduce 中, 阅r阅r General Ant DataManagement HadoopMaP/Reduce :Help HQLeditor In,tall/Update Java JavaEE Javapersistence Javascript JBossTools Maven Mylyn pIug一inDevelopment RemoteSystems Run/Debug Server spring 卜Team Termina! 卜UsageDataCollector Validation 卜Web 卜WebService' 卜XML 日。doo。;nst。:。tiondorecto,:o:、50、。re、M,or、卜。doo姚卜。doop一0.20.2【srowse…} ⑦ 1Restoreo·f…t·{{App'y】 1oK」【c一‘}

 

 

如果插件没生效(没有出现Hadoop Map/Reduce选项),那么可以CMD 进入eclipse目录 输入“eclipse -clean”进行启动就可以使hadoop插件生效了。

 

3、插件安装后,配置连接参数

插件装完了,启动hadoop,然后就可以建一个hadoop连接了,就相当于eclipse里配置一个 weblogic的连接。

第一步,如图,打开Map/Reduce Locations 视图,在右上角有个大象的标志点击

Eclipse <wbr>hadoop插件安装

第二步,在点击大象后弹出的对话框进行进行参数的添加,如下图

计算机生成了可选文字: 瀚Edit日adoopIocation… 一l 回 DefineHadooPI.tion De石nethelocationofaHadoopinfrastructureforrunningMapReduceapplications. General}Advancedparameters Locationname:卜adoop_192.168.73.131 Map/ReduceMaster Host:192.168.73.131 port:9001 Username:smart DFSMaster 口U、eM/RMa、ter卜ost Host:192.168.73.131 port:9000 Loadfrom6le ⑦ 「,n'Sh习

location name: 这个随便填写,我填写的是:hadoop_192.168.73.131.

Map/Reduce Master 这个框里

Host:就是jobtracker 所在的集群机器,这里写192.168.73.131

Hort:就是jobtracker 的port,这里写的是9001

这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port 

DFS Master 这个框里

Host:就是namenode所在的集群机器,这里写192.168.73.131

Port:就是namenode的port,这里写9000

这两个参数就是core-site.xml里面fs.default.name里面的ip和port

(Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所

以是一样的,就勾选上)

 user name:这个是连接hadoop的用户名,因为我是用smart用户安装的hadoop,而且没建立其他的用户,所以就用smart。

下面的不用填写。

然后点击finish按钮,此时,这个视图中就有多了一条记录。


 第三步,重启eclipse并重新编辑刚才建立的那个连接记录,如图现在我们编辑advance parameters tab页

计算机生成了可选文字:

(重启编辑advance parameters tab页原因:在新建连接的时候,这个advance paramters  tab页面的一些属性会显示不出来,显示不出来也就没法设置,所以必须重启一下eclipse再进来编辑才能看到)

这里大部分的属性都已经自动填写上了,其实就是把core-defaulte.xml、hdfs-defaulte.xml、mapred- defaulte.xml里面的一些配置属性展示出来。因为在安装hadoop的时候,其site系列配置文件里有改动,所以这里也要弄成一样的设置。主 要关注的有以下属性:

fs.defualt.name:这个在General tab页已经设置了

mapred.job.tracker:这个在General tab页也设置了

dfs.replication:这个这里默认是3,因为我在hdfs-site.xml里面设置成了1,所以这里也要设置成1

hadoop.job.ugi:刚才说看不见的那个,就是这个属性,这里要填写:smart,Tardis,逗号前面的是连接的hadoop的用户,逗号后面就写死Tardis

然后点击finish,然后就连接上了,连接上的标志如图:

计算机生成了可选文字: .勺DFSLocations ‘脸卜adoop_192.168.73.131 ‘臼(2) ·…臼user(i)一 日匕Sm日rt(2) ,公test一in(2) 山testl.txt(12.0b,rZ) 口testZ.txt(13.0b,rZ) ‘公test一out(2) ,臼_1095(1) ‘公history(2) ,nginx一server-13 _nginx一server--13 Lpart一r一以沁00(25.0b,r t>2乡usr(1) 已Proj

DFS Locations下面会有一只大象,下面会有一个文件夹,即 hdfs的根目录,这里就是展示的分布式文件系统的目录结构了。

 

到这里为止,Eclipse hadoop开发环境配置已经完全搭建完毕。最后,就可以在eclipse中像一般java程序那样开发hadoop程序了。哈哈,搞定!

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/22303074/viewspace-1120471/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-08-09