首页 > 大数据 > Hadoop > Eclipse hadoop插件安装
1、环境
Eclipse3.7
Hadoop-0.20.2
2、插件安装
安装这个插件很简单,haoop-0.20.2自带一个eclipse的插件,在hadoop目录下的 contribeclipse-pluginhadoop-0.20.2-eclipse-plugin.jar,把这个文件copy到 eclipse的eclipseplugins
目录下,然后启动eclipse就算完成安装了。
这里说明一下,haoop-0.20.2自带的eclipse的插件只能安装在eclipse 3.3上才有反应,而在eclipse 3.7上运行hadoop程序是没有反应的,所以要针对eclipse 3.7重新编译插件。
另外简单的解决办法是下载第三方编译的eclipse插件,下载地址为:
http://code.google.com/p/hadoop-eclipse-plugin/downloads/list
由于我用的是Hadoop-0.20.2,所以下载hadoop-0.20.3-dev-eclipse-plugin.jar.
然后将hadoop-0.20.3-dev-eclipse-plugin.jar重命名为hadoop-0.20.2-eclipse-plugin.jar,把它copy到eclipse的eclipseplugins目录下,然后启动eclipse完成安装。
如图:

如果插件没生效(没有出现Hadoop Map/Reduce选项),那么可以CMD 进入eclipse目录 输入“eclipse -clean”进行启动就可以使hadoop插件生效了。
3、插件安装后,配置连接参数
插件装完了,启动hadoop,然后就可以建一个hadoop连接了,就相当于eclipse里配置一个 weblogic的连接。
第一步,如图,打开Map/Reduce Locations 视图,在右上角有个大象的标志点击
第二步,在点击大象后弹出的对话框进行进行参数的添加,如下图

location name: 这个随便填写,我填写的是:hadoop_192.168.73.131.
Map/Reduce Master 这个框里
Host:就是jobtracker 所在的集群机器,这里写192.168.73.131
Hort:就是jobtracker 的port,这里写的是9001
这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port
DFS Master 这个框里
Host:就是namenode所在的集群机器,这里写192.168.73.131
Port:就是namenode的port,这里写9000
这两个参数就是core-site.xml里面fs.default.name里面的ip和port
(Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所
以是一样的,就勾选上)
下面的不用填写。
然后点击finish按钮,此时,这个视图中就有多了一条记录。

(重启编辑advance parameters
tab页原因:在新建连接的时候,这个advance paramters
这里大部分的属性都已经自动填写上了,其实就是把core-defaulte.xml、hdfs-defaulte.xml、mapred- defaulte.xml里面的一些配置属性展示出来。因为在安装hadoop的时候,其site系列配置文件里有改动,所以这里也要弄成一样的设置。主 要关注的有以下属性:
fs.defualt.name:这个在General tab页已经设置了
mapred.job.tracker:这个在General tab页也设置了
dfs.replication:这个这里默认是3,因为我在hdfs-site.xml里面设置成了1,所以这里也要设置成1
hadoop.job.ugi:刚才说看不见的那个,就是这个属性,这里要填写:smart,Tardis,逗号前面的是连接的hadoop的用户,逗号后面就写死Tardis
然后点击finish,然后就连接上了,连接上的标志如图:

DFS Locations下面会有一只大象,下面会有一个文件夹,即 hdfs的根目录,这里就是展示的分布式文件系统的目录结构了。
到这里为止,Eclipse hadoop开发环境配置已经完全搭建完毕。最后,就可以在eclipse中像一般java程序那样开发hadoop程序了。哈哈,搞定!
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/22303074/viewspace-1120471/ ,如需转载,请注明出处,否则将追究法律责任。