ITPub博客

首页 > 大数据 > Hadoop > 基于eclipse的hadoop插件安装及配置

基于eclipse的hadoop插件安装及配置

Hadoop 作者:tongfirst 时间:2013-04-16 20:46:52 0 删除 编辑
软件版本
hadoop版本:hadoop-0.20.2
Eclipse版本:eclipse-jee-juno-SR2-linux-gtk.tar.gz
安装在Eclipse中的hadoop插件
1.安装插件
将hadoop-0.20.2/contrib/eclipse-plugin目录下的hadoop-0.20.2-eclipse-plugin.jar复制到eclipse/plugins目录下,重启eclipse。
2.打开MapReduce视图

Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。

3.添加一个MapReduce环境

在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”,如图所示:

在弹出的对话框中填写如下内容:

Location name(取个名字)
Map/Reduce Master(Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写)(我自己的为90001)
DFS Master(Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写)(我自己的为9000)

 

基于eclipse的hadoop插件安装及配置


1. 使用eclipseHDFS内容进行修改

经过上一步骤,左侧“Project Explorer”中应该会出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作

【注:】每一次操作完在eclipse中不能马上显示变化,必须得刷新一下

2. 创建MapReduce工程

a) 配置Hadoop路径

Window -> Preferences 选择 Hadoop Map/Reduce”,点击“Browse...”选择Hadoop文件夹的路径。

【注:】这个步骤与运行环境无关,只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。

b) 创建工程

File -> New -> Project 选择“Map/Reduce Project”,然后输入项目名称,创建项目。插件会自动把hadoop根目录和lib目录下的所有jar包导入。

c) 创建Mapper或者Reducer

File -> New -> Mapper 创建Mapper,自动继承mapred包里面的MapReduceBase并实现Mapper接口。(Reducer同理)。

 

3. eclipse中运行WordCount程序

a) WordCount 程序为例

b) 配置运行参数

Run As -> Open Run Dialog... 选择WordCount程序,在Arguments中配置运行参数:/mapreduce/wordcount/input /mapreduce/wordcount/output/1

基于eclipse的hadoop插件安装及配置

【注:】分别表示HDFS下的输入目录和输出目录,其中输入目录中有几个文本文件,输出目录必须不存在

c) 运行

Run As -> Run on Hadoop 选择之前配置好的MapReduce运行环境,点击“Finish”运行

基于eclipse的hadoop插件安装及配置 

a) 查看结果:

可以在DFS Locations 中查看WordCount程序的输出文件

基于eclipse的hadoop插件安装及配置


<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23434874/viewspace-1119412/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-03-02