ITPub博客

首页 > 大数据 > Hadoop > [转]Hadoop 源码下载,编译,install,导入eclipse

[转]Hadoop 源码下载,编译,install,导入eclipse

Hadoop 作者:squallzeng0405 时间:2012-05-21 14:24:55 0 删除 编辑

源地址:http://yjhexy.iteye.com/blog/591769

1,准备好环境

首现操作系统最好还是LINUX,WINDOWS上搞起来太麻烦

JDK1.5必须的,最好JDK1.6也准备好。以备版本升级的时候需要用

svn 1.5版本的或者以上的

eclipse http://www.eclipse.org/ 上下载 ||| eclipse的svn插件

ant http://ant.apache.org/ 下载

ivy http://ant.apache.org/ivy/ 下载,下载完后放在 ant的lib目录下,因为ivy是ant的一个子工程

forrest http://forrest.apache.org/mirrors.cgi#how 用于编译生成文档的类库

准备好以上环境,就差不多了。

 

2,下载源代码

注意存放目录:

比方我的目录结构是

/home/txy/work/hadoop  (存放common)

/home/txy/work/hadoop/hdfs (存放hdfs)

/home/txy/work/hadoop/mapred (存放mapred)

可以执行以下命令:

cd /home/txy/work

svn co http://svn.apache.org/repos/asf/hadoop/common/trunk hadoop

cd /home/txy/work/hadoop/

svn co http://svn.apache.org/repos/asf/hadoop/hdfs/trunk/ hdfs

cd /home/txy/work/hadoop/

svn co http://svn.apache.org/repos/asf/hadoop/mapreduce/trunk mapred

为什么要这样的目录结构呢?原因具体可以看hadoop/bin/hadoop-config.sh,看懂了之后当然也可以随意修改路径了

 

3,编译源代码,并发布到maven 的本地库

分别进入到上面三个目录中,进行编译:

cd /home/txy/work/hadoop/

ant package -Djava5.home=/home/txy/software/jdk1.5.0_07 -Dforrest.home=/home/txy/software/apache-forrest-0.8

cd /home/txy/work/hadoop/hdfs/

ant package -Djava5.home=/home/txy/software/jdk1.5.0_07 -Dforrest.home=/home/txy/software/apache-forrest-0.8

cd /home/txy/work/hadoop/ mapred /

ant package -Djava5.home=/home/txy/software/jdk1.5.0_07 -Dforrest.home=/home/txy/software/apache-forrest-0.8

这里的java5.home 和 forrest.home随各自电脑上安装的实际路径为准。

 

发布到本地maven 库在以上各目录中执行:

ant mvn-install 就可以了,那么我们写 程序的时候就可以用maven把这个库引进来了。

 

4,导入eclipse

方法一:

创建eclipse工程在创建之前,现设置:project --》build Automaticaly 勾掉,不要让它自动build

new --》java project --》create project from existing source--》 选择CO下来的目录 --》finish

导入之后,右键各工程的build.xml --》 build...--》

如果build common: use the eclipse-files and compile-core-test targets

如果build hdfs: use the targets compile, compile-hdfs-test, and eclipse-files

如果build MapRedues, use the targets compile, compile-mapreduce-test, and eclipse-files

 

方法二:

命令行 ant eclipse-files执行就可以了,然后eclipse中File-->import-->exsiting projects into workspace就可以了,不过建议还是不要build Automaticaly,要不然太麻烦了。

这样源代码就导入进来了,可以查看和修改了。

 

以上内容也可以参见:http://wiki.apache.org/hadoop/EclipseEnvironment

 

开发mapReduce程序的eclipse插件:

 

这个eclipse插件编译的问题还是没搞定,纠结中,看了官方网站是说:

首先在家目录下添加

eclipse-plugin.build.properties

在文件中写入:eclipse.home=/path/to/eclipse

然后再执行ant package就会编译生成 eclipse插件了。

但事实上会报错。。。用官方网站上已经编译好的插件,版本又和主干对不上的。

 

自己在机器上跑了下,还是不用hadoop插件了,主要配置正确,启动个hadoop就可以了。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21969198/viewspace-1114334/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-06-24