ITPub博客
首页 博客 专栏 学院 社区 IT新媒体评选
发博

首页 > 大数据 > Hadoop > hadoop编译打包

hadoop编译打包

Hadoop 作者：babywindxx 时间：2014-03-10 09:56:35 0 删除 编辑

把eclipse下编译的class文件打包成hadoop集群可用文件的过程

首先要在eclipse下运行成功，在工程项目下打bin文件夹为jar文件，

                          压缩方式为： jar -cvf sort.jar -C bin/ .

      这个是一个排序程序，代码如下

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class Sort {
   public static class Map extends Mapper {
    private static IntWritable data= new IntWritable();
    public void map(Object key, Text value,Context context)throws IOException, InterruptedException{
     String line = value.toString();
     data.set(Integer.parseInt(line));
     context.write(data, new IntWritable(1));
    }
   }
  
   public static class Reduce extends Reducer{
    private static IntWritable linenum = new IntWritable(1);
   
    public void reduce (IntWritable key, Iterable value, Context context)throws IOException , InterruptedException{
     for(IntWritable val:value){
      context.write(linenum, key);
     }
     linenum = new IntWritable(linenum.get()+1);
    }
   }
  
   public static void main(String[] args)throws Exception{
    Configuration conf = new Configuration();
    String [] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    if(otherArgs.length!=2){
     System.err.println("Usage: wordcount ");
     System.exit(2);
    }
    Job job=new Job(conf,"Sort");
    job.setJarByClass(Sort.class);
    job.setMapperClass(Map.class);
    job.setReducerClass(Reduce.class);
    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
    System.exit(job.waitForCompletion(true) ? 0:1 );
   }
}

压缩完以后就可以在集群上运行该程序了，运行方式为：

hadoop jar  sort.jar  Sort /tmp/sort/inputfile/ /tmp/sort/outputfile
然后在项目中刷新后即可看到输出结果：

顺便再加一些关于添加bash程序和python程序到hadoop流中的方法：

首先说一下bash文件，例如是reduce.sh，内容很简单就是grep xxx

要调用它的方式为:

hadoop jar contrib/streaming/hadoop-0.20.2-streaming.jar -input input -output output -mapper /bin/cat -reducer reduce.sh -file reduce.sh

再说一个python的例子，假如文件叫reduce.py

调用方式:

hadoop jar contrib/streaming/hadoop-0.20.2-streaming.jar -input input -output output -mapper reduce.py -reducer aggregate -file reduce.py

这里解释一下，aggregate这个是hadoop提供的一个包，它提供的是一个reduce函数以及一个combine函数。它的功能是类似求和、取极值等功能。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/21127389/viewspace-1119801/ ，如需转载，请注明出处，否则将追究法律责任。

0
0
上一篇： 没有了~
下一篇： 没有了~
请登录后发表评论 登录
全部评论
babywindxx

注册时间：2009-03-16

支持我们 作者招募 用户协议 FAQ Contact Us

北京盛拓优讯信息技术有限公司. 版权所有  京ICP备16024965号-8 北京市公安局海淀分局网监中心备案编号：11010802021510 niuxiaotong@pcpop.com 17352615567 未成年人举报专区

广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

违法和不良信息举报电话:18101376593