ITPub博客

首页 > 大数据 > Hadoop > Hadoop源代码分析系列3【转】

Hadoop源代码分析系列3【转】

Hadoop 作者:nhj2010 时间:2010-06-12 15:08:29 0 删除 编辑

原文地址:http://caibinbupt.javaeye.com/blog/277640

由于Hadoop的MapReduce和HDFS都有通信的需求,需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化,而是引入了它自己的系统。

org.apache.hadoop.io中定义了大量的可序列化对象,他们都实现了Writable接口。实现了Writable接口的一个典型例子如下:

  1. public class MyWritable implements Writable {     
  2.     // Some data          
  3.     private int counter;     
  4.     private long timestamp;     
  5.     
  6.     public void write(DataOutput out) throws IOException {     
  7.         out.writeInt(counter);     
  8.         out.writeLong(timestamp);     
  9.     }     
  10.         
  11.     public void readFields(DataInput in) throws IOException {     
  12.         counter = in.readInt();     
  13.         timestamp = in.readLong();     
  14.     }     
  15.     
  16.     public static MyWritable read(DataInput in) throws IOException {     
  17.         MyWritable w = new MyWritable();     
  18.         w.readFields(in);     
  19.         return w;     
  20.     }     
  21. }  
public class MyWritable implements Writable {        // Some data             private int counter;        private long timestamp;           public void write(DataOutput out) throws IOException {            out.writeInt(counter);            out.writeLong(timestamp);        }               public void readFields(DataInput in) throws IOException {            counter = in.readInt();            timestamp = in.readLong();        }           public static MyWritable read(DataInput in) throws IOException {            MyWritable w = new MyWritable();            w.readFields(in);            return w;        }    }

其中的write和readFields分别实现了把对象序列化和反序列化的功能,是Writable接口定义的两个方法。下图给出了庞大的org.apache.hadoop.io中对象的关系。

 Hadoop源代码分析系列3【转】 - ryanzhutao - ryanzhutao的博客

这里,我把ObjectWritable 标为红色,是因为相对于其他对象,它有不同的地位。当我们讨论Hadoop的RPC时,我们会提到RPC上交换的信息,必须是Java的基本类 型,String和Writable接口的实现类,以及元素为以上类型的数组。ObjectWritable对象保存了一个可以在RPC上传输的对象和对 象的类型信息。这样,我们就有了一个万能的,可以用于客户端/服务器间传输的Writable对象。例如,我们要把上面例子中的对象作为RPC请求,需要 根据MyWritable创建一个ObjectWritable,ObjectWritable往流里会写如下信息

对象类名长度,对象类名,对象自己的串行化结果

这样,到了对端,ObjectWritable可以根据对象类名创建对应的对象,并解串行。应该注意到,ObjectWritable依赖于WritableFactories,那存储了Writable子类对应的工厂。我们需要把MyWritable的工厂,保存在WritableFactories中(通过WritableFactories.setFactory)。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/24150995/viewspace-1120382/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-06-25