http://jaguar13.iteye.com/blog/683392/

Hadoop数据结构MySQLJDBCSQL
Hadoop主要用来对非结构化或半结构化（HBase）数据进行存储和分析，而结构化的数据则一般使用数据库来进行存储和访问。本文的主要内容则是讲述如何将Hadoop与现有的数据库结合起来，在Hadoop应用程序中访问数据库中的文件。

1.DBInputFormat
DBInputFormat是Hadoop从0.19.0开始支持的一种输入格式，包含在包org.apache.hadoop.mapred.lib.db中，主要用来与现有的数据库系统进行交互，包括MySQL、PostgreSQL、Oracle等几个数据库系统。DBInputFormat在Hadoop应用程序中通过数据库供应商提供的JDBC接口来与数据库进行交互，并且可以使用标准的SQL来读取数据库中的记录。在使用DBInputFormat之前，必须将要使用的JDBC驱动拷贝到分布式系统各个节点的$HADOOP_HOME/lib/目录下。
在DBInputFormat类中包含以下三个内置类：
1．protected class DBRecordReader implements RecordReader：用来从一张数据库表中读取一条条元组记录。
2．public static class NullDBWritable implements DBWritable, Writable：主要用来实现DBWritable接口。
3．protected static class DBInputSplit implements InputSplit：主要用来描述输入元组集合的范围，包括start和end两个属性，start用来表示第一条记录的索引号，end表示最后一条记录的索引号。
其中DBWritable接口与Writable接口比较类似，也包含write和readFields两个函数，只是函数的参数有所不同。DBWritable中的两个函数分别为：
public void write(PreparedStatement statement) throws SQLException;
public void readFields(ResultSet resultSet) throws SQLException;
这两个函数分别用来给java.sql.PreparedStatement设置参数，以及从java.sql.ResultSet中读取一条记录，熟悉Java JDBC用法的应该对这两个类的用法比较了解。

2．使用DBInputFormat读取数据库表中的记录
上文已经对DBInputFormat以及其中的相关内置类作了简单介绍，下面对怎样使用DBInputFormat读取数据库记录进行详细的介绍，具体步骤如下：
1．使用DBConfiguration.configureDB (JobConf job, String driverClass, String dbUrl, String userName, String passwd)函数配置JDBC驱动，数据源，以及数据库访问的用户名和密码。例如MySQL数据库的JDBC的驱动为“com.mysql.jdbc.Driver”，数据源可以设置为“jdbc:mysql://localhost/mydb”，其中mydb可以设置为所需要访问的数据库。
2．使用DBInputFormat.setInput(JobConf job, Class