ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 编写第一个HADOOP应用程序

编写第一个HADOOP应用程序

原创 Linux操作系统 作者:edwardking888 时间:2011-01-26 15:56:54 0 删除 编辑

下午有空

在MyEclipse 8.5环境下

编写了一个HADOOP小程序。

创建Java 工程
打开eclipse,选择“File -> New -> Java Project”,新建一个“Java Project”,进入“New Java
Project”对话框,将“Project name”设置为“DFSOperator”,

选中“DFSOperator”,并单击右键,选择“New -> Class”菜单,新建“Name”为“DFSOperator”
的class,并选中自动创建main 函数,

配置编译参数
下面开始配置“Build Path”,选中“DFSOperator”,单击右键,点击下图所示菜单“Build
Path -> Configure Build Path”,进入“Java Build Path”配置界面。
选择“Libraries”标签页,点击右侧的“Add External JAR”按钮,将安装好的“hadoop-0.20.0-core.jar”

”commons-logging-1.0.4.jar“

添加进来。

源代码
进入的“DFSOperator.java”文件编辑界面,将“DFSOperator.java”的内容修改成如下:

import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
public class DFSOperator {

 /**
  * @param args
  */
 public static void main(String[] args) {
  // TODO Auto-generated method stub
  Configuration conf = new Configuration();
    try {
    FileSystem fs = FileSystem.get(conf);
    Path f = new Path("hdfs:///dfs_operator.txt");
    FSDataOutputStream s = fs.create(f, true);
    int i=0;
    for (i=0; i<100000; ++i)
    os.writeChars("test");
    os.close();
    } catch (IOException e) {
    e.printStackTrace();
    }
 }
}

编译生成JAR
右键“DFSOperator”项目,选择“Build Project”,编译项目工程,编译“DFSOperator.java”
后,生成DFSOperator.class 文件

右键项目,选择“Export”:

进入“Export”对话框:

选中“JAR file”,然后点击“Next”按钮

,设置好JAR 包的文件名和存放位置,然后点击“Finish”按钮,生成
dfs_operator.jar 文件

然后将dfs_operator.jar 文件上传到Hadoop Master 节点。

测试运行
假设Hadoop 安装在/usr/local/hadoop 目录下,dfs_operator.jar 存放在hadoop/bin 目录下,
按照下图所示的五步依次进行操作:

首先进入Hadoop 的bin 目录,然后依次完成如下的五步操作:
(1) 查看当前目录,检查dfs_operator.jar 是否存在:ls
(2) 查看Hadoop 根目录下是否存在dfs_operator.txt 文件:./hadoop fs -ls /
(3) 运行dfs_operator.jar,以生成dfs_operator.txt 文件:
./hadoop jar ./dfs_operator.jar DFSOperator
(4) 再查看Hadoop 根目录下是否存在dfs_operator.txt 文件:./hadoop fs -ls /
(5) 检查dfs_operator.txt 文件的内容:./hadoop fs -cat /dfs_operator.txt

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/8183550/viewspace-686332/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2010-04-03

  • 博文量
    477
  • 访问量
    1462562