Hadoop单机版安装

·         安装准备

·         安装步骤

·         Linux 安装

·         JDK安装

·         Hadoop安装

·         Hadoop启动

·         测试安装

·         Hadoop自带服务测试

安装准备

1.      Ubuntu 12.04 LTS

2.      JDK 版本 1.7.0_17

3.      Hadoop 版本 Hadoop-2.2.0

安装步骤

Linux 安装

    因为设备数量有限，所以在本地使用的是VMware Workstation虚拟机搭建的一个Ubuntu 64位服务器版本。网上资料很多就不多做详述，需要花费些时间。

JDK安装

JDK下载：

    本地选择的是 JDK  1.7.0_17下在地址为：http://www.oracle.com/technetwork/java/javase/downloads/index.html

JDK安装：

    下载好后放入指定位置（如/usr/java），使用如下命令安装

（参考：http://docs.oracle.com/javase/7/docs/webnotes/install/linux/linux-jdk.html）

JDK配置：

    1.进入/etc目录

    2.将JDK配置信息加入profile文件

       # The following configuration is for Java

         export JAVA_HOME=/usr/java/jdk1.7.0_17

         export PATH=$PATH:$JAVA_HOME/bin

         export CLASSPATH=.:JAVA_HOME/lib:$JAVA_HOME/jre/lib

    3.使用下面组合命令使配置生效

    4.使用下面，验证JDK安装

   如果安装版本信息显示则安装成功

Hadoop安装

Hadoop下载：

     地址为：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 

Hadoop安装：

     将下载下来的Hadoop放入指定目录（e.g. /usr/hadoop）,使用如下命令安装

Hadoop配置：

    1.linux profile配置，如下图

         # The following configuration is for hadoop

         export HADOOP_INSTALL=/usr/hadoop/hadoop-2.2.0

         export PATH=$PATH:$HADOOP_INSTALL/bin

    2.hadoop-env.sh中把JAVA_HOME指向JDK安装根目录，如下

        # The java implementation to use.

       export JAVA_HOME=/usr/java/jdk1.7.0_17

    3.yarn-env.sh中把JAVA_HOME指向JDK安装根目录，如下

         # some Java parameters

       export JAVA_HOME=/usr/java/jdk1.7.0_17

 4.XXX-site.xml

     主要更改的是mapred-site.xml，hdfs-site.xml，core-site.xml

     4.1 mapred-site.xml作如下修改

 4.2 hdfs-site.xml作如下修改

     4.3 core-site.xml作如下修改

（参考:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/）

Hadoop启动

新版本启动命令Apache推荐使用下面两个命令

启动后如输入jps可以看下图信息，可以发现和1.x版本的区别，没有了JobTracker和TaskTracker，由ResourceManager和NodeManager代替。而且你在sbin下可以看到多出了yarn的脚本！

测试安装

Hadoop自带服务测试

验证1：启动完后，可用jps查看，可看到两个服务己经启动

     启动WebAppProxyServer服务，在命令行输入如下命令：

     启动JobHistoryServer服务，在命令行输入如下命令：

验证2：启动完后可以使用下面三个连接进行查看

a.http://host:50070/dfshealth.jsp  打开NameNode web界面

进入 $ HADOOP_HOME/share/hadoop/mapreduce输入下面命令

如果正常运行结束则OK

3.2 Hadoop自写程序测试

      Hadoop-2.2.0目前未找到Eclipse插件，正在查看资料，随后补上