ITPub博客

首页 > 大数据 > Hadoop > Hadoop单机版安装 lear

Hadoop单机版安装 lear

Hadoop 作者:frankcao120 时间:2013-11-06 14:41:51 0 删除 编辑

Hadoop单机版安装

·         安装准备

·         安装步骤

·         Linux 安装

·         JDK安装

·         Hadoop安装

·         Hadoop启动

·         测试安装

·         Hadoop自带服务测试

安装准备

1.      Ubuntu 12.04 LTS

2.      JDK 版本 1.7.0_17

3.      Hadoop 版本 Hadoop-2.2.0

安装步骤

Linux 安装

    因为设备数量有限,所以在本地使用的是VMware Workstation虚拟机搭建的一个Ubuntu 64位服务器版本。网上资料很多就不多做详述,需要花费些时间。

JDK安装

JDK下载:

    本地选择的是 JDK  1.7.0_17下在地址为:http://www.oracle.com/technetwork/java/javase/downloads/index.html

JDK安装:

    下载好后放入指定位置(如/usr/java),使用如下命令安装

  tar zxvf jdk-xxx-linux-xxx.tar.gz

(参考:http://docs.oracle.com/javase/7/docs/webnotes/install/linux/linux-jdk.html

JDK配置:

    1.进入/etc目录

    2.将JDK配置信息加入profile文件

       # The following configuration is for Java

         export JAVA_HOME=/usr/java/jdk1.7.0_17

         export PATH=$PATH:$JAVA_HOME/bin

         export CLASSPATH=.:JAVA_HOME/lib:$JAVA_HOME/jre/lib

    3.使用下面组合命令使配置生效

   chmod +x profile  (这条命令需要超级权限)

   source profile

    4.使用下面,验证JDK安装

  java -version

   如果安装版本信息显示则安装成功

Hadoop安装

Hadoop下载:

     地址为:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 

Hadoop安装:

     将下载下来的Hadoop放入指定目录(e.g. /usr/hadoop),使用如下命令安装

   tar xzf hadoop-2.2.0.tar.gz

Hadoop配置:

    1.linux profile配置,如下图

         # The following configuration is for hadoop

         export HADOOP_INSTALL=/usr/hadoop/hadoop-2.2.0

         export PATH=$PATH:$HADOOP_INSTALL/bin

    2.hadoop-env.sh中把JAVA_HOME指向JDK安装根目录,如下

        # The java implementation to use.

       export JAVA_HOME=/usr/java/jdk1.7.0_17

    3.yarn-env.sh中把JAVA_HOME指向JDK安装根目录,如下

         # some Java parameters

       export JAVA_HOME=/usr/java/jdk1.7.0_17

 

   

 4.XXX-site.xml

     主要更改的是mapred-site.xmlhdfs-site.xmlcore-site.xml

     4.1 mapred-site.xml作如下修改

 

 

    mapreduce.cluster.temp.dir

    /usr/hadoop/ctmp/

    No description

    true

  

  

    mapreduce.cluster.local.dir

    /usr/hadoop/clocal

    No description

    true

  

   

     mapred.job.tracker

     namenode:9001

   

 

 

 4.2 hdfs-site.xml作如下修改

 

  

    

     dfs.name.dir

     /usr/hadoop/name

    

    

     dfs.data.dir

     /usr/hadoop/data

      

    

     dfs.permissions

     false

    

    

     dfs.replication

     1

    

 

     4.3 core-site.xml作如下修改

 

 

   

    hadoop.tmp.dir 

    /usr/hadoop/tmp   

  

   

    fs.default.name

    hdfs://10.120.137.68:9000

   

(参考:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

Hadoop启动

新版本启动命令Apache推荐使用下面两个命令

先进入$HADOOP_HOME/sbin下

1 ./start-dfs.sh

2 ./start-yarn.sh

 

另  ./start-all.sh依然可以使用,只是会提示“不推荐使用”,他内部分自动导向上面两个shell脚本

启动后如输入jps可以看下图信息,可以发现和1.x版本的区别,没有了JobTracker和TaskTracker,由ResourceManager和NodeManager代替。而且你在sbin下可以看到多出了yarn的脚本!

 

测试安装

Hadoop自带服务测试

验证1:启动完后,可用jps查看,可看到两个服务己经启动

     启动WebAppProxyServer服务,在命令行输入如下命令:

$HADOOP_HOME/sbin/yarn-daemon.sh start proxyserver --config $HADOOP_CONF_DIR

     启动JobHistoryServer服务,在命令行输入如下命令:

$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR

 

验证2:启动完后可以使用下面三个连接进行查看

a.http://host:50070/dfshealth.jsp  打开NameNode web界面

 

b.http://host:19888/jobhistory 打开JobHistory web界面

 

c.http://host:8088/cluster 打开cluster web界面

 

验证3:启动Hadoop自带的map reduce程序

进入 $ HADOOP_HOME/share/hadoop/mapreduce输入下面命令

hadoop jar hadoop-mapreduce-examples-2.2.0.jar pi 10 100

如果正常运行结束则OK

3.2 Hadoop自写程序测试

      Hadoop-2.2.0目前未找到Eclipse插件,正在查看资料,随后补上

 

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23250003/viewspace-1119590/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-01-26