ITPub博客

首页 > 大数据 > Hadoop > Ubuntu下Hadoop的安装与配置(转贴)

Ubuntu下Hadoop的安装与配置(转贴)

Hadoop 作者:ksttsk 时间:2013-10-20 21:18:19 0 删除 编辑
一、安装
1.1 安装ssh

apt-get install ssh
1.2 安装rsync
apt-get install rsync
1.3 安装jdk1.6
方法1:
  sudo apt-get install sun-java6-jdk
方法2:
jdk地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7u7-downloads-1836413.html
下载:jdk-7u7-linux-i586.tar.gz
下载安装文件名为jdk-6u30-linux-i586.bin,放到/home/Hadoop目录下;
  cd /home/Hadoop
运行jdk-6u30-linux-i586.bin
  ./jdk-6u30-linux-i586.bin
1.4 安装Hadoop
 从http://Hadoop.apache.org/core/releases.html 下载最近发布的版本
最好为Hadoop创建一个用户:
比如创建一个group为hadoop user为hadoop的用户以及组
   sudo addgroup hadoop
   sudo adduser --ingroup hadoop hadoop
解压下载的Hadoop文件,放到/home/hadoop目录下 名字为Hadoop
 
 tar zxf hadoop-1.0.4-bin.tar.gz
二、配置
2.1 配置JDK环境变量
vi /etc/profile 增加下面语句到最后   export JAVA_HOME=/home/app/jdk1.6.0_30   export PATH=$JAVA_HOME/bin:$PATH   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

一般更改/etc/profile文件后,需要重启机器才能生效。这里介绍一种不用重启使其生效的方法:source /etc/profile
查看java环境变量是否配置成功:java -version
2.2 配置Hadoop
进入Hadoop目录   cd /home/hadoop/Hadoop
修改配置文件,指定JDk安装路径   vi conf/hadoop-env.sh   export JAVA_HOME=/home/app/jdk1.6.0_30 修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号.Hadoop.tmp.dir配置为你想要的路径,指定了所有上传到Hadoop的文件的存放目录,所以要确保足够大   vi conf/core-site.xml   
    
      Hadoop.tmp.dir
      /home/hadoop/Tmp
         
               fs.default.name           hdfs://localhost:9000            修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1   vi conf/hdfs-site.xml                    dfs.replication           1           修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口   vi conf/mapred-site.xml                    mapred.job.tracker           localhost:9001          接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令   bin/hadoop namenode -format 然后启动Hadoop,输入命令   bin/start-all.sh 这个命令为所有服务全部启动。 最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:   http://localhost:50030    (MapReduce的Web页面)   http://lcoalhost:50070    (HDfS的web页面) 如果都能查看,说明安装成功。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/22418471/viewspace-1119582/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-08-26