ITPub博客

首页 > Linux操作系统 > Linux操作系统 > hadoop单机安装配置及测试通过

hadoop单机安装配置及测试通过

原创 Linux操作系统 作者:myamor 时间:2012-12-08 17:23:42 0 删除 编辑
单机hadoop安装配置及测试通过,下面我把步骤一一写出来
一、实验环境
1.安装环境简介
物理笔记本:i5 2.27GHz (4 CPU) 4G内存 320GB硬盘 32位win7 操作系统
虚拟机: VMware Player
虚拟机安装配置URL:http://ideapad.it168.com/thread-2088751-1-1.html 不会配置的朋友请见
包括(vm tools linux与windows 共享文件 配置)
Linux ISO:SLES-11-SP2-DVD.iso 64位
Hadoop software version:hadoop-1.1.1.tar.gz
java  jdk-7u9-linux-x64.rpm
root密码:rootroot
系统版本:
Suse Linux 11 SP2
二、JAVA环境安装
1.首先你需要从oracle官网下载到java的资源包
  本例使用的是jdk-7u9-linux-x64.rpm 
2.把资源包上传到虚拟机,进入相关目录
  使用root用户执行安装命令进行安装
  rpm -ivh jdk-7u9-linux-x64.rpm
  cd命令进行/usr/java/ 执行 ln -s jdk1.7.0_09 java
  cd命令进入/etc目录vim profile即执行编辑profile文件命令
  在umask 022前添加如下内容: 环境变量
  export JAVA_HOME=/usr/java/java
  export JRE_HOME=$JAVA_HOME/jre
  export PATH=$PATH:$JAVA_HOME/bin
  export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
  source profile 加载环境变量使之生效
三、hadoop的安装配置
1、首先你需要从阿帕奇官网给出的链接下载到资源包:
   http://www.apache.org/dyn/closer.cgi/hadoop/common/
   
2、将下载的hadoop-1.1.1.tar.gz包上传到/home/Software
  [linux-hd1:/home/Software]$ tar -zxvf hadoop-1.1.1.tar.gz
  [linux-hd1:/home/Software]$ mv hadoop-1.1.1 /usr
  [linux-hd1:/usr]$ln -s hadoop hadoop-1.1.1
3、修改/usr/hadoop/conf/hadoop-env.sh文件
  添加export JAVA_HOME=/usr/java/java 环境变量
4、修改 /usr/hadoop/conf/目录下的配置文件
  core-site.xml 、hdfs-site.xml和mapred-site.xml
 1)编辑 core-site.xml 在 之间增加
 
 fs.default.name
 hdfs://localhost:9000
 

 
 hadoop.tmp.dir
 /tmp/hadoop/hadoop-${user.name}
 

 2)编辑hdfs-site.xml 在 之间增加
 
 dfs.replication
 1
 

 3)编辑mapred-site.xml 在 之间增加
 
 mapred.job.tracker
 localhost:9001
 

 
5、免密码ssh设置 --不然每启动一次就需要输入一次密码
现在确认能否不输入口令就用ssh登录localhost:
# ssh localhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
6.格式化分布式文件系统
[linux-hd1:/home/hadoop/bin]$ ./hadoop namenode -format
格式化名称节点:建立一系列结构,存放HDFS元数据
7.启动Hadoop 【只在h1上操作就可以】
命令:bin/start-all.sh
[linux-hd1:/usr/hadoop/bin #] ./start-all.sh
starting namenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-namenode-linux-hd1.out
localhost: starting datanode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-datanode-linux-hd1.out
localhost: starting secondarynamenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-secondarynamenode-linux-hd1.out
starting jobtracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-jobtracker-linux-hd1.out
localhost: starting tasktracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-tasktracker-linux-hd1.out
8.检测守护进程启动情况
[linux-hd1:/usr/hadoop/bin #]jps 查看master后台java进程,统计和运行这个就可以查看了
10865 JobTracker   作业跟踪器进程 10865是进程号
10648 DataNode     数据节点进程 10648是进程号
10517 NameNode     名称节点进程 10517是进程号
11131 Jps
10778 SecondaryNameNode 辅助名称节点进程 10778是进程号
10999 TaskTracker  任务跟踪器进程 10999是进程号
如果NameNode没有成功启动的话就要先执行"bin/stop-all.sh"停掉所有东西,然后重新格式化namenode
9.Hadoop测试
(1)创建一个文本1.txt
  [linux-hd1:/usr/hadoop/bin #] vim 1.txt
(2)文本内容是I Love You Hadoop
  [linux-hd1:/usr/hadoop/bin #] cat 1.txt
   Hello Word
(3)在HDFS文件系统上创建一个目录leo
 [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -mkdir /test
(4)复制文件1.txt到leo目录
  [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -copyFromLocal 1.txt /test
(5)显示HDSF文件系统目录下的内容
  [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -ls /test
   Found 1 items
   -rw-r--r-- 2 grid supergroup 0 2012-09-02 21:08 /test/1.txt
(6)查看在HDFS文件系统上1.txt内容
  [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -cat /test/1.txt
  Hello Word
 
测试完成

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/177006/viewspace-750793/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2012-03-20

  • 博文量
    20
  • 访问量
    138110