ITPub博客

首页 > 大数据 > 可视化 > hadoop 安装(伪分布式)

hadoop 安装(伪分布式)

可视化 作者:verysbig 时间:2013-12-17 10:31:28 0 删除 编辑

1.安装jdk,可在/usr下,用root权限“sudo -i”

解压:tar  –zxvf  jdk-7u4-linux-i586.tar.gz


配置/etc/profile


export JAVA_HOME=/usr/java/jdk1.7.0_04

     export JRE_HOME=/usr/java/jdk1.7.0_04/jre

     export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

     export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH


安装配置完成,java -version 查看


2.安装ssh


       (1).下载并安装ssh

            $ sudo apt-get install ssh   (如果是root直接敲apt-get install ssh)

              (你可以在指定目录,我安装在默认目录/root/.ssh)

         (2). 先实现本机无密码通信

             首先生成密钥:$ ssh-keygen -t dsa -P “”

           $ cd  . ssh

             再将id_dsa.pub追加到authorized_keys中去:cat  id_dsa.pub >> ~/.ssh/authorized_keys

         (3).检查是否成功

            $ ssh localhost如果不需要密码输入,说明OK了,否则重新再弄。。

            退出sshexit


3.关闭防火墙

sudo ufw disable(在配置集群是这一步是必须的,伪分布式不关也没事,可以略过)


4.安装.hadoop

    1). 解压到指定的目录下(作者把他安装在了/usr/local/hadoop:

$ tar –zvxf hadoop-0.20.2.tar.gz

        Hadoop 的安装路径添加到环/etc/profile (方法和配置JDK相同):

        export HADOOP_HOME=/usr/local/hadoop

        export PATH=$HADOOP_HOME/bin:$PATH

 

     (2). 配置 hadoop(很重要)

         hadoop 的主要配置都在 hadoop-0.20.2/conf 下。

        (1) conf/hadoop-env.sh 中配置 Java 环境(namenode datanode 的配置相同):

         $ gedit hadoop-env.sh

        在弹出的gedit中找到export JAVA_HOME=将你的java_home路径输入:

    export JAVA_HOME=/usr/java/jdk1.7.0_04

        (2)配置 conf/core-site.xml, conf/hdfs-site.xml conf/mapred-site.xml   core-site.xml

  
/hadoop/conf下 
 
$ vi conf/core-site.xml

 

 

 

  hadoop.tmp.dir

  /usr/hadoop-0.20.2/tmp

   A base for other temporary directories.

 

 

 

  fs.default.name

  hdfs://localhost:9000  #注意:9000namenode的监听端口

 

 

 

  hdfs-site.xml:( replication 默认为 3,如果不修改,datanode 少于三台就会报错)

 

 

  dfs.replication

  1

 

 

 

  mapred-site.xml:

 

 

  mapred.job.tracker

  localhost:9001     #注意:9001jobtracker的监听端口

 

 

(6). 运行hadoop

    首先格式化文件系统:$ hadoop namenode –format

    启动 Hadoop:$ start-all.sh

    jps 命令查看进程,NameNode 上的结果如下

    3540 TaskTracker

    3002 DataNode

    3224 SecondaryNameNode

    4987 Jps

    2829 NameNode

3383 JobTracker

 

TaskTracker DataNodeSecondaryNameNode NameNodeJobTracker5个都出现说明hadoop安装成功,否则如上步骤看哪里有问题



web方式查看:namenodeweb访问端口是50070,用web方式访问namenode,在浏览器键入地址:http://localhost:50070,出现如下结果。


9001也是可以用web方式来访问的,由于namenodejobtracker是设置在同一台机器上的,网址是http//localhost50030,出现


<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22700540/viewspace-1119496/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-10-13