ITPub博客

首页 > 大数据 > Hadoop > [恶搞]Hadoop 2.0 安装向导 (0.23.x)

[恶搞]Hadoop 2.0 安装向导 (0.23.x)

Hadoop 作者:xg0199 时间:2012-05-31 01:30:31 0 删除 编辑

Hadoop 2.0安装向导 (0.23.x)

最新版本的HADOOP2.0与老版本相比有不同的目录结构。

本文将介绍一种简单安装Hadoop2.0到你的电脑上的方法(Hadoop 0.23安装)。

这有许多可以执行的方式,现在介绍以下:

如果想安装老版本的hadoop此处不再介绍。

首先一个可用的linux操作系统,此处介绍使用ubuntu

创建一个名为hadoop的用户并做以下操作:

1、  配置SSH

2、  安装JDK

3、  安装Hadoop

更新 repository
#sudo apt-get update

下载SSH

#sudo apt-get install openssh-serveropenssh-client
#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

#sudo chmod go-w $HOME $HOME/.ssh
#sudo chmod 600 $HOME/.ssh/authorized_keys
#sudo chown `whoami` $HOME/.ssh/authorized_keys

测试SSH

#ssh localhost
OK
#exit
安装jdk

#sudo mkdir /usr/java
#cd /usr/java
#sudo wgethttp://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586.bin

#sudo chmod o+w jdk-6u31-linux-i586.bin
#sudo chmod +x jdk-6u31-linux-i586.bin
#sudo ./jdk-6u31-linux-i586.bin

下载并解压hadoop2.0.x并解压到一个文件夹中,此处叫此文件夹为HADOOP_PREFIX

设置环境变量

exportHADOOP_PREFIX="/home/hadoop/software/hadoop-2.0.0-alpha"
export PATH=$PATH:$HADOOP_PREFIX/bin
export PATH=$PATH:$HADOOP_PREFIX/sbin

exportHADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}

重启一次电脑使env / path变量生效

Hadoop 2.x 版本中 /etc/hadoop 是默认的配置文件夹

需要在/etc/hadoop目录中修改/创建以下属性文件

编辑 core-site.xml


fs.default.name
hdfs://localhost:8020
The name of the default file system. Either the
literal string "local" or a host:port for NDFS.

true

编辑hdfs-site.xml



dfs.namenode.name.dir
file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name
Determines where on the local filesystem the DFS name node
should store the name table. If this is a comma-delimited list
of directories then the name table is replicated in all of the
directories, for redundancy.

true


dfs.datanode.data.dir
file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data
Determines where on the local filesystem an DFS data node
should store its blocks. If this is a comma-delimited
list of directories, then data will be stored in all named
directories, typically on different devices.
Directories that do not exist are ignored.

true


dfs.replication
1


dfs.permissions
false

路径

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data

是计算机中的一些文件夹,游戏用于存放数据和编辑文件的

路径必须用一个详细的URI描述。

/etc/hadoop使用以下内容创建一个文件mapred-site.xml



mapreduce.framework.name
yarn


mapred.system.dir
file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system
true


mapred.local.dir
file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local
true

路径

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local

为计算机中用于存放数据的文件夹

路径必须用一个详细的URI描述http://www.qq-xiazai.info/ 。

编辑yarn-site.xml



yarn.nodemanager.aux-services
mapreduce.shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

/etc/hadoop目录中

创建hadoop-env.sh并添加:

export JAVA_HOME=/usr/java/jdk1.6.0_31

将以上JAVA_HOME改为本机jdk安装地址

保存并准备格式化

格式化 namenode

# hdfs namenode –format

 

开始守护进程

# hadoop-daemon.sh start namenode

# hadoop-daemon.sh start datanode

可以同时启动:

# start-dfs.sh

开始 Yarn守护进程

# yarn-daemon.sh start resourcemanager

# yarn-daemon.sh start nodemanager

或同时启动:

# start-yarn.sh

检查守护进程是否启动

# jps


2539 NameNode
2744 NodeManager
3075 Jps
3030 DataNode
2691 ResourceManager

浏览UI

打开 localhost:8088查看资源管理页面

OK

搞定手工!

祝:Hadoop玩得愉快!

 

[原创]android HOME、back(按钮、事件)截取获得,综合解决方案和分析,包含android4.0系统

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21951182/viewspace-1120091/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-06-22