ITPub博客

首页 > 大数据 > Hadoop > centOS下单机配置hadoop攻略

centOS下单机配置hadoop攻略

Hadoop 作者:cfjgrzy19830407 时间:2012-08-18 13:48:24 0 删除 编辑
花了两天时间来配置hadoop,繁琐的是版本不兼容及不知名错误。好在本组有位很有经验很nice的同事来帮助我,因此花了不算太久就能装好并测试完毕了。

以下是配置攻略,希望对其他配置hadoop的朋友有所帮助。

本机环境: centOS

 

一、安装jdk

Jdk版本:jdk-6u30-linux-amd64.rpm

1.安装命令:rpm –ivh jdk-6u30-linux-amd64.rpm

2.etc/profile里面添加声明如下:

export JAVA_HOME=/usr/java/default

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

3.退出后,source /etc/profile使得配置生效

 

二、安装hadoop

hadoop版本:hadoop-1.0.3-1.x86_64.rpm

1.安装命令:rpm –ivh hadoop-1.0.3-1.x86_64.rpm

2.etc/hadoop文件夹下

对以下几个文件进行设置

core-site.xml

fs.default.name

hdfs://localhost:9000

 

hdfs-site.xml

dfs.replication

1

 

mapred-site.xml:

mapred.job.tracker

localhost:9001

 

三、设置SSH

ssh-keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

四、启动hadoop

hadoop namenode –format

start-all.sh

此时通过浏览器即可浏览到namenodejobtracker

五、测试

将两个本地的文件拷贝到hdfs上,调用hadoop示例程序wordcount对其进行单词统计。

echo “hello,world” >file01

echo “hello,hadoop” >file02

hadoop fs –mkdir input

hadoop fs –copyFromLocal /home/hao/file0* input

hadoop jar /usr/share/hadoop/hadoop-examples-1.0.3.jar wordcount input output

hadoop fs –cat user/root/output/part-r-00000

 

出现问题及解决方法:

1.jdkhadoop的安装必须与本机环境相适应,比如,本机为centOS,则安装软件必须选择rpm格式,为与本机及服务器相兼容,jdk必须选择64位或者x86_64

2.安装完毕后,在 etc/profile里面设置JAVA_HOME最好设置为usr/java/default,这是一个symbol link,可以避免因JAVA环境变量变化而引起的错误。

3.安装完毕后在/etc/hadoop里面设置hadoop-site.xml等文件

4.以上步骤都完成后,将本地文件拷贝至HDFS上,此时应使用 hadoop fs –lsr / 来查看hdfs的文件夹内容,以确定不会读错文件。


<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/9622727/viewspace-1119830/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论