ITPub博客

首页 > 大数据 > 可视化 > 单机版Hadoop配置

单机版Hadoop配置

可视化 作者:xiaobinbin8717 时间:2013-09-05 17:03:12 0 删除 编辑

首先,参考了很多篇的技术博客。向那些前辈表示感谢!

 

我的系统是CentOS5.6。所用hadoop的版本是hadoop-1.0.4.tar.gz。

JDK的版本是jdk-6u24-linux-i586.bin

 

准备好上述软件和文件之后。接下来需要做的就是先后安装文件了。

 

首先是安装jdk

 

我们把jdk-6u24-linux-i586.bin放于/usr/local/下。进入此目录

 

执行命令./jdk-6u24-linux-i586.bin。那么jdk就解包在当前文件下

 

再执行

单机版Hadoop配置

在文档里面加上如下语句,作用是配置jdk的环境变量

 单机版Hadoop配置

使用source命令是profile设置立即生效单机版Hadoop配置

再用java –version测试jdk是否起作用单机版Hadoop配置

Java安装完毕

 

接下来安装hadoop

来到hadoop的放置文件夹下,我的是听前辈的帖子说是放在opt下。。。单机版Hadoop配置

用 tar解压

  单机版Hadoop配置


解压完毕后,进入hadoop文件夹

修改conf文件夹下的hadoop-env.sh文件

 单机版Hadoop配置

在文件内加入这句:

 单机版Hadoop配置

保存好。

 

这样配置好后,整个hadoop就相当于一个单机的hadoop了。我们可以做个实验。

[root@localhost hadoop-0.20.2]# mkdir input
[root@localhost hadoop-0.20.2]# cd input
[root@localhost input]# echo "hey man">test1.txt
[root@localhost input]# echo "hey woman">test2.txt
[root@localhost input]# cd ..
[root@localhost hadoop-0.20.2]# bin/hadoop jar hadoop-examples-0.20.2.jar wordcount input output

 

运行完之后就可以看到当前目录下有一个output的文件夹。打开文件夹下的文件,就可以得到hadoop example wordcount运行后的结果啦!!

 

如果需要改成伪集群就要修改另外3个配置文件了。

这三个文件都存在与hadoop目录的conf文件夹下

文件名是core-site.xml,hdfs-site.xml,mapred-site.xml

 

先配置core-site.xml

单机版Hadoop配置

按如下配置

 单机版Hadoop配置

接下来配置hdfs-site.xml

单机版Hadoop配置

配置如下

 
单机版Hadoop配置

 

再接下来配置mapred-site.xml

单机版Hadoop配置

配置如下

单机版Hadoop配置

其中localhost就是自己的IP地址了。。

 

用下面的指令格式化namenode

单机版Hadoop配置

然后启动hadoop

单机版Hadoop配置

伪集群就搭建好了。之后就可以进行测试了!

 

在浏览器中输入地址http://localhost:50030/可观察jobtracker的情况。

在浏览器中输入地址http://localhost:50070可以查看当前hadoop的文件系统的的状态。

那么就用数据对这个集群进行测试

[root@localhost hadoop-0.20.2]# bin/hadoop dfs -copyFromLocal input inTest

运行这条指令后,就可以

用http://localhost:50030/在里面看到两个文件都被送到HDFS上面,并且可以看到task和job的状态。

 

之后再运行以下指令

[root@localhost hadoop-0.20.2]# bin/hadoop jar hadoop-examples-0.20.2.jar wordcount inTest outTest

那么就对分布在HDFS上的文件进行reduce了。

处理完之后

就可以用http://localhost:50070,在文件系统里面看到outTest这个处理结果的文件了

也可以用指令bin/hadoop dfs -cat outTest/*  查看

 

 

最后,关闭hadoop

bin/stop-all.sh 

 

 

 

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21895111/viewspace-1119497/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-06-14