ITPub博客

首页 > 大数据 > Hadoop > hadoop 伪分布式模式的安装和配置步骤

hadoop 伪分布式模式的安装和配置步骤

Hadoop 作者:sueszjc 时间:2013-05-21 14:08:53 0 删除 编辑
伪分布式模式的安装和配置步骤
     在安装hadoop之前需要先安装好Linux虚拟机或者是在安装好Linux的机器上安装好jdk,目前hadoop所有版本都是建立在jdk1.6以上所以要安装1.6或者更高版本的jdk应该就都没有问题。在安装jdk的过程中我也遇到了很多问题,老的jdk怎么卸载或者是新的jdk环境变量是怎么配置怎么测试环境等等,但是在这里就不多叙述了,因为这里主要想做个hadoop安装的学习笔记有需要的人也可以参考一下。
1、下载hadoop版本的tar.gz文件,具体下载地址可以到apache官网或者网络上搜索一下就可以找到,我下载的版本是0.20.2,因为这个版本的书籍和参考资料比较多便于学习。
2、解压hadoop的文件,进入hadoop的解压目录编辑conf/hadoop-env.sh文件。
# The java implementation to use.  Required.
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
将# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 的#号去掉,将java的安装路径替换成本

机自己安装的路径。
3、编辑core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件。
core-site.xml文件

<!-- Put site-specific property overrides in this file. -->

fs.default.name
hdfs://localhost:9000
注:完全分布模式下需要将localhost改成对应的主机地址。
hdfs-site.xml文件

<!-- Put site-specific property overrides in this file. -->

dfs.data.dir
/usr/hadoop-0.20.2/data
dfs.replication
1

dfs.data.dir项代表的是数据存放路径
dfs.replication项代表的是数据冗余备份的数目,完全分布模式下可改成需要设置的数目。
mapred-site.xml文件

<!-- Put site-specific property overrides in this file. -->

mapred.job.tracker
localhost:9001
4 SSH生成密钥对,SSH无密码访问控制。
具体原理暂时也不写了只是做个操作的笔记。
hadoop <wbr>伪分布式模式的安装和配置步骤
5 格式化HDFS 进入hadoop bin目录执行 hadoop namenode -format
至此完成了hadoop的安装和配置。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23381963/viewspace-1120167/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-02-22