ITPub博客

首页 > 大数据 > 可视化 > centos linux成功安装hadoop

centos linux成功安装hadoop

可视化 作者:xiao7_d 时间:2013-06-15 21:58:13 0 删除 编辑
一、开发环境:
     Hadoop的生产环境只能在linux上,所以开发学习也建议在linux,本文基于centos6.4;JDK也是安装前的必须准备:
centos_linux成功安装hadoop
二、Hadoop的三种模式简介:
1、单例模式(standalone):该模式下没有守护进程,单一个JVM进程,适合MapReduce开发时做调试;
2、伪分布式(pseudo-distributed):在本地机器上模拟集群,开启里守护进程
3、全分布式(fully distributed):Hadoop的守护进程在集群上跑了,生产环境了
三种模式的切换需要配置不同的参数,配置文件在hadoop文件中的conf文件夹下,参数如下:
centos_linux成功安装hadoop

三、下载稳定版的hadoop,当前时间最新的是hadoop-1.1.2:
文中下载的是hadoop-1.1.2.tar.gz解压到你想放置的地方,本文在用户根目录下;解压后先将hadoop-1.1.2/conf/hadoop-env.sh中的JAVA_HOME打开,便指向本机安装的JDK目录:
centos_linux成功安装hadoop

四、将hadoop的bin文件下的命令注册到系统环境中,编辑/etc/profile文件:
centos_linux成功安装hadoop

完成后,注销系统重新登录在终端里输入hadoop version,正确显示:
centos_linux成功安装hadoop

五、选择模式,开发学习选择单例模式或伪分布式,需要配置的文件是conf中core-site.xml;hdfs-site.xml;mapred-site.xml如下示例的是伪分布式:
---------------------------------------------------------------------------------
<!-- core-site.xml -->
fs.default.name
hdfs://localhost/
---------------------------------------------------------------------------------
<!-- hdfs-site.xml -->
dfs.replication
1
------------------------------------------------------------------------------------
<!-- mapred-site.xml -->
mapred.job.tracker
localhost:8021
六、以上ok后,终端里启动hdfs和mapreduce,输入:start-all.sh后打开浏览器,用hadoop提供的web工具查看当前hadoop的运营情况,浏览器输入:localhost:50070和localhost:50030:
centos_linux成功安装hadoop

centos_linux成功安装hadoop

七、因为伪分布式需要用ssh本地登录localhost来模拟多台机器,所以还得正确安装ssh并配置无密登录。
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23139383/viewspace-1119347/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-01-06