ITPub博客

首页 > 大数据 > Hadoop > Hadoop HDFS和HBase单机配置过程

Hadoop HDFS和HBase单机配置过程

Hadoop 作者:LbinComputer 时间:2012-07-25 00:09:19 0 删除 编辑
系统环境
Ubuntu 12.04 Desktop 32bit

1. 环境配置
安装Java。优先选择采用Oracle的Sun JDK,版本在1.6之上,我的版本是jdk1.7.0_05
在~/.bashrc中的最开始加入设置环境变量JAVA_HOME, CLASSPATH,PATH

禁掉IPv6,修改/etc/sysctl.conf,在最后增加:
net.ipv6.conf.all.disable_ipv6=1
net.ipv6.conf.default.disable_ipv6=1
net.ipv6.conf.lo.disable_ipv6=1

安装openssh-server
sudo apt-get install openssh-server

设置无密码ssh登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2. Hadoop配置(1.0.3)

修改hadoop/conf/hadoop-env.sh
export JAVA_HOME=/home/joy/jdk1.7.0_05 <!--change to your directory-->

修改hadoop/conf/core-site.xml

    fs.default.name
    hdfs://localhost:9000
    hadoop.tmp.dir
    /home/joy/hadoopdata/tmp <!--change to your directory-->

修改hadoop/conf/hdfs-site.xml
     
         dfs.replication
         1
     
     
         dfs.name.dir
         /home/joy/hadoopdata/dfs/name <!--change to your directory-->
     
     
         dfs.data.dir
         /home/joy/hadoopdata/dfs/data <!--change to your directory-->
     

修改hadoop/conf/mapred_site.xml
     
         mapred.job.tracker
         localhost:9001
     

运行hadoop hdfs
bin/hadoop namenode -format
bin/start-all.sh

停止hadoop hdfs
bin/stop-all.sh

可以打开
http://localhost:50070 查看NameNode
http://localhost:50030 查看JobTracker

3. HBase配置(0.94.0,缺省内置zookeeper)

修改hbase/conf/hbase-site.xml
 
    hbase.rootdir
    hdfs://localhost:9000/hbase <!--with a /hbase -->
 
 
    zookeeper.znode.parent
    /hbase
 

启动HBase
bin/start-hbase.sh

停止HBase
bin/stop-hbase.sh

HBase命令行
bin/hbase shell

updated by joy @ 2012-07-24 00:31
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/7785340/viewspace-1119831/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论