ITPub博客

首页 > 大数据 > > Hadoop HDFS和HBase单机配置过程

Hadoop HDFS和HBase单机配置过程

作者:浪花小雨滴 时间:2020-05-18 16:59:32 0 删除 编辑
系统环境
Ubuntu 12.04 Desktop 32bit

1. 环境配置
安装Java。优先选择采用Oracle的Sun JDK,版本在1.6之上,我的版本是jdk1.7.0_05
在~/.bashrc中的最开始加入设置环境变量JAVA_HOME, CLASSPATH,PATH

禁掉IPv6,修改/etc/sysctl.conf,在最后增加:
net.ipv6.conf.all.disable_ipv6=1
net.ipv6.conf.default.disable_ipv6=1
net.ipv6.conf.lo.disable_ipv6=1

安装openssh-server
sudo apt-get install openssh-server

设置无密码ssh登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2. Hadoop配置(1.0.3)

修改hadoop/conf/hadoop-env.sh
export JAVA_HOME=/home/joy/jdk1.7.0_05 <!--change to your directory-->

修改hadoop/conf/core-site.xml

   fs.default.name
   hdfs://localhost:9000
   hadoop.tmp.dir
   /home/joy/hadoopdata/tmp <!--change to your directory-->

修改hadoop/conf/hdfs-site.xml
    
       dfs.replication
       1
    
    
       dfs.name.dir
       /home/joy/hadoopdata/dfs/name <!--change to your directory-->
    
    
       dfs.data.dir
       /home/joy/hadoopdata/dfs/data <!--change to your directory-->
    

修改hadoop/conf/mapred_site.xml
    
       mapred.job.tracker
       localhost:9001
    

运行hadoop hdfs
bin/hadoop namenode -format
bin/start-all.sh

停止hadoop hdfs
bin/stop-all.sh

可以打开
http://localhost:50070 查看NameNode
http://localhost:50030 查看JobTracker

3. HBase配置(0.94.0,缺省内置zookeeper)

修改hbase/conf/hbase-site.xml
 
   hbase.rootdir
   hdfs://localhost:9000/hbase <!--with a /hbase -->
 
 
   zookeeper.znode.parent
   /hbase
 

启动HBase
bin/start-hbase.sh

停止HBase
bin/stop-hbase.sh

HBase命令行
bin/hbase shell

updated by joy @ 2012-07-24 00:31
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/7785340/viewspace-1119831/,如需转载,请注明出处,否则将追究法律责任。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31537575/viewspace-3124357/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: Ubuntu安装Docker
请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    40389