子阙博文

暂无签名

  • 博客访问: 5854
  • 博文数量: 9
  • 用 户 组: 普通用户
  • 注册时间: 2017-02-23 11:11
  • 认证徽章:
ITPUB论坛APP

ITPUB论坛APP



APP发帖 享双倍积分

文章分类

全部博文(9)

文章存档

2017年(9)

我的朋友
微信关注

IT168企业级官微



微信号:IT168qiye



系统架构师大会



微信号:SACC2013

安装hadoop要领 2017-03-13 00:39:52

分类: Linux

1、安装JDK
       tar -zxvf jdk-7u75-linux-i586.tar.gz -C /root/training/
  vi ~/.bash_profile
JAVA_HOME=/root/training/jdk1.7.0_75
export JAVA_HOME


PATH=$JAVA_HOME/bin:$PATH
export PATH
  source ~/.bash_profile
  


修改这个vi /etc/selinux/config     SELINUX=disabled


可以查看环境变量 vi /etc/profile

Hadoop配置环境


  vi ~/.bash_profile
 
HADOOP_HOME=/root/training/hadoop-2.4.1
export HADOOP_HOME


PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

使环境变量生效:
source ~/.bash_profile


修改  cd training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
27 #export JAVA_HOME=${JAVA_HOME}
28 export JAVA_HOME=/root/training/jdk1.7.0_75


可以写一个例子进行测试
I love Beijing
I love China
Beijing is the capital of China


运行:hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount ~/data/input/data.txt  ~/data/output


安装伪分布模式


<!--数据的冗余度-->
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>




<!--NameNode的地址-->
<!--9000:RPC通信的端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.106.2:9000</value>
</property>






<!--配置数据在dataNode上保存的位置-->
<!---默认:linux的tmp目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.4.1/tmp</value>
</property>




<!--ResourceManager运行的框架-->
<!---洗牌MR运行的方式-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.137.111</value>
</property>


<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>




(*) 对HDFS格式化
     hdfs namenode -format


启动Hadoop
    start-all.sh


-------------免登陆配置------------------
1、产生密钥对
  ssh-keygen -t rsa
  
2、公钥给别人
  ssh-copy-id -i .ssh/id_rsa.pub root@192.168.137.111
  
  改名:.ssh/authorized_keys




 /root/training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
可以更改缓存
阅读(232) | 评论(0) | 转发(0) |
0

上一篇:没有了

下一篇:mybatis和hibernate的区别

给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册