ITPub博客

安装hadoop要领

原创 Linux操作系统 作者:子阙 时间:2017-03-13 00:39:52 0 删除 编辑
1、安装JDK
       tar -zxvf jdk-7u75-linux-i586.tar.gz -C /root/training/
  vi ~/.bash_profile
JAVA_HOME=/root/training/jdk1.7.0_75
export JAVA_HOME


PATH=$JAVA_HOME/bin:$PATH
export PATH
  source ~/.bash_profile
  


修改这个vi /etc/selinux/config     SELINUX=disabled


可以查看环境变量 vi /etc/profile

Hadoop配置环境


  vi ~/.bash_profile
 
HADOOP_HOME=/root/training/hadoop-2.4.1
export HADOOP_HOME


PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

使环境变量生效:
source ~/.bash_profile


修改  cd training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
27 #export JAVA_HOME=${JAVA_HOME}
28 export JAVA_HOME=/root/training/jdk1.7.0_75


可以写一个例子进行测试
I love Beijing
I love China
Beijing is the capital of China


运行:hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount ~/data/input/data.txt  ~/data/output


安装伪分布模式


<!--数据的冗余度-->
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>




<!--NameNode的地址-->
<!--9000:RPC通信的端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.106.2:9000</value>
</property>






<!--配置数据在dataNode上保存的位置-->
<!---默认:linux的tmp目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.4.1/tmp</value>
</property>




<!--ResourceManager运行的框架-->
<!---洗牌MR运行的方式-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.137.111</value>
</property>


<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>




(*) 对HDFS格式化
     hdfs namenode -format


启动Hadoop
    start-all.sh


-------------免登陆配置------------------
1、产生密钥对
  ssh-keygen -t rsa
  
2、公钥给别人
  ssh-copy-id -i .ssh/id_rsa.pub root@192.168.137.111
  
  改名:.ssh/authorized_keys




 /root/training/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
可以更改缓存

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31437795/viewspace-2135195/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2017-02-23

  • 博文量
    9
  • 访问量
    11347