ITPub博客

首页 > 大数据 > Hadoop > Hadoop及Mahout安装

Hadoop及Mahout安装

Hadoop 作者:giant312 时间:2014-03-02 11:12:58 0 删除 编辑

Hadoop及Mahout安装

 

环境:虚拟机VMware7+Ubuntu 12.04

1,先下载需要的文件:

【注意】:版本问题很重要

jdk,eclipse,maven

Hadoop:http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.3/ 我其实先下载了0.2.0

mahout:http://labs.renren.com/apache-mirror/mahout/0.7/

2,安装jdk,下载的rpm包,需要安装alien,然后用alien把rpm转换成deb,再使用dpkg安装

3,eclipse解压,我用的helios版

4,maven解压,配置环境变量:

我的/etc/profile文件最终的配置(我的文件都放在share目录下,然后share目录可以和windows共享):

  1. export JAVA_HOME=/usr/java/jdk1.7.0_07  
  2. export PATH=$JAVA_HOME/bin:$PATH  
  3. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
  4. export HADOOP_HOME=/home/ydp/share/hadoop-1.0.3 
  5. export HADOOP_CONF_DIR=$HADOOP_HOME/conf  
  6. export PATH=$HADOOP_HOME/bin:$PATH  
  7. export MAHOUT_HOME=/home/ydp/share/mahout-distribution-0.7 
  8. export PATH=$MAHOUT_HOME/bin:$PATH  
  9. export MAVEN_HOME=/home/ydp/share/apache-maven-3.0.4 
  10. export PATH=$MAVEN_HOME/bin:$PAT 

5,安装hadoop,解压1.0.3版本,配置文件:

core-site.xml

  1. <configuration> 
  2.     <property> 
  3.         <name>fs.default.namename> 
  4.         <value>hdfs://localhost:9000value> 
  5.     property> 
  6.     <property> 
  7.         <name>hadoop.tmp.dirname> 
  8.         <value>/home/ydp/tmpvalue> 
  9.     property> 
  10. configuration>

mapred-site.xml

  1. <configuration> 
  2.     <property> 
  3.         <name>mapred.job.trackername> 
  4.         <value>localhost:9001value> 
  5.     property> 
  6. configuration> 

hdfs-site.xml

  1. <configuration> 
  2.     <property> 
  3.         <name>dfs.replicationname> 
  4.         <value>1value> 
  5.     property> 
  6. configuration> 

hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_07
export HADOOP_HOME_WARN_SUPPRESS=TRU 

6,安装mahout,解压(我就没用mvn install了,直接下了个可用的)

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26263379/viewspace-1119783/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2011-09-10