Hadoop及Mahout安装
环境:虚拟机VMware7+Ubuntu 12.04
1,先下载需要的文件:
【注意】:版本问题很重要
jdk,eclipse,maven
Hadoop:http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.3/ 我其实先下载了0.2.0
mahout:http://labs.renren.com/apache-mirror/mahout/0.7/
2,安装jdk,下载的rpm包,需要安装alien,然后用alien把rpm转换成deb,再使用dpkg安装
3,eclipse解压,我用的helios版
4,maven解压,配置环境变量:
我的/etc/profile文件最终的配置(我的文件都放在share目录下,然后share目录可以和windows共享):
- export JAVA_HOME=/usr/java/jdk1.7.0_07
- export PATH=$JAVA_HOME/bin:$PATH
- export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
- export HADOOP_HOME=/home/ydp/share/hadoop-1.0.3
- export HADOOP_CONF_DIR=$HADOOP_HOME/conf
- export PATH=$HADOOP_HOME/bin:$PATH
- export MAHOUT_HOME=/home/ydp/share/mahout-distribution-0.7
- export PATH=$MAHOUT_HOME/bin:$PATH
- export MAVEN_HOME=/home/ydp/share/apache-maven-3.0.4
- export PATH=$MAVEN_HOME/bin:$PAT
5,安装hadoop,解压1.0.3版本,配置文件:
core-site.xml
- <configuration>
-
<property>
-
<name>fs.default.namename>
-
<value>hdfs://localhost:9000value>
-
property>
-
<property>
-
<name>hadoop.tmp.dirname>
-
<value>/home/ydp/tmpvalue>
-
property>
- configuration>
mapred-site.xml
- <configuration>
-
<property>
-
<name>mapred.job.trackername>
-
<value>localhost:9001value>
-
property>
- configuration>
hdfs-site.xml
- <configuration>
-
<property>
-
<name>dfs.replicationname>
-
<value>1value>
-
property>
- configuration>
hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_07
export HADOOP_HOME_WARN_SUPPRESS=TRU
6,安装mahout,解压(我就没用mvn install了,直接下了个可用的)