目标：

在已经存在的4个节点的hadoop 2.6集群上基础上，搭建spark集群。
4个机器分别为： master、slave1、slave2、slave3

1、资源下载

根据要求，SCALA要2.11.x。

	下载完后的文件：解压到/usr/local/ 目录下。

	scala-2.11.8.tgz

	spark-2.0.0-bin-hadoop2.6.tgz

	tar -zxvf scala-2.11.8.tgz 

	mv scala-2.11.8 /usr/local/

	tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz

	mv spark-2.0.0-bin-hadoop2.6  /usr/local/

scala官网配置介绍

spark官网配置介绍

	export JAVA_HOME=/usr/local/jdk1.7.0_67

	export PATH=$JAVA_HOME/bin:$PATH

	export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  

	export HADOOP_HOME=/usr/local/hadoop-2.6.0

	export PATH=$PATH:$HADOOP_HOME/bin  

	export SCALA_HOME=/usr/local/scala-2.11.8

	export PATH=$PATH:$SCALA_HOME/bin

	slave1

	slave2

	slave3

	export JAVA_HOME=/usr/local/jdk1.7.0_67

	export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 

	export SPARK_MASTER_HOST=master 

	export SPARK_WORKER_MEMORY=512m

		sbin/start-all.sh   
	
		启动后通过jps命令查看进程有没有启动。

可以看到Master、Worker进程则启动成功 
	
		5、测试集群

	cd 到example/jar目录下。 运行样例任务。

	../../bin/spark-submit --class org.apache.spark.examples.SparkPi     --master yarn     --deploy-mode cluster       spark-examples*.jar     10

看能看到输出了pi的值。