-
编辑 删除
Spark Stream 简单例子
pom.xml<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.1.0</version></dependency>import java.io.OutputStream;...
-
编辑 删除
Spark SQL 最简单例子
pom.xml org.apache.spark spark-core_2.10 &...
-
编辑 删除
HDFS read and write
import java.io.OutputStream;import java.net.URI;import java.net.URL;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;...
-
编辑 删除
Spark master standalong
~/.bashrcexport JAVA_HOME=/usr/java/latest/export HADOOP_HOME=~/hadoopexport SPARK_HOME=~/sparkexport PATH=.:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATHexport SPARK_MASTER_HOST=192.168.202.134export SPARK_LOCAL_IP=192.168.202.134spark/conf/spark-env....
-
编辑 删除
Spark example
pom.xml点击(此处)折叠或打开...
-
编辑 删除
Windows 10 安装Spark2.1
下载并解压 spark-2.1.0-bin-hadoop2.7 hadoop-2.7.3 scala-2.12.1下载winutils.exe。 这里https://github.com/sdravida/hadoop2.6_Win_x64.git复制winutils.exe 到hadoop-2.7.3\bin，并执行 winutils.exe chmod 777 D:\tmp\hive设置she'zhi环境变量H...
