安装InteliJ软件
新建工程，如下图
屏幕快照 2018-12-26 23.16.31.png
配置build.sbt
name := "ScalaHelloWorld"version := "1.0"scalaVersion := "2.12.2"libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.0"
这里的scala版本需要与系统安装的一致，否则后面sbt编译会报错。
lib依赖配置了，sbt会自动下载需要的包。
准备数据
例如如下简单的文本
hello word count hello
新建scala object
package com.helloimport org.apache.spark.{SparkConf, SparkContext}
object wordCount { def main(args: Array[String]): Unit = {
val conf = new SparkConf()
.setMaster("local")
.setAppName("wordCount")
val sc = new SparkContext(conf)
val data = sc.textFile("./example.txt")
val result = data.flatMap(_.split(" "))
.map((_,1))
.reduceByKey(_+_)
.collect()
result.foreach(println)
}
}
运行
屏幕快照 2018-12-26 23.35.11.png
结果如下
屏幕快照 2018-12-26 23.36.14.png
这就是spark word count的最简单的入门环境了。
作者：霖雨07
链接：https://www.jianshu.com/p/0d9613dae620
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/3324/viewspace-2819411/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
初次使用bookdown编写书籍
下一篇：
testNG-失败用例重跑机制
请登录后发表评论
登录
全部评论
