ITPub博客

首页 > IT职业 > IT生活 > Intellij IDEA 开发Saprk程序 —— 03. 用Spa

Intellij IDEA 开发Saprk程序 —— 03. 用Spa

IT生活 作者:xzh1980 时间:2021-09-09 09:53:13 0 删除 编辑

本节计划用Spark开发一个文本分析程序,并将分析结果存储到MongoDB(版本:3.4)数据库中。

1.打开上节中已经建好的项目:SSTest

2.在pom.xml文件中引入必要的包

1).引入MongoDB驱动程序包。可去站点:http://mvnrepository.com/ 检索你需要的依赖的引入方式。

MongoDB的Scala Driver有两种:Casbah和MongoScalaDriver。这里我们采用的是Casbah(版本:3.1.1)。在pom.xml文件中添加依赖(包含在块中):

5b9765c10001cc7103680158.jpg

2).引入Spark(版本:2.1.1)。

5b9765c10001e6d404230261.jpg

编辑pom.xml之后,界面右下角弹出“Maven projects need to be imported”,点击“Import Changes”,Maven开始为项目导入依赖包。可查看状态栏。等待依赖包导入完毕。

5b9765c100018aff12400964.jpg

3.在左侧项目树形列表中新建srcmainscala文件夹,我们编写的Scala代码将放在此文件夹下。在scala文件夹上单击右键,选择MarkDirectoryAsSourcesRoot。

4.在scala文件夹上单击右键,选择NewScala Class。弹出“Create New Scala Class”对话框。输入Name,“Kind”选择“Object”,点击“OK”,即新建文件成功。Scala Class的文件后缀名是:.scala。

5b9765c200011d1403640140.jpg

5b9765c3000159af12400971.jpg

5.在CountStat.scala文件中编写文本分析代码。

待分析文本testdata.log的内容格式如下:

5b9765c30001d00e06030338.jpg

我们计划分析出每天访问各个频道的不同区域的个数。

代码如下:

5b9765c400010ae110270786.jpg

5b9765c4000110ad10270803.jpg

5b9765c5000116c410270547.jpg

5.Run程序。分析结果打印输出如下:

5b9765c5000193dd12400363.jpg


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/73/viewspace-2814042/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-04-03

  • 博文量
    107
  • 访问量
    547