本节计划用Spark开发一个文本分析程序,并将分析结果存储到MongoDB(版本:3.4)数据库中。
1.打开上节中已经建好的项目:SSTest
2.在pom.xml文件中引入必要的包
1).引入MongoDB驱动程序包。可去站点:http://mvnrepository.com/ 检索你需要的依赖的引入方式。
MongoDB的Scala Driver有两种:Casbah和MongoScalaDriver。这里我们采用的是Casbah(版本:3.1.1)。在pom.xml文件中添加依赖(包含在
2).引入Spark(版本:2.1.1)。
编辑pom.xml之后,界面右下角弹出“Maven projects need to be imported”,点击“Import Changes”,Maven开始为项目导入依赖包。可查看状态栏。等待依赖包导入完毕。
3.在左侧项目树形列表中新建srcmainscala文件夹,我们编写的Scala代码将放在此文件夹下。在scala文件夹上单击右键,选择MarkDirectoryAsSourcesRoot。
4.在scala文件夹上单击右键,选择NewScala Class。弹出“Create New Scala Class”对话框。输入Name,“Kind”选择“Object”,点击“OK”,即新建文件成功。Scala Class的文件后缀名是:.scala。
5.在CountStat.scala文件中编写文本分析代码。
待分析文本testdata.log的内容格式如下:
我们计划分析出每天访问各个频道的不同区域的个数。
代码如下:
5.Run程序。分析结果打印输出如下:
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/73/viewspace-2814042/ ,如需转载,请注明出处,否则将追究法律责任。