ITPub博客

首页 > 大数据 > Hadoop > 使用Scala实现worldcount功能

使用Scala实现worldcount功能

原创 Hadoop 作者:hz_ganwei 时间:2018-07-29 13:12:49 0 删除 编辑

新建ScalaWorldCount对象:

package com.ruozedata.day4


object ScalaWorldCount {


  def main(args: Array[String]): Unit = {


    val lines = List("hello ruoze hello jepson","hello ruoze hello jepson hello china")


    /**第一种方法

      * flatMap=map+flatten  lines.flatMap 将数据压扁

      *  flatMap(_.split(" "))   拿到每一个元素(字符串),按照空格切割

      *  map((_,1))  将单词出现一次和1放在一起(放入元组)

      *  groupBy(_._1) 第一个_ 表示List中的每一个元组,取元组中的某一个元素用._n,即按照元组中的某一元素分组,返回是一个map

      *  map(t=>(t._1,t._2.size)) 第一个_ 拿到一个对偶元组,取元组中的第一个元组。_._2.size即是取对偶元组第二个的个数。

      *

      */

    val wc = lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.size)).toList // .sortBy(_._2).reverse

    for(j <-  0 until wc.length) println(wc(j)+"\t")



    /** 第二种方法

      * foldLeft(0)(_+_._2)第一个_表示初始值或者上一次累加的结果 中第二个_ ,表示拿到的每一个元组,第三个元组的中第n个值

      */

    val wc = lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).mapValues(_.foldLeft(0)(_+_._2))

    for(i <- wc) println(i+"\t")


  }


}


运行结果:

(china,1)

(ruoze,2)

(jepson,2)

(hello,5)


Process finished with exit code 0


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29609890/viewspace-2168575/,如需转载,请注明出处,否则将追究法律责任。

上一篇: Java API操作Hive
请登录后发表评论 登录
全部评论

注册时间:2014-04-15

  • 博文量
    44
  • 访问量
    38894