ITPub博客

首页 > 数据库 > MySQL > RDD的几种创建方式与US六仔源码搭建

RDD的几种创建方式与US六仔源码搭建

原创 MySQL 作者:你沏的茶 时间:2018-08-20 10:03:12 0 删除 编辑

在RDD中,US六仔源码搭建【企 娥:217 1793 408】通常就代表和包含了Spark应用程序的输入源数据。 
当我们,在创建了初始的RDD之后,才可以通过Spark Core提供的transformation算子,对该RDD进行transformation(转换)操作,来获取其他的RDD。 
Spark Core为我们提供了三种创建RDD的方式,包括: 
1. 使用程序中的集合创建RDD 
2. 使用本地文件创建RDD 
3. 使用HDFS文件创建RDD

应用场景 
1. 使用程序中的集合创建RDD,主要用于进行测试,可以在实际部署到集群运行之前,自己使用集合构造测试数据,来测试后面的spark应用的流程 
2. 使用本地文件创建RDD,主要用于的场景为:在本地临时性地处理一些存储了大量数据的文件 
3. 使用HDFS文件创建RDD,应该是最常用的生产环境处理方式,主要可以针对HDFS上存储的大数据,进行离线批处理操作


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31551089/viewspace-2212321/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2018-08-20

  • 博文量
    1
  • 访问量
    353