ITPub博客

首页 > 大数据 > 数据分析 > 开源力量公开课第四十九期 - Spark:大数据时代的电光火石

开源力量公开课第四十九期 - Spark:大数据时代的电光火石

原创 数据分析 作者:liuhua11 时间:2014-03-27 17:40:07 0 删除 编辑
课程名称:开源力量公开课第四十九期 - Spark:大数据时代的电光火石
课程报名:http://www.osforce.cn/openclass/65/show?id-itpub
课程背景:
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。


课程大纲:
1. spark简介
推荐链接:http://www.tuicool.com/articles/2uA773
2. scala语法介绍
函数式编程
闭包
几个关键的函数:map 和flatmap
3. spark的关键组件
master 
worker 
sparkContext(client)
4. 4种rdd
输入rdd,转化rdd,缓存rdd
行动rdd(只有最后一种才会进行计算)
5. 一个wordcount例子
解释刚才讲过的rdd,图例解释DAG的概念
6. stage的概念
stage存在的意义,stage和依赖的关系
什么是数据的pipeline
7. 两种Task
Task的提交与执行
8  计算结果


讲师介绍:
白硕,从事该领域开发八年,经验丰富,具有丰富的开发技术实践经验。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29530777/viewspace-1130966/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2014-03-10

  • 博文量
    1
  • 访问量
    1793