Python3实战Spark大数据分析及调度

使用python3实战讲解了Spark核心功能组件，并结合调度爆款框架Azkaban，来对作业进行调度，最后以天气数据分析做为实战项目，让你学会对大数据进行处理与分析

第1章课程介绍

课程介绍

1-1 PySpark导学

1-2 OOTB环境演示

第2章实战环境搭建

工欲善其事必先利其器，本章讲述JDK、Scala、Hadoop、Maven、Python3以及Spark源码编译及部署

2-1 -课程目录

2-2 -Java环境搭建

2-3 -Scala环境搭建

2-4 -Hadoop环境搭建

2-5 -Maven环境搭建

2-6 -Python3环境部署

2-7 -Spark源码编译及部署

第3章 Spark Core核心RDD

本章详细讲解RDD是什么以及特性(面试常考)、Spark中两个核心类SparkContext和SparkConf、pyspark启动脚本分析、RDD的创建方式以及如何使用IDE开发Python Spark应用程序并提交到服务器上运行

3-1 -课程目录

3-2 -RDD是什么

3-3 -通过电影描述集群的强大之处

3-4 -RDD的五大特性

3-5 -RDD特性在源码中的体

3-6 -图解RDD

3-7 -SparkContext&SparkConf详解

3-8 -pyspark

3-9 -RDD创建方式一

3-10 -RDD创建方式二

3-11 -使用IDE开发pyspark应用程序

3-12 -提交pyspark作业到服务器上运行

第4章 Spark Core RDD编程

本章将针对RDD中常用的算子进行详细案例讲解，并进行综合案例实战

4-1 -课程目录

4-2 -RDD常用操作

4-3 -map算子使用详解

4-4 -filter算子详解

4-5 -flatMap算子详解

4-6 -groupByKey算子详解

4-7 -reduceByKey算子详解

4-8 -sortByKey算子详解

4-9 -union算子使用详解

4-10 -distinct算子使用详解

4-11 -join算子详解

4-12 -action常用算子详解

4-13 -算子综合案例实战一词频统计

4-14 -算子综合案例实战之词频统计重构

4-15 -算子综合案例实战之TopN统计

4-16 -算子综合案例实战之平均数统计

第5章 Spark运行模式

本章将介绍Spark的几种运行模式，需要重点掌握on YARN模式

5-1 -课程目录

5-2 -local模式运行

5-3 -standalone模式环境搭建及pyspark运行

5-4 -standalone模式spark-submit运行

5-5 -yarn运行模式详解

ITPub博客

Python3实战Spark大数据分析及调度

最新文章