-
编辑 删除
Spark Streaming（7）：SparkStreaming从Flume poll数据案例实战和内幕源码解密
本期内容：1.Spark Streaming on polling from Flume实战2.Spark Streaming on polling from Flume源码FlumeConnection:分布式连接的Flume实体一．通过Spark Streaming主动从Flume这边获取数据，首先配置Flume-config配置文件 二．编写源代码SparkStreamingPullFlume.javapackage com.dt.spark.SparkApps.Spa...
-
编辑 删除
Spark Streaming（8）：Spark Streaming on Kafka解析和安装实战
本课分2部分讲解：第一部分，讲解Kafka的概念、架构和用例场景；第二部分，讲解Kafka的安装和实战。由于时间关系，今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成Spark Streaming和Kafka。一、Kafka的概念、架构和用例场景http://kafka.apache.org/documentation.html#int...
-
编辑 删除
Spark Streaming（6）： Flume推送数据到SparkStreaming案例实战和内幕源码解密
本期内容：1. Flume on HDFS案例回顾2. Flume推送数据到Spark Streaming实战3. 原理绘图剖析 1. Flume on HDFS案例回顾上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。文件配置： ~/.bashrc:export FLUME_HOME=/usr/local/flume/apache-flume-1.6.0-binexport F...
-
编辑 删除
Spark Streaming（5）：SparkStreaming数据源Flume实际案例分享
一、什么是Flume? Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Fl...
-
编辑 删除
Spark Streaming（4）：基于HDFS的SparkStreaming案例实战和内幕源码解密
一：准备开发环境1. 启动HDFS，如下图所示：通过web端查看节点正常启动，如下图所示：2. 启动Spark集群，如下图所示：通过web端查看集群启动正常，如下图所示：3. 启动start-history-server.sh，如下图所示：二：案例实战package com.dt.spark...
-
编辑 删除
Spark Streaming（3）：图解StreamingContext、DStream、Receiver并结合源码分析
本课分成四部分讲解，第一部分对StreamingContext功能及源码剖析；第二部分对DStream功能及源码剖析；第三部分对Receiver功能及源码剖析；最后一部分将StreamingContext、DStream、Receiver结合起来分析其流程。1、 通过StreamingContext对象jssc，创建应用程序主入口，并连上Driver上的接收数据服务端口9999写...
-
编辑 删除
Spark Streaming（2）：Scala和Java二种方式实战Spark Streaming开发
一、Java方式开发1、开发前准备：假定您以搭建好了Spark集群。2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。
-
编辑 删除
Spark Streaming（1）：案例动手实战并在电光石火间理解其工作原理
本期内容：1、Spark Streaming 动手实战演示2、闪电般理解Spark Streaming原理案例动手实战并在电光石火间理解其工作原理流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。日常工作、生活中数据来源很多不同的地...
