ITPub博客

首页 > > > flink入门实战总结-1

flink入门实战总结-1

作者:longmanma 时间:2019-12-18 17:55:09 0 删除 编辑

随着大数据技术在各行各业的广泛应用,要求能对海量数据进行实时处理的需求越来越多,同时数据处理的业务逻辑也越来越复杂,传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。

在这种形势下,新型流式处理框架Flink通过创造性地把现代大规模并行处理技术应用到流式处理中来,极大地改善了以前的流式处理框架所存在的问题。

 

一句话:flink是etl的工具。

flink的层次结构:

其中,

windows下flink示例程序的执行简单介绍了一下flink在windows下如何通过flink-webui运行已经打包完成的示例程序(jar)

从flink-example分析flink组件(1)WordCount batch实战及源码分析讲到DataSet的转换

从flink-example分析flink组件(2)WordCount batch实战及源码分析----flink如何在本地执行的?flink batch批处理如何在本地执行的

从flink-example分析flink组件(3)WordCount 流式实战及源码分析flink stream流式处理如何在本地执行的?

使用flink Table &Sql api来构建批量和流式应用(1)Table的基本概念介绍了Table的基本概念及使用方法

使用flink Table &Sql api来构建批量和流式应用(2)Table API概述介绍了如何使用Table

使用flink Table &Sql api来构建批量和流式应用(3)Flink Sql 使用介绍了如何使用sql

flink dataset api使用及原理介绍了DataSet Api

flink DataStream API使用及原理介绍了DataStream Api

flink中的时间戳如何使用?---Watermark使用及原理介绍了底层实现的基础Watermark

flink window实例分析介绍了window的概念及使用原理

Flink中的状态与容错介绍了State的概念及checkpoint,savepoint的容错机制

flink的特征

最后,给出官网给出的特征作为结束:

1、一切皆为流(All streaming use cases )

事件驱动应用(Event-driven Applications)

  

流式 & 批量分析(Stream & Batch Analytics)

 

 数据管道&ETL(Data Pipelines & ETL)

 

2、正确性保证(Guaranteed correctness)

唯一状态一致性(Exactly-once state consistency)

事件-事件处理(Event-time processing)

高超的最近数据处理(Sophisticated late data handling)

3、多层api(Layered APIs)   

基于流式和批量数据处理的SQL(SQL on Stream & Batch Data)

流水数据API & 数据集API(DataStream API & DataSet API)

处理函数 (时间 & 状态)(ProcessFunction (Time & State))

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/2730/viewspace-3158270/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-12-18

  • 博文量
    492
  • 访问量
    11988