首页 > 数据库 > Oracle > 大数据】带你理解并使用flink中的Time
一、Time的简介
flink 中的streaming定义了多种流式处理的时间,Event Time(事件时间)、Ingestion Time(接收时间)、Processing Time(处理时间)。
Event Time:指事件产生的时间,比如业务数据库一条数据产生的时间、一条日志数据产生的时间等。
Ingestion Time:指flink接收数据的时间。
Processing Time:指数据被flink算子处理的时间。
在真实的业务代码开发中,我们常使用Event TIme、Processing Time。
二、Window的概念
flink中,streaming流式计算被设计为用于处理无限数据集的数据处理引擎,其中无限数据集是指一种源源不断有数据过来的数据集,window (窗口)将无界数据流切割成为有界数据流进行处理的方式。实现方式是将流分发到有限大小的桶(bucket)中进行分析。
三、Window的类型
1、分类关系
TimeWindow(计时窗口),按照一定时间生成 Window(比如:每5秒
CountWindow(计数窗口),按照指定的数据量生成一个 Window,与时间无关(比如:每20个元素)。
TumblingWindow(滚动窗口)
Sliding Window(滑动窗口)
Session Window(会话窗口)
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70016760/viewspace-2887456/ ,如需转载,请注明出处,否则将追究法律责任。