ITPub博客

首页 > 数据库 > Oracle > 大数据】带你理解并使用flink中的Time

大数据】带你理解并使用flink中的Time

原创 Oracle 作者:vjvj1101 时间:2022-04-16 15:24:37 0 删除 编辑

一、Time的简介

flink 中的streaming定义了多种流式处理的时间,Event Time(事件时间)、Ingestion Time(接收时间)、Processing Time(处理时间)。


Event Time:指事件产生的时间,比如业务数据库一条数据产生的时间、一条日志数据产生的时间等。


Ingestion Time:指flink接收数据的时间。


Processing Time:指数据被flink算子处理的时间。


在真实的业务代码开发中,我们常使用Event TIme、Processing Time。


二、Window的概念

flink中,streaming流式计算被设计为用于处理无限数据集的数据处理引擎,其中无限数据集是指一种源源不断有数据过来的数据集,window (窗口)将无界数据流切割成为有界数据流进行处理的方式。实现方式是将流分发到有限大小的桶(bucket)中进行分析。




三、Window的类型

1、分类关系

TimeWindow(计时窗口),按照一定时间生成 Window(比如:每5秒

CountWindow(计数窗口),按照指定的数据量生成一个 Window,与时间无关(比如:每20个元素)。

TumblingWindow(滚动窗口)

Sliding Window(滑动窗口)

Session Window(会话窗口)



来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70016760/viewspace-2887456/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2022-04-16

  • 博文量
    14
  • 访问量
    3878