实时数据处理愈来愈重要，流式数据处理有着更高的处理效率和成本控制能力。Flink在德语中意味着快速和灵敏，用来体现流式数据处理器速度快和灵活性强等特色。Apache是流式框架中同时支持低延迟、高吞吐、Exactly-once 的，同时提供了基于流式计算引擎处理批量数据的计算能力，真正意义上实现了批流统一，同时随着阿里Blind的开源，极大地加强了Flink对批量计算领域的支持，编程

主要基于集中式的关系型数据库实现存储，大多数将架构分为计算层和存储层。微服务架构将系统数据源拆分，解决了业务系统扩展的问题，可是业务数据国语分散在不一样的系统中，很难将数据进行集中化管理，对于企业内部进行数据分析或者数据挖掘之类的应用则须要经过从不一样的数据库进行数据抽取，将数据从数据库中周期性同步到数据仓库中，而后再数据仓库中进行数据的抽取、转换、加载（ETL），从而构建成不一样的数据集和应用，提供给业务系统使用。

Lamada架构支持处理不一样类型的数据，包含支持批量计算的Batch Layer和实时计算的Speed Layer，经过在一套平台中将批计算和流计算整合在一块儿，可是这种架构由于框架太多仍然存在平台复杂度和运维成本较高的问题。数

数

基于有状态计算方式的最大优点是不须要将原始数据从外部系统中拿出来，避免进行全量计算，对比批量计算，实时计算能够在很短的时间内统计出结果。框架

Apache Flink同时支持如下特性：分布式

同时支持高吞吐、低延迟、高性能，且目前惟一支持，Storm不支持高吞吐的要求
支持事件时间(Event time)的概念，使用事件产生的时间，使得即便乱序，流系统也能计算出正确的结果，保持事件本来产生时的有序性，尽量避免网络传输或者硬件系统的影响
支持有状态流式计算，将算子中间结果保存在内存或者文件系统中，极大提高系统性能，下降资源消耗
支持高度灵活的窗口(Window)机制，经过窗口的方式对流数据进行必定范围的聚合计算
基于轻量级分布式快照(Snapshot)实现的容错，基于分布式快照技术的Checkpoints，将执行过程当中的状态信息进行持久化存储，支持任务异常时候的自动恢复，确保数据在处理过程当中的一致性
基于JVM实现独立的内存管理，序列化/反序列化方式减小数据存储大小，下降GC带来的性能影响
支持保存点(Save Points)，将任务执行的快照保存在存储介质上，便于更好的管理和运维流式应用

实时智能推荐，经过Flink流计算构建更加实时的智能推荐系统，对用户行为指标进行实时计算，对模型进行实时更新，对用户指标进行实时预测，并将预测的信息推送到Web/App端。
复琐事件处理，借助Flink CEP（复琐事件处理）
实时欺诈检测
实时数仓和ETL
流数据分析
实时报表分析，天猫双十一大屏

ITPub博客

Flink 相关

最新文章