ITPub博客

首页 > 数据库 > 数据库开发技术 > Flink 正在分裂成两个产品:开发者要代码,数据团队要 SQL

Flink 正在分裂成两个产品:开发者要代码,数据团队要 SQL

数据库开发技术 作者:lumin1020 时间:1970-01-01 08:33:46 0 删除 编辑

  流处理平台长期面临一个尴尬的现实:驱动关键任务实时运营系统的开发者,和依赖新鲜数据做分析与 AI 的数据工程师、数据科学家,往往被迫使用两套割裂的架构。开发者与分布式流处理引擎搏斗,数据团队则依赖独立的批处理系统。结果是基础设施重复、ETL 管道脆弱、治理碎片化、数据陈旧。

  Confluent 在 2026 年第三季度发布中给出的答案,不是让一方迁就另一方,而是让 Flink 同时成为两种形态:面向开发者的编程能力平台,和面向数据团队的 dbt/SQL 原生平台。依据现有素材判断,这次发布的核心信号是——流处理平台正在按用户角色重新分层。

  一、开发者侧:把编程能力搬进无服务器运行时

  Flink SQL 适合大量分析场景,但开发者表达复杂业务逻辑时往往需要纯代码的灵活性。过去这意味着转向更低层的 DataStream API,并承担集群管理和运维负担。本次发布试图改变这一取舍。

  **Table API 在 Java 中全面可用。** 开发者获得了一种代码优先的方式来构建复杂 Flink 应用,同时保留无服务器、完全托管运行时的运维简便性。素材中给出的判断是:对于大约 95% 到 99% 的流工作负载,Table API 与 DataStream API 相当或更优。它提供批处理和流处理统一的声明式 API,让开发者专注业务逻辑而非底层基础设施。

  **Process Table Functions(PTFs)补齐临界边缘场景。** 对于标准 SQL 无法表达的情况,PTFs 充当流应用中的“有状态大脑”,允许在管道中维护自定义状态并配置精确的定时器。欺诈检测、动态定价、多指标异常检测等复杂事件驱动架构是典型适用场景。PTFs 现已在 AWS、Azure 和 GCP 上的 Java 中全面可用。

  **UDF 的多云覆盖。** 用户自定义函数现在支持 GCP 上的 Java 和 AWS 上的 Python,素材称其“有效弥补了多云 UDF 的差距”。这意味着工程团队可以用熟悉的语言编写自定义转换逻辑,直接引入 Confluent Cloud。

  **无服务器 Flink 应用与韧性强化。** 素材将无服务器状态处理类比为“带状态的 AWS Lambda”:精确一次处理语义、自动扩展、无需配置或修补基础设施。面向关键任务管道,平台新增了自动跨 Kubernetes 故障转移、稳健的 Flink SQL 恢复机制、故障模式检测、更快的检查点,以及为延迟敏感型工作负载提供性能底线的扩展控制(基线 CFU)。

  客户案例方面,素材提到 MasterControl 将数据处理时间从 3 小时缩短至不到 5 分钟;Henry Schein One 将所有权上移,提供受治理、生产就绪的数据,减少下游返工;Fiserv 和 JPMC 等金融行业用户则将其用于高吞吐量金融工作负载。

  二、数据团队侧:用 dbt 和物化表管理流管道

  开发者在代码中游刃有余,分析工程师和数据科学家则希望在既有声明式工具中工作,而不必学习复杂的流处理范式。这是本次发布的第二条主线。

  **dbt 适配器与物化表全面可用。** 数据工程师依赖 dbt 管理批处理管道,转向流处理时不应被迫使用陌生 CLI 或手动工作流。借助 dbt 适配器和物化表,团队可以用与 Snowflake、Databricks 等数据仓库相同的 dbt 运行工作流,管理整个 Flink 管道生命周期。

  **物化表改变了对流的思考方式。** 用户不再管理短暂的流式语句,而是管理持久的、类似数据库的资产。需要演进管道时——添加列、收紧过滤器或更改逻辑——Flink 在底层处理停止、重启、偏移量管理和追赶。素材将其称为数据工程的“简易按钮”,目标是让下游仪表板、数据湖和湖仓持续获得新鲜、分析就绪的数据产品。

  **流批一体引擎。** 素材提出的问题是:当一个引擎能完成所有任务时,为何还要管理两个独立计算引擎?Flink 原生统一批处理和流处理,借助快照查询和 Table API 批处理模式,无需重写代码即可同时查询历史数据和实时流。

  快照查询允许运行一次性 SQL 查询,通过联合读取返回数据的完整时间点视图,结合 Tableflow 中存储的深层历史记录与 Kafka 中的最新实时事件。由于这些查询针对 Apache Iceberg 或 Parquet 格式运行,素材称其比扫描原始 Kafka 流快得多。这消除了对独立批处理集群和独立实时节点的需求,统一到相同的 Flink SQL、相同的计算池和单一计费模式。

  三、AI 方向:把 Flink 定位为实时上下文引擎

  素材对生成式 AI 和大语言模型的判断很直接:它们强大,但存在根本性局限——缺乏实时上下文。昨天训练的模型无法回答关于当前正在发生的交易的问题。因此组织需要一个实时上下文引擎,而 Flink 被定位为实现这一目标的处理层。

  具体能力包括:

  **Flink AI 模型推理**:可直接从 Flink SQL 调用远程模型端点,将实时推理、嵌入生成和向量搜索查找集成到实时数据流中,无需构建脆弱的数据同步管道。

  **多变量异常检测(GA)和 Granite 模型支持**:素材称其让面向 AI 的数据流更易访问。

  **流式智能体**:开发者可直接在 Flink 上构建事件驱动、始终在线的智能体。Flink 不仅处理数据行,还通过模型上下文协议(MCP)持续向任何 AI 系统提供新鲜上下文。

  这一方向的实质是:Flink 不再只是移动数据,而是试图成为丰富 AI 数据的首选处理层,把模型视为一等公民。

  四、统一平台:Kafka 与 Flink 的协同设计

  本次发布的主线是“平台的每一根支柱都已演进”,但素材强调更重要的是它们一起演进。Kafka 和 Flink 不是笨拙拼接的不同系统,而是协同设计的产品。

  **统一治理模型**:由 Confluent Schema Registry 驱动,确保数据从 Kafka 流入 Flink 时保持合规、模式化,并通过数据血缘完全可追踪。Kafka 头中的 Schema ID 等功能,在数据流经 Kafka、Flink、Tableflow 和湖仓时,以一致、验证过的模式支持上下文感知的 AI 应用和分析。

  **统一安全态势**:过去一年提供了池级别的细粒度 RBAC、Flink 状态的 BYOK 加密以及客户端字段级加密(CSFLE),并将私有网络覆盖扩展到 Kafka、Flink、Schema Registry 和统一流管理器。

  **共享底层架构**:两者共享相同的 Kora 存储引擎和底层架构。

  五、定价:用 Advantage Packs 换可预测性

  随着流处理工作负载扩展,成本不可预测可能成为阻碍。素材提到,面向具有已知稳定使用量的生产导向型客户,Confluent 推出了 Flink Advantage Packs,从第一天起提供可预测支出和更优性价比。

  机制是:承诺最低基线(每个云提供商从 25 个 Confluent Flink 单位起),客户可获得更高的语句配额——每个 CFU 最多支持四条语句,而非标准的一条。素材称,与标准按需付费定价相比,Flink 工作负载可节省高达 75% 的有效成本,使运行多个小语句或扩展流处理足迹更具成本效益。

  趋势判断

  **第一,流处理平台的竞争焦点正从“引擎能力”转向“角色适配”。** 开发者要代码优先的灵活性和无服务器运维,数据团队要 dbt/SQL 原生工作流。一个平台能否同时服务两类用户,正在成为选型关键。

  **第二,批流一体的价值主张从“少维护一套系统”升级为“统一计费和统一计算池”。** 快照查询、Table API 批处理模式、Iceberg/Parquet 格式支持,指向的是用同一套 SQL 和计算资源覆盖历史与实时查询。

  **第三,AI 正在成为流处理平台的新叙事入口。** 实时上下文、模型推理、向量搜索、MCP 上下文供给,这些能力把 Flink 从数据管道推向 AI 应用的基础设施层。依据现有素材判断,这一方向仍处于能力铺开阶段,实际落地效果需要观察。

  **第四,治理与安全成为统一平台的隐性护城河。** Schema Registry、数据血缘、RBAC、BYOK、CSFLE、私有网络,这些能力决定了高敏感行业客户能否把关键任务负载放上云。

  结论

  Confluent 本次发布的实质,是把 Confluent Cloud for Apache Flink 拆成两种用户体验:开发者用 Table API、PTFs、UDF 和无服务器运行时构建关键任务应用;数据团队用 dbt、物化表和 Flink SQL 管理始终新鲜的数据产品。两者共享 Kafka 协同设计的治理、安全和存储底座,并在 AI 方向上交汇于实时上下文引擎。

  素材中有一句免责声明值得注意:以上内容概述的是一般产品方向,并非承诺提供任何材料、代码或功能,所描述特性的开发、发布、时间和定价可能发生变化。对于正在评估流处理平台的团队,这意味着方向值得关注,但具体能力仍需以实际可用版本为准。

  配图建议:可配一张“开发者侧能力(Table API / PTFs / UDF / Flink Apps)”与“数据团队侧能力(dbt 适配器 / 物化表 / 快照查询)”并列的架构示意图,底部统一指向 Kafka + Flink 协同设计的治理与安全底座。

  生成标记:本文由 ITPUB 文章生成平台基于已选素材整理生成。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69965512/viewspace-3182055/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-03-06

  • 博文量
    299
  • 访问量
    475186