2024 年第二季度 Confluent Cloud 发布围绕数据流平台的四大关键支柱——流（Stream）、连接（Connect）、处理（Process）和治理（Govern）——推出了一系列增强功能，同时我们在合作伙伴生态系统方面也开展了重要工作，帮助客户解锁新的可能性。Confluent 已帮助超过 4,900 家全球企业开启数据流之旅，并近期在 Forrester Research 的 The Forrester Wave™：流数据平台，2023 年第四季度 中被评为领导者。

Flink SQL 工作区的交互式表格

在使用 Flink SQL 开发或调试流处理管道时，通常需要检查每个处理步骤的输出以确保数据被正确转换。然而，理解结果数据流的结构、分布和特征需要执行多个临时 SQL 查询，这可能耗时且繁琐。此外，隔离流的特定子集以进行分析或调试通常涉及更多查询，增加了复杂性和所需时间。

我们很高兴地宣布 Flink SQL 工作区现已包含交互式表格，允许您直接在 Confluent Cloud UI 中快速探索和可视化 Flink 查询结果。用户可以高效地扫描、分析和剖析每个查询的输出数据，从而在实施流处理工作负载时简化开发和故障排除流程。

这些增强功能提供了更深入、更直观的数据探索，具有以下优势：

• 通过可排序的无限滚动结果实时更新，简化数据探索和剖析

• 使用迷你图和汇总统计立即洞察数据趋势和分布，无需额外繁琐查询

• 通过消息过滤和搜索功能增强故障排除和监控，隔离特定数据子集以进行详细检查

交互式前端提供了一套全面的功能，专为开发人员、数据工程师和 DevOps 团队的需求量身定制，包括：

• 您期望从数据表中获得的一切功能，如无限滚动和行排序

• 列数据的直方图和时间序列摘要，显示分布和随时间的变化

• 列统计信息，如基数、中位数、最小值和最大值

• 通过刷选和选择过滤数值和维度数据

• 表级字符串搜索以找到您想要的确切行

• 列管理以调整显示并了解列元数据

AWS 上的 Flink 私有网络支持

Confluent Cloud 上的私有网络为数据流处理工作负载提供了安全的环境，并确保符合 GDPR 和 CCPA 等法规要求。Confluent Cloud 的多个功能均提供私有网络选项，我们很高兴将此能力扩展到 AWS 上的云原生 Apache Flink 服务。该新功能目前适用于连接到 Enterprise 集群的 Flink 计算池，并将很快支持 Dedicated 集群。

Flink 的私有网络支持为需要在严格监管环境中实时处理数据的企业提供了关键的安全层。数据流在 Flink 和 Kafka 之间传输，不会将敏感信息暴露到公共互联网，从而实现安全、灵活的流处理。

借助 Flink 的私有网络支持，Confluent 用户可以：

• 通过在安全的私有网络内保护 Flink 和 Kafka 之间的传输数据，增强数据安全性和隐私性

• 简化安全网络配置，无需大量网络专业知识即可更轻松地设置私有连接

• 促进跨集群和环境的安全灵活流处理，在遵守严格安全协议的同时确保数据可访问性

我们计划很快将 Flink 私有网络支持扩展到更多云平台和集群类型。

让 Enterprise 集群更具弹性

最近推出的无服务器 Enterprise 集群将弹性自动扩缩容的独特优势与私有网络相结合，让您能够最大限度地减少运维负担，同时满足严格的安全要求。Enterprise 集群由 Elastic CKU（eCKU）驱动，可即时自动扩容以应对需求高峰，并在无需用户干预的情况下自动缩容，因此您再也不必担心集群容量规划和（过度）配置问题。

Enterprise 集群的最新更新使团队能够：

• 通过缩容至零的集群避免为未使用的资源多付费，仅在真正需要时按实际用量付费

• 通过可自动扩展至 2.4 GBps 吞吐量的无服务器集群，将峰值容量翻倍

• 通过将每个 Elastic CKU 的分区数增加两倍，提升高分区工作负载的成本效益

借助这些增强功能，Enterprise 集群现在比以往更具弹性和成本效益。

与 Confluent 连接：通过 7 个新集成进一步扩展数据流处理生态系统

作为对 Confluent 120 多个预构建连接器产品组合的补充和扩展，Connect with Confluent (CwC) 技术合作伙伴计划进一步扩展了全球数据流生态系统，将完全托管的 Confluent Cloud 数据流直接送到开发者的手边，让他们在已经使用的工具中即可访问。

本季度，我们很高兴地介绍七家新加入该计划的合作伙伴，他们最近推出了新的 Confluent 集成：Amazon EventBridge、Couchbase、Cockroach Labs、DeltaStream、Neo4j、Nexla 和 SAP。此外，Redis（内存数据结构存储系统） 通过推出新的源连接器和接收器连接器，扩展了其与 Confluent 的集成组合。

CwC 合作伙伴与 Confluent 共同提供：

• 原生 Confluent 集成：在您的团队已经使用的数据系统内轻松集成完全托管的数据流，帮助您降低成本，同时构建客户所需的实时应用程序。

• 新的数据流用例：当更多团队能够轻松访问基于 Confluent 构建的数据产品时，超越 Kafka 专家范围，解锁新的数据流计划。

• 更多实时数据：通过 Confluent 的数据流网络轻松共享您的数据产品，以更多实时数据为整个业务提供动力。随着该计划在未来持续扩展，充分利用数据不断增长的价值。

自去年 7 月 CwC 计划启动以来，已开发了 40 多个完全托管的合作伙伴集成。我们与多元化的合作伙伴一起，进一步拓宽了客户在 Confluent 数据流平台上可用的实时用例范围。查看我们的 CwC 生态系统全景图，了解实时数据流在通过 Confluent 合作伙伴生态系统运行时能够触及的范围有多广。

作为对 Confluent 120 多个预构建源连接器和接收器连接器产品组合的补充，CwC 合作伙伴集成将完全托管的数据流直接带给用户，让他们在已经使用的应用程序中即可访问。

无缝迁移到完全托管的连接器

在 Kafka Summit London 上，我们为完全托管的连接器推出了平台级增强功能，包括到私有端点的安全网络连接以及更新的 Debezium V2 CDC 连接器。然而，从自管理连接器迁移到完全托管的连接器可能是一个棘手的过程。该过程通常需要重新处理主题中的所有数据，这既耗时又会增加产生重复记录的风险。

自定义偏移量管理通过指定起始偏移量，简化了从自管理连接器到完全托管连接器的迁移以及连接器版本升级。借助自定义偏移量，客户现在可以：

• 从自管理连接器无缝迁移到完全托管连接器，不会产生数据重复

• 在灾难恢复期间从特定偏移量开始重放消息

• 跳过导致问题的坏记录，这些问题无法通过现有的错误处理功能解决

偏移量管理支持 20 多个源连接器和所有接收器连接器，提供两种迁移路径：一种通过暂停正在运行的连接器并获取其偏移量来保证无数据丢失或重复，另一种通过针对实际主题启动新连接器并通过 Flink 清理任何重复数据来确保零停机时间。团队应评估其迁移需求，并选择适合自身需求的方法。

新的完全托管连接器

Amazon DynamoDB CDC Source Connector

使用 Amazon DynamoDB 和传统基于批处理的数据管道的组织在跨各种数据系统保持同步方面面临挑战。全托管的 Amazon DynamoDB CDC Source Connector 通过持续捕获 Amazon DynamoDB 表中的插入、更新和删除等修改并将其发布到 Kafka 主题来解决这一问题。

Google Cloud Functions (Gen 2) Sink connector

目前，Confluent 的全托管 Google Cloud Functions Sink connector 将 Apache Kafka 与 Google Cloud Functions 集成。随着 Google Cloud Functions Gen 2 的发布，我们推出了全托管的 Google Cloud Functions (Gen 2) Sink connector，为客户带来实例并发和更长请求处理时间等改进。

Azure 上的自定义连接器

我们在 2023 年第一季度推出了自定义连接器，使客户能够在 Confluent Cloud 上上传并运行自己的 Kafka Connect 插件代码。该功能现已在 Azure 的所有区域可用，此外也支持 AWS。

其他新功能和增强

BYOK 增强

Confluent Cloud 提供“自带密钥”（BYOK）功能作为安全增强，允许客户管理自己的加密密钥以保护数据。该功能使客户能够使用他们生成和控制的密钥（通常通过云提供商的密钥管理服务（KMS））来加密 Confluent Cloud 中的静态数据。今天，我们宣布对该功能进行几项关键增强——

跨 AWS、Azure 和 GCP 的托管 HSM 支持：我们最近在所有三个云提供商上添加了硬件安全模块（HSM）保护的密钥支持，使客户能够通过 FIPS（联邦信息保护标准）140-2 验证的 HSM 满足合规要求。

简化 AWS KMS 策略：我们简化了客户配置 AWS KMS 策略的方式，该策略允许 Confluent Cloud 访问其加密密钥。这使得在 AWS 中管理该策略在操作上更容易且更安全。现有客户无需采取任何操作。新集群将在密钥配置期间自动接收更新后的策略。了解更多

针对 Google Cloud Platform (GCP) 的 BYOK API 支持：我们添加了针对 Google Cloud Platform (GCP) 的 BYOK API 支持，使 BYOK 集群配置体验在三大云提供商之间保持一致。此改进也在 Terraform provider v1.56.0 版本中推出。了解更多

SI 合作伙伴计划更新

Confluent 致力于成为克服客户业务挑战的战略盟友。作为 Accelerate with Confluent 计划的一部分，我们加强了合作伙伴协作，以更好地为您服务。该计划旨在通过以下方式帮助您实现数据流目标：

• 通过 Connect with Confluent 实现原生集成：我们的合作伙伴可以提供无缝集成解决方案，使您更容易连接各种系统并简化运营。

• Build with Confluent：合作伙伴可以快速开发流式用例产品，让您能够快速启动新项目并加速创新。

• Confluent 迁移加速器：从传统消息系统或 Apache Kafka® 平滑过渡到 Confluent，确保最小干扰和最大效率。

通过与 Confluent 及我们的合作伙伴携手合作，您可以满足对实时客户体验和应用程序日益增长的需求，开启新的增长和成功机遇。

Build with Confluent

Build with Confluent 帮助系统集成商（SI）加速开发数据流用例产品。客户可以确信，我们 SI 基于 Confluent 的服务产品不仅构建在领先的数据流平台上，而且还经过 Confluent 专家的验证。我们的合作伙伴解决方案库可以帮助客户轻松部署新用例，并提供对 GitHub 仓库、演示视频和参考架构的访问。

• Build with Confluent 合作伙伴包括 Data Reply GmbH 、 Data Reply S.R.L 、 GFT Technologies 、 GoodLabs Studio 、 is-land Systems Inc. 、 iLink Digital 、 KPMG 、 MFEC Public Company Limited 、 Ness Digital Engineering 、 Onibex 、 Persistent 、 Platformatory 、 Psyncopate 、 Quantyca S.p.A. 、 Synthesis Software Technologies (Pty) Ltd.

在此博客中了解每个合作伙伴的解决方案。

Confluent 迁移加速器

Confluent 迁移加速器支持从任何版本的 Apache Kafka ® 或传统消息系统平滑过渡到 Confluent。我们为客户提供来自合作伙伴生态系统的独家资源访问权限，以及合作伙伴量身定制的迁移方案，让迁移变得轻而易举。客户不仅可以放心地升级其数据流平台，同时节省时间和成本，符合条件的迁移还可能获得资金支持。

• 迁移加速器合作伙伴包括 Amazon Web Services (AWS) 、 CloudMile 、 EPAM 、 Google Cloud 、 iLink Digital 、 Improving 、 Microsoft Azure 、 Ness 、 Platformatory 、 Psyncopate 、 SVA System Vertrieb Alexander GmbH 、 Somerford Associates 和 MFEC Public Company Limited 。

开始使用新的 Confluent Cloud 功能进行构建

准备好开始了吗？如果您还没有注册，请注册 Confluent Cloud 的免费试用版以探索新功能。新注册用户将获得 400 美元，可在前 30 天内在 Confluent Cloud 中使用。使用代码 CL60BLOG 可额外获得 60 美元的免费使用额度。*

以上内容概述了我们的一般产品方向，并不构成对交付任何材料、代码或功能的承诺。所描述的任何功能或特性的开发、发布、时间安排和定价可能会发生变化。客户应根据当前可用的服务、特性和功能做出购买决策。

Confluent 及相关标志是 Confluent, Inc. 的商标或注册商标。

Apache ®、Apache Kafka ® 和 Apache Flink ® 是 Apache Software Foundation 在美国和/或其他国家的注册商标或商标。使用这些标志并不意味着 Apache Software Foundation 的认可。所有其他商标均为其各自所有者的财产。

• Olivia Greene 是 Confluent 的产品营销人员，她推动 Confluent Cloud 和 Confluent Platform 的采用，并帮助企业充分发挥数据流传输的潜力。在加入 Confluent 之前，她曾在 Red Hat 领导基础设施、存储和边缘技术领域的项目和上市计划。

  
  

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：Confluent Blog

原创地址：https://www.confluent.io/blog/accelerate-data-streaming-with-latest-in-confluent-cloud/