关键字: [亚马逊云科技， MSK Express Broker， 存储计算分离， Kafka消息队列， 实时数据处理， 数据分析场景， 托管服务优势]

导读

金丹女士在本次演讲中介绍了亚马逊云科技的MSK Express Broker服务。MSK Express Broker是一种存储计算分离的架构，其Broker和底层数据存储是分开的，底层存储由亚马逊云科技自动管理，无需用户关注存储规划。相比标准MSK Broker，MSK Express Broker具有吞吐性能更高(同配置下为3倍)、扩缩容速度更快、恢复速度更快等优势。MSK Express Broker适用于对存储空间无上限需求、对吞吐性能和弹性扩缩容有较高要求的Kafka使用场景。

演讲精华

以下是小编为您整理的本次演讲的精华。

在这场内容丰富的分享视频中，亚马逊云科技数据分析团队的产品经理金丹和专家架构师潘超老师为我们全面介绍了亚马逊云科技MSK (Managed Streaming for Kafka) Express Broker的特性、优势和适用场景。

金丹首先回顾了Apache Kafka作为开源流处理引擎在多个领域的广泛应用。她强调，Kafka主要被用作消息队列，在实时日志采集和分析、实时交易事件处理、消息传递和微服务解耦、流式ETL以及实时指标计算和风控等场景中发挥着关键作用。许多公司都在使用Kafka，因为它与批量数据处理有着5个主要区别。

首先，Kafka更侧重于小批量的实时流式数据，而批量处理则数据量更大但实时性要求不高，一般会先落盘存储，如在亚马逊云上落到S3或本地磁盘，而Kafka基本上是内存计算。其次，流式数据处理的数据量通常较小，仅存储数小时或数天的窗口数据，而批量处理能存储更长时间的数据。第三，Kafka的数据写入性能极佳，可达毫秒级，甚至个位数毫秒级，因此适用于金融交易等对延迟要求苛刻的场景，而批量处理一般只能达到秒级或分钟级。第四，实时分析只需要实时数据，而长期数据分析则需要将数据持久化存储到数据仓库或数据湖中。最后，Kafka作为中间连接层，需要与上游的数据生产者和下游的多种消费者系统集成，如大数据平台、业务系统、Flink或Spark等流计算引擎，而批量处理则往往是数据的终点。

金丹特别强调，许多公司的前端访问日志、业务应用日志等实时日志数据，都会首先落到Kafka中进行采集和分析。此外，一些金融客户会将交易数据先缓存到Kafka中，用于实时交易事件处理。另外，Kafka也常与流处理引擎如Flink和Spark集成，用于流式ETL。此外，Kafka还被广泛应用于消息传递、微服务解耦、实时指标计算和风控等场景。

尽管开源Kafka功能强大，但也面临着诸多挑战，如配置复杂、运维成本高、扩展困难、高可用性问题等。为解决这些痛点，亚马逊云科技推出了托管服务MSK。MSK与开源Kafka完全兼容，但按照最佳实践预先配置，用户可一键创建和扩展集群，并实现跨多个可用区的高可用，极大简化了运维工作。

MSK目前提供两种模式:Provisioned集群模式和Serverless无服务器模式。本次分享的重点是MSK Express Broker，它采用了创新的存储计算分离架构。不同于Standard Broker将Broker与存储空间一一对应，Express Broker的Broker与底层存储是分离的，存储空间可动态扩展，并被视为无限存储。

与Standard Broker相比，Express Broker在存储、配置、实例类型、版本支持和维护窗口等方面都有显著差异。在存储方面，Express Broker的存储完全由MSK自动管理，用户无需操心，只需支付单副本存储费用，而非传统的2副本或3副本。吞吐量配置也由MSK自动管理。在实例类型上，Standard Broker支持多种实例类型如T3、M5、M7g等，而Express Broker目前只支持Graviton的M7g实例类型，从Large到16xlarge不等。支持的Kafka版本方面，Standard Broker支持更多版本，包括最新的4.0版本，而Express Broker当前支持3.6和3.8版本，未来将支持更多版本。维护窗口也有所不同，Standard Broker通常每月有固定时间窗口进行安全补丁升级，而Express Broker则采用完全动态分布式的维护窗口，对客户和业务系统完全透明。

Express Broker不仅在运维和配置上更加简单，在性能方面也有诸多优势。首先，在相同配置下，Express Broker的吞吐量是Standard Broker的3倍，这一点已被多个客户验证。其次，Express Broker的缩放速度更快，重新分区rebalance仅需几分钟，而Standard Broker则需要数小时，特别是在数据量较大时，重新平衡分区会耗时更长。第三，Express Broker的恢复速度也更快。这些优势都源自Express Broker的存储计算分离架构。

金丹通过对比Standard Broker和Express Broker的架构示意图，形象展示了两者的差异。在Standard Broker中，计算和存储是合一的，Broker与底层EBS存储空间一一对应。而在Express Broker中，存储由亚马逊云科技直接管理，用户无需指定存储空间大小和配置，只需关注数据的写入，存储空间会动态扩展。另外，由于Express Broker只需支付单副本存储费用，因此在扩展时，重新分区的过程会更加高效，只需几分钟即可完成，而Standard Broker则需要数小时。比如，如果原来有3个Broker，扩展到6个Broker后，需要将分区从原来的3个Broker重新平衡到6个Broker上，这在数据量较大时往往需要几个小时甚至更长时间。而Express Broker由于存储计算分离，在做分区调整时只需几分钟，这正是Express Broker在弹性扩展方面的优势所在。金丹还提到，他们有很多客户已经在使用Express Broker，并通过验证确认了其性能优势。

在金丹的精彩分享之后，潘超老师继续为我们介绍了MSK Express Broker的迁移方法和客户案例，进一步阐明了Express Broker在实践中的应用价值。

总的来说，这场分享视频全面介绍了亚马逊云科技MSK Express Broker的特性、优势和适用场景，为客户提供了一种高性能、可扩展、低运维的Kafka服务，帮助企业更好地利用实时流数据，提升业务价值。我们有理由相信，Express Broker一定会为更多客户带来巨大收益，成为流处理领域的佼佼者。

总结

亚马逊云科技MSK Express Broker存储计算分离的优势备受关注。这种新型架构将Kafka Broker与底层存储分离，为用户提供了无限扩展存储空间的灵活性，同时降低了运维成本。与传统部署相比，MSK Express Broker具有三大优势:

首先，它采用存储计算分离设计，底层存储由亚马逊云科技自动管理，用户只需关注数据写入，无需担心存储规划。此外，Express Broker只需支付单副本存储费用，大幅降低成本。

其次，Express Broker在性能方面表现出色。相比标准部署，它的吞吐量提高了三倍，缩放速度更快，恢复时间也更短。这得益于其独特的架构设计，在扩缩容时只需几分钟即可完成分区重平衡，大幅提升了弹性。

最后，Express Broker在配置和运维上更加简单。用户无需关注底层资源规划，亚马逊云科技会自动进行优化配置，极大降低了管理复杂度。这种全新的无服务器体验，让用户能够专注于数据处理，充分释放Kafka的强大功能。

Express Broker凭借其卓越的性能、弹性和简化运维等优势，为企业提供了一种全新的Kafka部署模式，助力企业轻松构建高效、可靠的实时数据处理管道。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。