首页 > 云计算 > 公有云实践 > 亚马逊云的数据流处理有哪些新动向
了解亚马逊云科技如何通过端到端的托管和无服务器功能重新构想数据流,涵盖核心基础设施、系统运营、数据集成、数据处理和数据管理,帮助客户实现数据平台的现代化。了解用于收集、处理和分析流数据的新型和近期创新,包括提高可扩展性、高弹性、低延迟,以及与众多亚马逊云科技和第三方服务的原生集成。参加本次会议,了解如何使用亚马逊云科技流解决方案构建可扩展、弹性的数据流应用,以获得更快的洞察力和改进决策制定。
以下是小编为您整理的本次演讲的精华。
本次会议由负责亚马逊云科技托管Kafka和Flink服务的Ashish Palaker开场,他阐明了流数据技术对当代组织的重要性。他强调了客户采用这些技术的四个关键原因:首先是利用实时数据;其次是优化和降低成本;第三是加快洞见并改进分析以改善决策;第四是保持系统同步和更新。
Ashish概述了亚马逊云科技流媒体产品组合,包括用于摄取和存储的Amazon Kinesis Data Streams (KDS)和Amazon Managed Streaming for Apache Kafka (MSK),用于流处理的Amazon Managed Service for Apache Flink (MSF),用于数据流的Amazon Data Firehose,以及用于连接源和目标的Amazon MSK Connect。
然后,他阐述了一个涉及Mercado Libre的客户案例研究。Mercado Libre是拉丁美洲最大的电子商务企业之一。它利用KDS实时处理超过3000万条传入消息和5000万条传出消息,涉及支付、商品、运输和其他工作流程,实现了六个9的正常运行时间,并在各个地区实现了可靠的数据应用程序。
Ashish阐述了客户消费流媒体服务的四种常见模式:首先是实时分析;其次是实时数据转换;第三是摄取到数据湖;第四是事件驱动架构。他强调,流媒体工作负载越来越成为关键任务,因此性能、成本、弹性和易用性成为关键决定因素。
在性能方面,Ashish介绍了新的Amazon MSK Express Brokers,它提供高达3倍的吞吐量、比Apache Kafka快20倍的扩展能力、90%更快的恢复速度以及增强的故障处理能力。他还阐述了MSK中分层存储提供的实际无限的按需付费存储。
在成本方面,Ashish解释了Express Brokers如何通过整合到更少的代理实现潜在的成本节约,同时改善工作负载状况。他还介绍了Express Brokers的定价和可用性细节。
随后,MSK团队的首席工程师Anusha就可用性和易用性进行了讨论。她强调实现高可用性的三大支柱:影响检测和避免、实时响应以及冗余系统。Anusha举例说明了最近的一些新功能,如能够从MSK集群中删除多个代理、提高Kinesis On-Demand Streams的吞吐量,以及使用Express Brokers加快重新平衡。
Anusha接着阐述了易用性,强调满足不同需求的选择、全面的源和接收器范围以及采用新版本的敏捷性的重要性。她讨论了最近推出的功能,如Amazon Data Firehose能够将数据库中的数据变更复制到Amazon S3上的Apache Iceberg表、用于托管Flink的DynamoDB Streams连接器,以及使用MSK、托管Flink和Amazon OpenSearch自动建立实时检索增强生成(RAG)管道用于AI/ML。
随后,Verizon的副总监Sagar分享了他们从自管理Kafka设置迁移到Amazon MSK的经验。Verizon曾面临维护窗口长、意外事件导致数据丢失、可观测性平台不稳定以及零售活动期间无法扩展等挑战。通过迁移到MSK并在Amazon EKS上部署Kafka Connect,Verizon实现了故障设计、自动故障恢复、多AZ高可用性、自动升级和扩展、改善的可扩展性和容量、增强的网络和IOPS性能、最小化数据丢失、通过就地升级实现可靠维护以及基于SCRAM和SSL的身份验证加强安全性。
会议最后总结了亚马逊云科技流媒体产品组合全年的众多新功能发布,并邀请与会者进一步探索。
总的来说,这次全面的会议涵盖了亚马逊云科技流媒体产品组合的最新创新和客户使用案例,重点关注了关键流媒体工作负载的性能、成本、可用性和易用性。
我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出,企业要从 " 成本优化 " 转向 " 创新驱动 " ,通过完善的数据战略和 AI 云服务,把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在 AI 时代突破。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3090313/ ,如需转载,请注明出处,否则将追究法律责任。