导读

Amazon Redshift Serverless 利用人工智能和机器学习自动配置和扩展数据仓库容量，为要求苛刻和不可预测的工作负载提供快速性能。它提供顶尖的数据共享体验，您可以隔离工作负载，并从同一个 Redshift 数据库读取和写入数据，以构建多仓库、数据网格架构，简化 SQL 分析。参加本次会议，了解 Redshift Serverless 数据共享和 SQL 分析的最佳实践和关键考虑因素，以优化您最苛刻的分析工作负载的性价比。

演讲精华

以下是小编为您整理的本次演讲的精华。

在不断演进的数据管理领域，组织机构面临着处理大量不断变化的数据集的复杂性。人工智能的出现、与新应用程序的集成以及合规性要求，进一步加剧了这些挑战。认识到现代企业的多样化需求和目标，亚马逊云科技在亚马逊云科技 re:Invent 2024活动期间推出了一种构建可扩展和智能数据系统的前瞻性方法。

这一旅程通常从仪表板和报告计划开始，迅速发展到构建ETL管道，从多个来源摄取数据并将其加载到数据仓库中。随着数据需求的增长，客户寻求实时洞察并与ML功能集成以进行预测分析。然而，对于数据货币化和竞争优势的无止境渴求，推动组织构建复杂的架构，采用数据网格或多仓库设置，并辅以数据共享机制。这种错综复杂的结构使企业能够扩大数据覆盖范围，并实现整个企业的数据访问民主化。

人工智能的出现开启了新时代，对话式体验和生成式人工智能应用程序需要存储大量训练数据，并从云数据仓库中提供实时洞察。认识到这一范式转变，亚马逊云科技将Amazon Redshift定位为一个强大的数据基础，提供可扩展性、价格/性能优化、实时洞察、统一的湖仓功能与SQL、为生成式人工智能应用程序提供上下文支持，以及内置安全功能。

亚马逊云科技多仓库愿景的核心是Amazon Redshift Serverless与Amazon Redshift Data Sharing的和谐融合。这种强大的组合使组织能够分析和从各种类型的数据中获得洞察，利用诸如Auto Copy、Zero ETL和流式传输等多种摄取机制。生成的数据可以无缝地在各种BI工具、AI/ML应用程序、API和第三方引擎中使用。

两年前推出的Amazon Redshift Serverless是一项开创性的产品，已经获得了广泛的关注，客户在该平台上执行了数十亿次查询。它的自动配置和扩展功能减轻了基础设施管理的负担，使客户只需为所消耗的资源付费。Continuous的增强功能，如支持Amazon PrivateLink进行安全连接、AI驱动的扩展和优化实现高达10倍的价格/性能提升、扩展到1.02 RPU的RPU范围，以及在10个额外的亚马逊云科技区域的可用性，进一步巩固了它作为强大解决方案的地位。大多数客户在2024年运行的查询数量比2023年多4倍以上，突显了对Amazon Redshift Serverless的日益浓厚的兴趣和采用。

与Redshift Serverless互补的是Amazon Redshift Data Sharing，这是一个强大的功能，可以在多个数据仓库之间共享实时事务数据，无需数据复制。这种无缝数据共享可以在同一亚马逊云科技账户内的预配置集群和无服务器端点之间进行，也可以跨账户甚至跨区域进行。Data Sharing开启了无数用例，包括工作负载隔离、收费机制和扩展读取工作负载。最近的增强功能，如支持增量物化视图、作用域权限、细粒度对象级权限以及在11个额外区域的可用性，进一步丰富了Data Sharing体验。客户每天在Amazon Redshift上运行数百万次数据共享读取查询，彰显了这一功能的广泛采用。

性能仍然是一个至关重要的问题，亚马逊云科技已经努力解决了这一方面。改善了Amazon Redshift Data Sharing读取查询的性能，当第一次运行数据共享读取查询时，性能提高了146x，当生产者数据被流式应用程序持续更新时，性能提高了高达4倍。此外，支持在数据共享中使用Datalake表格，以及通过数据共享实现多仓库写入的全面可用性，共同使组织能够扩展其ETL工作负载和处理能力。

Amazon Redshift和Redshift Serverless的主要产品经理Ashish Agarwal深入探讨了Amazon Redshift Serverless中AI驱动的扩展和优化。这项开创性功能通过动态调整资源以满足特定的价格/性能目标，无论是优化成本、性能还是平衡方法，都可以提供高达10倍的价格/性能改善。

AI驱动的扩展和优化全面学习并适应工作负载需求，近乎实时地分配容量以容纳资源密集型查询，并随着数据量的增长保持一致的性能。这个智能系统由三个关键组件组成:工作负载预测器、查询预测器和一套预测模型。

工作负载预测器会仔细观察一段时间内的模式，进行“假设分析”并预测工作负载需求，以确定满足价格/性能目标的最佳容量。同时，查询预测器会跟踪查询属性、资源需求，并执行实时“假设分析”，以动态扩展资源以实现最佳性能或成本效率。查询预测器会考虑超过50个属性，包括连接类型、扫描的块数量和NDV值，以做出明智的扩展决策。

为了加快决策速度，AI驱动的扩展和优化利用了三种预测模型:针对重复查询的缓存模型、针对具有不同文字值的类似查询的本地训练模型，以及针对全新查询的全局训练模型。这种多方位的方法确保了计算资源的智能分配，提供了一致的性能，同时优化了成本。

以下实例说明了亚马逊云科技多仓库架构和数据共享功能的变革性影响:

1.           一家物流公司面临着管理订单处理和跟踪的不同数据集的挑战，采用了多仓库架构。通过将工作负载分离到单独的Amazon Redshift Serverless实例中，一个专门用于订单数据，另一个用于规模更大5倍的跟踪数据集，他们实现了工作负载隔离并利用了无服务器计算的自动扩展功能。数据共享促进了与BI用户和临时查询的无缝集成，从而提高了性能并节省了大量成本。之前需要12小时才能完成的工作负载现在只需2小时，充分体现了效率的提升。

2.           一家劳动力管理公司采取了主动方式，使用Amazon Managed Streaming for Apache Kafka (Amazon MSK)直接从运营数据存储中消费数据并将其加载到Amazon Redshift Serverless。认识到客户洞察和内部分析的不同需求，他们采用了数据共享将数据分发到单独的无服务器实例。这种架构从一开始就实现了成本节约和性能提升，展示了亚马逊云科技多仓库解决方案的灵活性。

3.           在金融领域，一家公司应对了欺诈检测分析的关键挑战，需要在5分钟内进行近实时报告。他们通过Amazon Kinesis Data Streams从Amazon S3和运营数据库摄取数据，实施了真正的数据网格架构。这种复杂的设置包括多个Amazon Redshift Serverless实例和一个预配置的Redshift集群，数据共享实现了近实时报告和临时分析。无服务器计算的自动扩展功能与工作负载隔离相结合，确保了一致的性能、满足了严格的SLA并实现了大幅成本节约。

4.           一种常见情况是，夜间ETL作业需要更多资源，而白天BI工作负载则需要较少容量，Amazon Redshift Serverless通过AI驱动的扩展和优化优雅地解决了这一问题。系统会主动在夜间将容量扩展到128个RPU(Redshift处理单元)以满足ETL工作负载，而在白天则将其缩减到32个RPU以满足BI工作负载，动态优化成本和性能。

为进一步说明亚马逊云科技多仓库解决方案的功能，演示了一个预先录制的演示。演示展示了三个Amazon Redshift Serverless端点，每个端点都启用了AI驱动的扩展:一个主生产者端点优化了平衡的价格/性能，一个ETL消费者端点优化了性能，一个BI消费者端点优化了成本。

作为数据所有者的主生产者，授予了ETL和BI数据共享各自命名空间的使用权限。包含零售公司数据的表格，如目录、呼叫中心、销售和退货信息，通过这些数据共享进行共享。最初呼叫中心表中没有任何行。

使用ETL消费者演示了数据摄取，该消费者对ETL数据共享具有写入权限。一个简单的COPY命令将48条记录摄取到呼叫中心表中，更改立即反映在主生产者的表计数中，展示了数据共享的实时事务性质。

随着演示的进行，跨多个表启动了数十亿条记录的复制作业，模拟了真实世界的场景。在这些作业运行时，亚马逊云科技控制台中的资源监控页面显示了人工智能驱动的缩放和优化实时进行。ETL消费者自动扩展到128个RPU，针对性能进行了优化，以高效处理资源密集型复制作业。有些表格包含80亿条记录，另一些则包含40亿或20亿条记录被摄取。

接下来，注意力转移到了具有BI数据共享读取权限的BI消费者。针对摄取的数据执行了一系列比较当前和上一年销售情况的聚合查询。同时，资源监控页面显示人工智能驱动的缩放和优化将BI消费者调整为64个RPU，针对成本进行了优化，以经济高效的方式处理临时查询。

Praneth Mandadi，Hilton的平台架构总监，分享了Hilton在实施Amazon Redshift Serverless方面的令人信服的历程。他强调了一个关键应用程序面临的挑战，该应用程序利用了预订数据，包括来自80个国家的高达35，000名用户同时执行复杂分析查询的高并发需求，需要小于30秒的响应时间，以及为全球用户提供近乎实时数据访问的必要性。单个仪表板可能会生成100到150个SQL查询，每个查询在Redshift上执行数百个查询。

Hilton从配置的Redshift环境过渡到启用了数据共享的Serverless架构，实现了工作负载隔离、更快的洞见时间、减少了管理开销、通过自助ETL功能提高了生产力、实现了收费机制、提高了性能和可扩展性。以前，将2年的交易数据摄取到MicroStrategy立方体需要8小时，导致用户访问的数据滞后36小时。通过新架构，用户可以在1或2小时的时间限制内访问数据，遵循“跟随太阳”的原则。

Ashish Agarwal最后分享了实施多仓库架构和数据共享的最佳实践:

1.           明确定义数据所有权，任命管理员负责，并实施健全的安全性和治理模型。

2.           实施实时数据共享，构建数据网格架构，以实现数据访问民主化并增加使用案例。

3.           利用人工智能驱动的缩放和优化，根据工作负载需求自动调整资源大小，无需手动调整。

4.           实施Amazon Redshift工作负载管理(WLM)规则，控制资源分配并监控查询性能。

5.           使用最小特权原则的IAM角色建立数据安全性，并利用Amazon Lake Formation实现全面的安全性和治理。

6.           实施成本管理实践，包括亚马逊云科技异常检测、数据共享自动报告以及利用Amazon Redshift Serverless的成本控制功能。

7.           持续收集用户反馈，不断评估和改进多仓库架构，确保与不断发展的业务需求保持一致。

Ashish还强调了测试转换到多仓库架构的资源，如Amazon Workload Replicator或Test Drive，并提供了Amazon Redshift Serverless新用户的免费积分信息。此外，他分享了关于人工智能驱动缩放和优化的博客链接，以及包含体验价格/性能增益的笔记本的GitHub存储库。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。