导读

参加本次会议，了解亚马逊云科技分析服务在数据仓库和SQL分析方面的最新创新。Amazon Redshift是由人工智能驱动的云端数据仓库解决方案，已被数万亚马逊云科技客户用于现代化数据分析工作负载，并以最佳性价比生成商业洞察。进一步了解Amazon Redshift最新推出的功能，这些功能能够帮助您的组织以更低的成本做出更快的决策。

演讲精华

以下是小编为您整理的本次演讲的精华。

在现代数据仓库不断发展的格局中，出现了四大关键趋势，塑造了未来并推动创新。数据湖、数据仓库和机器学习用例的融合已成为现实，客户寻求在单一平台上统一数据，并利用SQL、Spark分析和机器学习功能。对近实时分析的需求激增，客户努力将数据从运营存储和交易系统尽快摄入分析存储，实现主动运营和创新客户体验。

随着数据整合成为常态，简化访问、强大的安全性和治理控制变得至关重要，确保正确的用户能够适当访问数据，促进数据民主化。分析解决方案的广泛采用取决于这些因素，凸显了数据可访问性和强大治理的重要性。

作为亚马逊云科技的企业级、全托管、PB级数据仓库解决方案，Amazon Redshift自诞生以来十多年一直走在解决这些趋势的前沿。Redshift不断进化以满足客户需求，使跨行业的客户能够扩展分析用例的范围，包括数据仓库迁移、现代化、自助分析、近实时分析、机器学习、数据共享和货币化。

Redshift的采用规模惊人，成千上万的客户每天共同处理艾字节的数据，每周执行数百亿次查询。新功能如数据共享和无服务器已获得重大吸引力，每天通过数据共享执行数千万次查询，数千名客户在Redshift无服务器上执行数十亿次查询。

Redshift的产品路线图由四个关键重点领域指导。首先，自诞生以来就一直坚持追求价格性能，确保客户从系统中获得最大价值，并随着用户和数据量的增加无缝扩展。其次，数据湖和数据仓库的融合一直是优先事项，实现湖仓架构，将数据湖的灵活性和开放性与数据仓库的性能和事务能力相结合。

第三，简化摄入并实现近实时分析是推动力，使客户能够以最小延迟将数据从运营存储带入分析存储。最后，使数据可用于构建上下文和相关应用程序，以及利用人工智能提高Redshift上的用户生产力，是一个关键重点领域。

仅在过去12个月，Redshift就推出了超过100个新功能，涵盖数据管理、安全性、性能、无服务器、与其他服务的集成和区域扩展。本次会议深入探讨了这些关键功能集及其在各种用例中的潜在应用。

Redshift的价格性能优势是无可否认的，根据标准TPC-DS的基准测试，比其他云数据仓库系统的价格性能高出3倍。对于仪表板应用程序，Redshift每美元的吞吐量高达7倍，满足此类工作负载典型的低延迟、高并发查询需求。

持续监控Redshift车队已为性能增强的开发提供了信息，在过去8-9个月中带来了一系列改进。已实施优化以改善仪表板查询的第一次查询响应时间，减少编译开销。与2021年相比，数据共享性能的第一次查询显著提高143倍，当数据持续更新时，性能提高4倍。

自动化算法得到增强，生成更智能的排序键和分布键，实现最佳系统性能。引入RA3L实例，提供计算和存储分离，为仍在使用旧式DC2L实例的客户提供了令人信服的升级路径。此外，在无服务器车队上引入Graviton，无缝提供高达30%的更佳价格性能。

Redshift的数据共享功能对于部署多集群架构的客户来说是无价的。通过实现跨多个Redshift数据仓库的实时、事务一致的数据共享，数据共享促进了诸如中心辐射和数据网格等常见部署模式。在中心辐射模型中，数据被摄入中央数据仓库，专用于仪表板、数据科学和特定工作负载的单独分析集群都可从中央环境访问数据。数据网格架构适用于不同业务团队拥有自己的仓库但需要共享和协作数据集的场景，数据共享支持跨账户和跨区域数据访问，甚至与Amazon Data Exchange集成以获取第三方数据。

Redshift托管存储支持数据共享，实现计算存储分离，消除资源争用，并在多租户环境中促进收费。新推出的多仓库多数据仓库权限功能进一步增强了数据共享，允许团队跨独立计算资源扩展数据处理工作负载(如ETL作业)，同时操作共享数据库。此功能支持实时协作，销售、营销、财务和数据科学等团队在共同数据模型(如客户360或运营日志)上工作，各自在专用计算资源上运行。

Serverless Redshift在简化Redshift体验方面发挥了关键作用，提供自动配置、扩展和按使用付费定价。最新增强包括扩展到10个额外区域、跨区域复制、快照调度和私有链路支持等功能功能，使无服务器更接近与配置集群的功能对等。Serverless Redshift现在提供10倍24容量配置，RPU(Redshift处理单元)支持更大工作负载的上线。

现已普及的AI驱动扩展和优化功能进一步提升了无服务器Redshift的智能性和动态性。客户可以优化成本、性能或平衡方法，让系统处理计算扩展和优化部署，即使数据量增加也能保持所需性能水平。一家利用此功能的客户以仅70%的成本获得高达5.3倍的性能提升。还引入了可观察性和易用性改进，包括查询分析器用于查询执行计划的图形表示，以及查询哈希用于跟踪随时间的查询性能。

作为Redshift最大客户之一，Amazon.com已大规模部署数据共享和无服务器，拥有280个集群作为生产者摄入和管理数据，2500个消费集群为1500个团队提供服务。Gator是一家超快杂货配送公司，利用数据网格架构和数据共享实现了数据访问民主化，提高了成本效率，并实现了大规模分析，每分钟或几秒钟处理TB级数据、数千个表和消息事件。Criteria是一家人才管理公司，从其他云数据仓库迁移到使用Redshift无服务器、Glue、Lake Formation和Lambda的简化分析架构，大幅降低了成本。

数据湖和数据仓库的融合，体现为湖仓概念，一直是Redshift的重点。湖仓将数据湖的灵活性和开放性与数据仓库的性能和事务能力相结合，使客户能够在所有数据上使用自己选择的引擎和工具，无需数据孤岛或分散的治理。

在2024年的re:Invent大会上，亚马逊云科技推出了SageMaker Lakehouse，一个统一、开放和安全的湖仓功能，将来自S3数据湖和Redshift数据仓库的数据合并为统一视图。该数据可通过Iceberg API访问，任何兼容Iceberg的引擎(无论是亚马逊云科技还是第三方)都可以访问数据，同时保持集成的细粒度安全控制。SageMaker Lakehouse的一个关键优势是，它不需要更改现有数据架构，因为数据湖和数据仓库中的数据立即作为湖仓的一部分可用。

SageMaker Lakehouse是更广泛的下一代SageMaker公告的一部分，包括用于数据处理、SQL分析、机器学习和AI用例的统一工作室，以及集成的数据和AI治理。Glue数据目录已发展为支持多目录，不仅托管数据湖数据，还托管数据仓库数据和其他数据源。现有的Redshift数据可以通过单击即可发布到Glue数据目录，使元数据可通过公共目录发现。对于非Redshift客户，可以使用分析优化的存储解决方案Redshift托管存储构建数据湖，并应用跨数据源的统一细粒度访问控制。

跨亚马逊云科技服务的统一身份Trusted Identity Propagation已得到增强，包括驱动程序支持、SVAC访问授权和其他改进，支持从Amazon QuickSight等服务通过整个堆栈(包括Redshift、Lake Formation和S3)进行单点登录访问，无需重新认证。

这场演示展示了 SageMaker Lakehouse 和 Unified Studio 的强大功能，说明了如何通过在 Amazon Glue 目录中注册 Redshift 数据仓库并在 Lake Formation 中创建相应的目录，将 Redshift 数据仓库无缝集成到 lakehouse 中。演示了零 ETL 集成，从 Aurora PostgreSQL 中摄取数据，其中有 4 个表和大约 200，000 行和 600，000 行数据，延迟约 6 秒复制，以及从 DynamoDB 和 Salesforce 摄取数据进入 Redshift 数据仓库，摄取的数据可立即通过 Unified Studio 使用 Athena、Redshift 和 Spark 等各种引擎进行查询。

现已全面推出的 Redshift 查询编辑器中的 Generative SQL 功能也进行了展示，该功能支持自然语言查询并根据用户权限和查询历史记录提供 SQL 建议。还演示了与 Bedrock 的集成，允许在 SQL 查询中调用 Amazon Titan 等基础模型执行情感分析等任务。

简化摄取并实现近乎实时分析一直是 Redshift 的重点领域。现已全面推出的 AutoCopy 功能简化了从 S3 的自动摄取，可持续从指定的 S3 存储桶加载数据到 Redshift 表中，无需自定义解决方案或管理摄取计划。

广泛采用的流式摄取功能支持从 Amazon Kinesis、Amazon MSK (Managed Service for Kafka)、Confluent Cloud 和自管理的 Apache Kafka 集群进行高吞吐量、低延迟摄取。通过在 Redshift 中设置物化视图并将其指向 Kinesis 流或 Kafka 主题，只要有新的流式数据到达，数据就会自动加载到 Redshift 中，从而实现近乎实时分析用例。在整个 Redshift 车队中，Aurora zero ETL 的流式摄取延迟为 8 秒。

零 ETL 愿景旨在提供一种简单且安全的方式，将数据从运营存储引入 Redshift 以实现对事务和运营数据的近乎实时分析。零 ETL 集成可用于 8 个来源，包括 Amazon Aurora MySQL、Aurora PostgreSQL、DynamoDB 以及 Salesforce 和 Zendesk 等企业应用程序。像 Pinex 这样的加密货币交易公司已利用流式摄取和零 ETL 将数据延迟从 30 分钟降低到近 30 秒，同时大幅降低了构建和管理管道相关的运营成本。

Redshift 中的生成式 AI 功能得到进一步增强，Redshift 查询编辑器中的 Generative SQL 功能现已全面推出，支持自然语言查询并根据用户权限和查询历史记录提供 SQL 建议。还引入了与 Bedrock 的集成，允许在 SQL 查询中调用 Amazon Titan 等基础模型执行情感分析和文本摘要等任务。

Ronnie James、Charter Communications 的高级商业智能总监分享了这家为美国 3000 多万客户提供连接服务的公司的客户之旅。Charter 的商业智能团队负责为关键运营指标构建和维护单一的事实来源、创建可信赖的报告和数据产品，并通过一个受管理的平台实现旅程分析。

随着 200 多个源系统、每天超过 500，000 个查询、为 25，000 个业务用户提供 5，000 多个报告以及来自各个业务部门的 1，000 多个直接数据库用户的惊人规模，Charter 的传统平台在 14 年内不断发展，从各种来源摄取数据并构建元数据管理、日志管理和密钥管理的自定义解决方案。

然而，传统平台架构的共享性质带来了重大挑战，包括批量加载期间的资源争用、报告延迟和数据质量问题。可扩展性也是一个障碍，需要数月时间来采购额外的计算或存储资源。灾难恢复也是一个痛点，RTO 和 RPO 需要数周时间。

最初于 2022 年迁移到基于云的解决方案后，Charter 继续面临类似的挑战，并且由于基于使用的定价模式，运营成本增加，促使他们通过评估、创建业务案例和迁移的三管齐下方式进行现代化之旅。

在 2023 年第二季度的评估阶段，Charter 确定了市场领导者、评估了工作负载并进行了性能比较。对于 Charter 的工作负载，Redshift 的 RA3 架构提供了最快的性能，价格性能比替代方案高出 20-30%。Redshift 的即时存储扩展、多种计算选项、与 亚马逊云科技 服务的本机集成以及基于 SQL 的工作负载与 Charter 的业务和技术目标保持一致。

2023 年第四季度启动的迁移过程涉及与系统集成商合作、代码转换、迁移历史数据，并在 10 个月内完成切换。关键加速器包括自动化执行劳动密集型和重复性任务、自助服务代码转换门户、基于角色的培训以及单元测试策略 (T1T0)，用于数据验证，在两个连续的快照数据日执行作业，确保 100% 的逐行逐列匹配。

Charter 新的基于 Redshift 的架构与 Rahav Habersburg 架构保持一致，从各种源系统摄取数据，并与 亚马逊云科技 服务集成以进行日志记录和密钥管理。该架构包括 ETL、批处理和分析集群作为生产者，以及共享分析、报告和数据质量集群作为消费者。这种架构实现了工作负载隔离，共享分析用户能够在批量加载期间继续进行部门分析，报告用户不受批量延迟影响，数据质量作业可以与批量加载并行主动持续运行，以改善数据完整性验证。

迁移到 Redshift 解决了 Charter 的技术挑战，由于工作负载隔离，SLA 产品性能提高了 18%，新平台的扩展时间不到 24 小时，灾难恢复得到改善，RPO 不到 24 小时，RTO 为 8 小时。此外，Charter 的运营成本降低了 35%。新的使用案例，如 Redshift 无服务器上的特别分析，得到了快速上线，数据共享使开发人员能够访问生产质量数据，减少了迭代测试并改善了产品开发。

Redshift 的持续发展和数据共享、Generative SQL、作用域权限和 Redshift Autonomics 等功能在成功迁移中发挥了重要作用。与 亚马逊云科技 团队的合作，包括代码转换增强的 SCT 团队、架构审查的解决方案架构师、性能调优专家以及为纳入反馈并提供必要功能的产品团队，都是宝贵的。

迁移的关键经验教训包括跨多个 Redshift 集群分布工作负载的重要性、对于列数超过 1，000 的大型宽表使用预热全局缓存、了解字符集差异，以及提前评估 SAML 或 SSO 集成。

成功的贡献因素包括构建健全的库存并与主题专家保持一致、利用加速器和自动化、与 亚马逊云科技 和系统集成供应商 Infosys 和 DataFaccy 等合作，以及 Charter 对持续现代化的承诺。未来计划包括集成开源格式、利用 BI for AI 以及采用新推出的 SageMaker Lakehouse、数据共享权限和其他 Redshift 创新。

总之，Amazon Redshift 继续提供卓越的价格性能，数据共享和无服务器功能支持可扩展部署。SageMaker Lakehouse 使组织能够在整个企业范围广泛利用 Redshift 数据，而对近乎实时分析的关注以及生成式 AI 功能的集成使 Redshift 成为未来强大的分析平台。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。