首页 > 云计算 > 公有云实践 > 深入探讨Amazon DocumentDB及其创新
Amazon DocumentDB(与MongoDB兼容)是一个完全托管的原生JSON文档数据库,它使得在几乎任何规模下运行关键文档工作负载变得简单且经济高效,无需管理基础设施。在本次会议中,我们将深入探讨Amazon DocumentDB提供的最令人兴奋的新功能,包括全球集群故障转移、全球集群切换、压缩以及最新的查询API。了解在您的组织中实施这些功能如何能够提高应用程序的弹性、性能和效率。
以下是小编为您整理的本次演讲的精华。
2024年的亚马逊云科技 re:Invent大会上,有一场引人入胜的会议深入探讨了Amazon DocumentDB的创新进展。DocumentDB是一种专门为满足企业客户不断发展的需求而设计的文档数据库服务。经验丰富的解决方案架构师Cody Allen和领导DocumentDB团队的产品经理Vin登台,揭示了今年推出的突破性功能和增强功能。
Cody首先回顾了DocumentDB的架构基础,强调了计算层和存储层的战略分离。这种独特的设计理念使主实例能够直接将预写日志传输到分布式存储层,从而无需进行本地存储复制,并通过单实例配置实现高可用性。此外,每个副本都独立管理自己的缓冲区缓存,优化了资源利用并提高了整体性能。
Cody强调了DocumentDB在各个行业的广泛应用,包括游戏、金融和电子商务巨头如Amazon.com和亚马逊物流服务。企业如Capital One和数字化公司如Rappy都采用了DocumentDB,利用其功能来支持关键工作负载。Cody鼓励与会者探索DocumentDB网站上的客户参考资料,其中展示了来自各个行业的令人信服的成功案例。
Vin接着带领观众全面了解2024年推出的无数创新,其中许多创新源于与客户的密切合作和他们宝贵的反馈。Vin强调,服务团队坚持与客户手牵手合作,确保客户的需求和见解塑造DocumentDB的未来。
Vin展示了一张全面的幻灯片,涵盖了性能和可扩展性、成本优化、AI/ML集成和高可用性等各个方面的功能。虽然承认幻灯片内容广泛,但他鼓励与会者捕捉它以备将来参考,并通过每个功能的详细文档进行探索。
Vin深入阐述了第一个关键创新:IAM身份验证。这个备受期待的功能使客户能够在亚马逊云科技资源(包括DocumentDB)之间集中身份验证机制。通过利用IAM身份验证,客户可以从亚马逊云科技安全令牌服务获取令牌,然后对DocumentDB集群进行身份验证。Vin阐明,身份是在DocumentDB集群本身内创建和管理的,并提供了通过文档配置此功能的分步说明。值得注意的是,IAM身份验证可以叠加在现有角色和用户之上,根据预定义的权限授予IAM实体访问特定数据库的权限。管理员可以通过CloudWatch监控功能查看和控制IAM身份验证请求。
下一个创新Vector Search引入了HNSW(分层可导航小世界)算法,这是一种强大的智能搜索功能工具。Vin承认在“使用Gen AI增强应用智能”的DAT320会议中对此功能进行了深入探讨,并鼓励与会者参考录制的会议以获得更多关于其用例的见解。
Vin接着深入探讨了全球集群改进,这是DocumentDB高可用性和数据本地化能力的关键方面。他简要回顾了全球集群,客户可以跨多个亚马逊云科技区域扩展集群,实现灾难恢复和通过区域数据复制实现低延迟数据访问。
第一个增强功能Managed Failover解决了业务连续性的关键需求,能够在最小化停机时间的情况下将辅助区域提升为主要角色。Vin阐明,虽然此过程可能导致最近写入的数据丢失,但其主要目标是在完全服务中断或区域中断等不利事件期间最大程度地提高整个集群的正常运行时间。
作为Managed Failover的补充,Managed Switchover成为一种可控机制,在不丢失任何数据的情况下提升辅助区域。Vin强调了Managed Switchover的各种用例,包括计划内的维护活动、利用“跟随太阳”模型实现低延迟写入的多区域应用程序,以及在故障转移事件后促进故障恢复场景。虽然承认切换过程可能需要几分钟时间,但Vin逐步介绍了其中复杂的步骤,包括在全球集群上禁用写入以允许区域之间的数据同步,然后再将辅助区域提升为主要角色。
Vin强调,Managed Failover和Managed Switchover都保持了全球集群拓扑结构,确保任何先前失败或降级的区域在恢复后自动重新集成到集群中,从而无需进行手动的后期清理任务。
为了简化故障转移和切换过程,Vin介绍了利用Route53托管区域的概念。通过配置Route53条目,应用程序可以无缝连接到适当的集群端点,而无需更改代码,从而简化了主要区域和辅助区域之间的过渡。
Vin随后现场演示了Managed Failover过程,展示了应用程序如何轻松地继续向新提升的爱尔兰主要区域写入数据,同时最小化停机时间。在演示过程中,一个监控应用程序跟踪了全球集群和应用程序状态,提供了主要区域和应用程序写入来源的实时见解。
Cody转而深入探讨了性能和成本优化领域,强调了JSON数据模型的固有灵活性以及其随着应用程序的发展而发展的能力。他将传统的预先定义严格关系数据库结构的方法与文档数据库的敏捷性进行了对比,在文档数据库中,应用程序决定了数据库结构,使得在需求发生变化时能够无缝地进行模式演进。
随着应用程序的增长和数据量的增加,Cody强调了优化文档模型以提高性能的重要性,并强调了文档大小增长对存储需求和查询性能的潜在影响。他介绍了减小键大小的概念,这是一种简单而有效的技术,可以最小化浪费的空间并提高缓存利用率。通过提供一个实际示例,Cody演示了如何通过对键名进行细微更改可以产生显著的空间节省,随着数据量扩展到数十亿个文档,潜在的节省空间可能达到TB级别。
Cody接着揭示了2023年推出的一项突破性功能:Document Compression。他引用了亚马逊云科技前任首席执行官的一句话,幽默地承认最初忽略了将DocumentDB排除在“无压缩算法”之外的说法。Document Compression解决了存储大于8KB的文档时产生的低效问题,这可能导致空间浪费和增加I/O需求。
Cody详细解释了DocumentDB的存储机制,利用8KB页面来存储文档。在文档超过4KB的情况下,未使用的页面空间实际上被浪费了,需要额外的I/O操作来检索多个文档,从而影响性能和成本。Document Compression通过压缩超过可配置大小阈值(从128字节到8千字节)的文档来缓解这一问题。
Cody展示了Document Compression的令人信服的测试结果。在使用5KB文档的受限速率工作负载下,观察到I/O减少了30%,而1.5KB文档则减少了11%的I/O。值得注意的是,这些工作负载的CPU使用率也有所下降,这归因于处理压缩数据所需的I/O线程数量减少。然而,Cody警告说,在高峰负载场景下,由于处理压缩数据的I/O线程数量增加,CPU使用率可能会增加。
在可编程性方面,Cody解决了受监管行业(如金融业)对于受控模式演进和数据完整性的需求。虽然JSON的无模式设计提供了灵活性,但某些应用程序需要严格的验证规则来确保合规性并防止错误。Cody强调了JSON Schema Validation功能,它使客户能够在数据库层定义和实施规则,以补充应用程序层的现有验证机制。
认识到严格的验证规则可能会给开发带来障碍,DocumentDB引入了“绕过文档验证”参数。这一创新功能允许开发人员在特定场景下(如大规模数据迁移或快速特性开发周期)临时绕过验证规则,简化了开发过程,而无需在生产环境中牺牲数据完整性。
在整个会议过程中,Cody和Vin都强调了客户合作关系在推动DocumentDB创新路线图中发挥的关键作用。他们承认客户提供的宝贵反馈和见解直接塑造了JSON Schema Validation等功能的开发。Cody举例说,与一位客户的密切合作将JSON Schema Validation功能的生产时间缩短了数月。
随着会议临近尾声,演讲者们对DocumentDB的未来前景表现出了极大的兴趣,承诺在2025年将推出比2024年更加雄心勃勃的创新版本。他们向与会者发出公开邀请,分享使用案例、挑战和功能需求,强调服务团队致力于持续改进和以客户为中心的创新。
为了帮助客户优化DocumentDB部署,Cody介绍了几个有价值的资源,包括DocumentDB Deployment Scanner工具,用于识别潜在的优化机会,以及Compression Reviewer,用于评估启用Document Compression的潜在好处。此外,他还强调了发布了一本专门针对DocumentDB的全面数据建模电子书,提供了优化服务内数据模型的高级技巧和最佳实践。
DocumentDB还与亚马逊云科技培训和认证团队合作,推出了一门专门的培训课程,指导学习者从入门概念到高级主题,如成本和性能调优,以及服务特定的数据建模技术。
Cody和Vin在会议结束时向与会者表示感谢,并鼓励他们通过会议评估提供反馈。他们邀请大家参加周四下午4:17举行的深入探讨会议DAT417,届时将深入探讨DocumentDB中页面管理和存储优化的复杂性。
亚马逊云科技 re:Invent 2024年关于Amazon DocumentDB及其创新的会议展示了该服务对客户驱动创新、性能优化和成本效率的坚定承诺。通过与各行业企业的密切合作,DocumentDB不断发展,使客户能够充分利用文档数据库的潜力,同时确保数据完整性、高可用性和无缝扩展。
我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出,企业要从 " 成本优化 " 转向 " 创新驱动 " ,通过完善的数据战略和 AI 云服务,把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在 AI 时代突破。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3090605/ ,如需转载,请注明出处,否则将追究法律责任。