关键字: [亚马逊云科技， didband， 云时代数据库架构， 分布式数据存储， 弹性计算资源， 跨云数据共享， 实时数据处理]

导读

在这场演讲中，演讲者介绍了Didband分布式数据库架构。该架构采用元数据节点和计算节点分离的设计，底层基于Amazon S3共享存储，可实现轻量级、高并发、跨云等特性。演讲者还分享了Didband在亚马逊云科技上的实践，包括利用Spot实例节省成本、借助Amazon Lambda和Graviton实现高性能计算等。此外，Didband还可与AI大模型集成，为数据处理和分析提供AI能力。总的来说，Didband致力于在云时代为用户提供高性能、低成本、AI增强的数据库解决方案。

演讲精华

以下是小编为您整理的本次演讲的精华。

在云时代，所有基础架构都值得重新构建，因为云上存在着更多新的机会等待探索。今天，我将为大家分享一款名为Didband的产品，这是一个偏重于云上整体解决方案的产品，它结合了Widton和Support两大技术力量。

Didband公司成立于2021年3月，其团队主要源自谷歌、阿里云、青云、欧碧等知名公司的数据库专家，可谓是数据库领域的“特种部队”。他们的产品目前分为两条线路:一是面向海外市场的Didband Cloud，主要服务于单表数据量达到PB级的大型场景;二是面向国内市场的私有化部署方案，目前与一些省级大数据交易所、证券公司、运营商等机构有合作，采用类似订阅的模式。Didband产品基于Rust语言开发，代码在Github上开源，获得了Rust社区的高度评价，其海外关注度占到一半以上。

Didband的定位是在云时代提供最低成本、最易用、最佳性能的数据库解决方案。在云上，我们可以构建跨国数据中心，甚至跨多个IDC中心构建统一的数据中心，利用云上对象存储的异地复制特性，从全球任意位置免费写入数据。另外，云上存储和计算资源的高可用性，以及Didband作为跨云解决方案的优势，都使其脱颖而出。

Didband采用了一种非常轻量化的架构，分为元数据节点和计算节点两个角色。元数据节点在公有云上只需3-5个节点，就可以支持每秒百万级的并发和上百万张表的访问。计算节点则默认是无状态的，通过标签决定所属租户和集群。基于这种架构，数据接入、智力任务、数据分析等工作可以独立部署在不同的计算集群上，充分利用云资源的弹性和按需付费的优势，从而降低成本。

Didband基于对象存储S3实现了存算分离，并借助Rust语言的无GC特性，开发出无状态的计算节点。这种轻量级架构的魅力在于，可以为不同租户提供相互隔离的独立数据平面，一份数据可以被多方安全共享，避免了数据搬移和核对的问题。此外，Didband采用了高压缩率的算法，数据量可以压缩30-100倍不等，订单类数据可压缩30-40倍，日志类数据压缩率更高，最高可达100倍。

在实时计算场景下，Didband表现出色。前端数据一进入Didband内部，就可以秒级完成接入。接下来，Didband会通过流式处理和UDF(可注册到Lambda或Spot实例)进行实时清洗，最终将结果推送到Redis或数据库中，为下游应用提供实时数据服务，整个过程低成本高效。比如在游戏行业，玩家打完一局游戏后，Didband就可以秒级处理出战绩数据，为玩家展示本局战力排行，或为下一局匹配合适的队友，而这种实时场景下的流式计算，使用传统框架如Flink成本会非常高昂。根据测试，在16核CPU的情况下，Didband可以达到每秒500万到700万的处理能力。

Didband架构的另一大亮点是能够方便地集成AI能力。我们可以将大模型连接到Didband内部，将AI能力注册为UDF，在数据处理过程中根据需要调用，实现数据纠错、向量化、语义分析等智能化场景。例如，对于不规范的JSON数据或日期格式，我们可以借助大模型进行纠正;在早期，我们就尝试过利用OpenAI的GDP模型，对数据进行向量化、自然语义补全和近似度检索等处理。通过这种方式，AI能力可以无缝融入到Didband的数据处理流程中。

一些先进客户已经在Didband上尝试过AI的应用。比如在竞争对手广告分析场景下，客户会投放广告，然后借助AI分析竞争对手的广告投放策略，找出对手广告的亮点所在，进而对自身广告策略进行优化，以提高广告效果。他们会将相关数据导入Didband，利用大模型进行分析，完成语义标注、近似度检索等处理，最终得出分析结果。

除了AI集成，Didband在云上的实践也取得了卓越的成绩。对于选择Didband的原因，我们当初给自己设定的目标是，对于一个拥有10TB数据量的公司，我们能否将其在大数据平台上的月费用控制在1000-2000美元以内。经过探索，我们最终选择了亚马逊云科技的Spot实例和Graviton实例。

Spot实例方面，我们发现Spot实例在资源管理上更加简单，而Terraform和Prometheus则可以实现声明式的资源管理和运维。通过Kubernetes的定义，我们可以自动补全所需资源，无需手动管理。对于普通用户，Didband默认使用Spot实例，无需预留资源，可以为上万用户提供注册服务，成本非常低廉。我们的数据分析和处理任务具有突发性，可以借助Spot实例的按需伸缩能力，既节省成本又满足需求。此外，我们的持续集成、发布验证等工作，也都借助Spot实例完成，费用低廉。

在Graviton实例上，由于Didband产品本身就是基于Rust开发的，所以性能表现几乎与在x86实例上无异。我们对Didband进行了76个测试集的测试，涵盖了大量测试案例，结果显示在Graviton实例上的运行成本比在x86实例上低了数倍，而性能却基本持平，这为我们节省了大量开支。在高并发场景下，Graviton实例的处理能力也非常出色。

对于Didband Cloud的公有云用户，我们默认使用Spot实例，无需为他们预留资源，只有在用户实际使用时，才动态申请Spot实例提供服务，这种按需模式可以极大降低我们的预留费用。即使是上万用户同时注册，对我们的成本影响也不大。而对于企业用户，Didband提供混合云部署方案，可以将热数据放在高性能存储如S3 One Zone上，并通过XtendoTable实现数据共享，提升访问速度。

Didband还利用了亚马逊云科技的S3对象存储服务，采用ZST高压缩算法将数据量压缩到最小，并将计算压力平衡到高性能CPU上，在存储和计算之间寻求最佳平衡点。我们还允许用户通过TenantTable将表指定到SSD存储上，以进一步提高访问速度。

总的来说，Didband作为一款面向云原生设计的分布式数据库，通过轻量化架构、存算分离、AI集成、高压缩等创新手段，为用户提供了低成本、高性能、易用的数据库解决方案，抓住了云时代的新机遇。目前，Didband已在游戏、社交、大数据交易所、安全、区块链等多个行业落地应用，并在中美两国均有客户，但由于中美关系的影响，很多客户案例暂时无法对外公开。不过，对于出海的SaaS公司、游戏行业、社交行业、大数据交易所、安全和区块链行业等有需求的客户，Didband团队都愿意进行深入探讨。

下面是一些演讲现场的精彩瞬间：

通过云架构实现数据共享和访问，无需数据迁移和核对，提高工作效率。

在这个架构中，我们可以将AI的能力整合进来，通过Python与大模型连接，并通过UDF注册到Detectives内部，从而利用AI进行相应的处理。

总结

在云时代，数据库架构面临新的机遇和挑战。Didband分布式数据库架构利用云计算的优势，提供了一种轻量级、高性能、低成本的解决方案。它采用元数据和计算节点分离的架构，底层基于Amazon S3共享存储，实现了存算分离和无状态计算。通过利用Amazon Web Services Spot实例、Lambda函数和Graviton处理器，Didband能够在保证高性能的同时大幅降低成本。此外，它还支持跨云部署、数据共享和AI能力集成，为用户带来更多价值。Didband已在游戏、社交、金融等多个行业得到应用，展现出云时代数据库新架构的巨大潜力。

Didband的分布式架构充分利用了云计算的弹性和按需付费的优势，为用户提供了高性能、低成本、易扩展的数据库解决方案。它通过存算分离、无状态计算和资源池技术，实现了计算资源的动态调配和高效利用。同时，它还支持跨云部署、数据共享和AI能力集成，为用户带来更多价值。Didband已在多个行业得到应用，展现出云时代数据库新架构的巨大潜力和发展前景。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。