ITPub博客

首页 > 云计算 > 公有云实践 > 亚马逊云科技Graviton助力databand提速两倍

亚马逊云科技Graviton助力databand提速两倍

公有云实践 作者:出海新观点 时间:2025-07-12 00:11:59 0 删除 编辑

关键字: [亚马逊云科技, databand, 云原生数据仓库, 实时数据分析, 海量数据存储, 流式计算架构, 多租户计算资源]

导读

在这场演讲中,演讲者分享了他们公司 databand 如何利用亚马逊云科技的 Graviton ARM 处理器提升性能和降低成本。他们通过实际测试发现,与英特尔 CPU 相比,Graviton 处理器在高密度计算任务中表现出两倍的性能提升,同时成本降低约10%至20%。演讲者还介绍了 databand 如何利用 Graviton 实例进行代码测试,以及在生产环境中大量使用 Spot 实例来节省成本。总的来说,Graviton 处理器为 databand 带来了显著的性能提升和成本优化。

演讲精华

以下是小编为您整理的本次演讲的精华。

在当今时代,云计算的发展给基础架构带来了翻天覆地的变化。传统上,人们认为英特尔或AMD处理器是最佳选择,但现在亚马逊云科技(亚马逊云科技)的Graviton处理器为我们打开了新的大门,带来前所未有的体验和机遇。这正是databand公司所抓住的机会。

databand是一家利用RAS研发的云原生数据仓库公司,从2021年创业至今已有四年多的时间。作为一家提供SaaS服务的公司,databand专注于为客户提供大规模数据分析的能力。他们的客户阵容包括一些头部大客户,以及一些中小型的出海SaaS公司。这些客户的主要场景集中在OIP实时分析、海量数据存储、流式计算和数据归档等需要处理海量数据的领域。

为了更好地展示databand的工作原理,让我们来看一个案例。在AI时代,通常需要从A系统收集数据,然后转移到B系统进行AI预测分析。但在云上,databand可以提供一站式服务,将数据写入后形成一份唯一的数据集,例如TPCH 100数据集,然后通过共享的方式注册给不同的租户实例使用。不同租户可以使用独立的计算资源,根据需求随时启动或关闭,从而节省成本。整个数据集可存储在亚马逊S3对象存储上,实现高效、经济的数据管理。databand通过创建一个链接,指向对象存储的认证权限,或使用NFS方式链接,即可将表放在指定的对象存储桶中,后续所有数据写入都可以通过这种方式完成。在亚马逊上,databand的数据写入速度可以达到每秒700万行,展现了S3强大的写入能力。

为了评估不同处理器的性能,databand进行了一个公平的测试。他们使用了相同内存配置的C5G、C6G、C7G和C8G实例,后三者为Graviton处理器,在这些实例上运行了流行的TPCH 100基准测试。结果显示,C8G(Graviton4)比C5G(英特尔)性能提高了约两倍,C7G(Graviton3)也有很大提升。这种高密集计算场景下,ARM处理器在亚马逊云科技上的优势前所未有,给databand带来了巨大的性能提升。在单个实例上运行TPCH 100测试,C8G能在100秒内完成,而C7G和C8G都能在100秒内完成,这在国外的Redshift基准测试中被认为是最小机型下的优异成绩。

从成本和性能的对比来看,C7G的成本约为C5G的0.8倍,但性能提升40%;C8G的成本约为C5G的0.9倍,但性能提升46%。这印证了摩尔定律,性能提升越来越难,但在C7G上databand取得了非常好的性价比提升,使他们在云上的大数据分析服务更具竞争力。

databand在自身开发运维中也大量使用了Graviton实例,如在GitHub上的CI/CD流程中使用Graviton runner进行代码测试,每次测试的成本仅为0.1-0.2美元,极大降低了运维成本。他们的开发工作是基于GitHub进行的,任何用户提交的代码都需要经过全面测试后才能合并或发布,因此大量使用Graviton实例进行测试是非常重要的一环。目前databand默认优先使用Graviton、Graviton2、Node、GPU和SSD等实例类型,并且80%以上使用Spot实例,将CPU利用率控制在80%以上,以获得更高的性价比,最大限度地降低了云资源的使用成本。在大数据行业中,能够将Spot实例的CPU利用率控制在80%以上,并充分利用实例回收策略(小于1小时不收费),是一种相当狠绝的做法。

总的来说,亚马逊的Graviton处理器为databand的云原生数据仓库产品带来了两倍以上的性能提升,同时在成本方面也有很大优势。通过优化实例类型和利用策略,databand在云上的大数据分析服务更具竞争力,能够为客户提供高效、经济的数据处理和分析能力,助力他们在AI时代取得成功。

下面是一些演讲现场的精彩瞬间:

通过鸳鸯架构和对象存储桶,实现了简单高效的数据写入方式。

通过简单的 CPU 升级,就能轻松将 TPCH 100 基准测试的运行时间控制在 100 秒以内,展现了出色的性能表现。

在高密度计算和突发并发或高负载情况下,亚马逊云科技 上的 ARM 处理器展现出前所未有的优势,大幅提升了性能。

在演讲中,讲者解释了他们如何利用 GitHub 和 Graviton 实例进行代码测试,以确保代码质量和安全性,同时降低了测试成本。

我们现在主要使用经济型实例,尤其是 Spot 实例,占到了 80%,因为在大数据行业中,我们能够充分利用 Spot 实例来处理分钟级的实时任务调度,将 CPU 利用率提高到 80% 以上。

亚马逊 Spot 实例提供了一种赚钱的方式,如果使用时间不到一小时,亚马逊不会收费。

总结

亚马逊云科技的 Graviton 处理器为 databand 带来了显著的性能提升。databand 是一个利用 RAS 研发的云原生数据仓库,提供海量数据分析服务。通过采用 Graviton 处理器,尤其是最新的 C8G 和 C7G 系列,databand 在运行 TPCH 100 基准测试时,性能比传统 C5G 处理器提高了近两倍,同时成本也有所降低。这种性价比优势使 databand 能够在云上以更高效、更经济的方式提供数据服务。

此外,databand 还大量使用 Graviton 实例进行代码测试和任务调度,成本仅为每次 0.1-0.2 美元。他们还广泛采用 Spot 实例,利用其价格优势,将 CPU 利用率提高到 80% 以上,进一步降低了运营成本。亚马逊云科技的 Graviton 处理器为 databand 带来了前所未有的性能和成本优势,助力其在云原生数据仓库领域取得卓越成就。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出,企业要从“成本优化”转向“创新驱动”,通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3090908/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2024-05-21

  • 博文量
    679
  • 访问量
    564573