导读:某全球游戏平台为全球数百万玩家提供实时的技能型游戏体验与无缝的实时互动。对该游戏平台而言,保持数据的实时更新和实时分析,对提升玩家互动和留存率至关重要。他们在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战,且成本居高不下。为了更高效地实现实时数据分析,该平台从 Snowflake 迁移到 Databend Cloud,成本降低了 50%,实现了具有秒级任务支持的实时数据 ELT 过程,提供实时数据洞察。
某游戏公司是一家全球游戏平台,擅长为全球数百万玩家提供实时的技能型游戏体验。同时,该游戏公司还在广告、支付和玩家互动领域走在前沿,开发出先进的解决方案,确保其多款热门游戏能够实现无缝的实时互动。
这家全球游戏公司使用 Amazon Aurora 来存储实时的用户活动、广告事件和财务数据。这些数据再以 JSON 文件的形式导出到 S3 Bucket,并被导入 Snowflake 作为原始数据表。利用 Snowflake 的流和任务功能,将包括玩家操作、游戏内购买和匹配详情在内的数据,转化为多个精细化的数据表。对该游戏平台而言,在 Snowflake 中保持数据的准确和实时更新,对提升玩家互动和留存率至关重要,可以确保游戏体验的流畅和及时响应。
该游戏平台在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战。平台需要实时处理从 Aurora 二进制日志生成 到 S3 上的 JSON 文件中的用户数据。然而,Snowflake 在实现亚秒级的数据摄取和转换方面表现不佳,但这对于更新原始数据表和维护实时用户活动流至关重要。
此外,Snowflake 的定价模型在处理此类任务时显得不够实用,它对任务等云服务收取了过高的费用。由于没有直接支持亚秒级任务的 SQL 功能,该游戏平台被迫使用分钟级的任务和 SQL 脚本,导致成本大幅上升。这种无法实时处理数据的限制,造成了数据分析的空白,影响了他们对客户参与度和广告效果的有效评估。
更为重要的是,即使已经是大容量的企业客户,他们也未能得到 Snowflake 足够的官方支持。有一次在向 Snowflake 提交工单后,技术人员等待了四个小时后才收到回复,虽然很快解决了问题,但业务却影响了四个小时以上。
为了降低成本、更高效地利用资源和得到更好的专业服务支持,该平台决定从 Snowflake 迁移到 Databend Cloud。

这家全球游戏平台公司最初在 GitHub 上发现了 Databend Cloud,对 Databend 提出的 Snowflake 开源替代方案产生了浓厚的兴趣。他们对 Databend Cloud 支持熟悉的 SQL 语法和强大的流处理与任务功能印象深刻。其中,特别吸引他们的是 Databend 在数据摄取、转换和分析方面承诺的 10 倍性能提升以及亚秒级任务支持。Databend Cloud 清晰且更具成本效益的定价模型完美契合了公司的需求和目标。
Databend Cloud 在 AWS 上提供 Serverless 数据云服务,支持强大的 SQL 功能,并提供了完整的 TPC-H 基准测试。产品特性还包括事务处理和 Python/JS 编写的用户定义函数(UDF),以及支持多种 DML(数据操作语言)操作,如插入、更新和合并等。

该游戏平台仅用了三周时间就将数千个涉及数据摄取、变更数据捕获(CDC)、转换和仪表板的 SQL 查询迁移到 Databend Cloud。由于 Databend Cloud 与 Snowflake 的 SQL 语法兼容,这一迁移过程非常顺利。
Databend Cloud 基于计算与存储分离架构,并提供分钟级的自动挂起和恢复功能,大幅降低了成本。与 Snowflake 不同的是,后者的任务调度服务可能占总成本的 50%,且这部分成本不透明无法预估,而 Databend Cloud 提供了更简单且可预测的定价模式。
使用 Databend Cloud 后,公司的成本降低了 50%,这得益于 Databend Cloud 清晰且一致的定价模式。这种透明性使游戏平台能够高效地管理和预测每月的数据管理费用。他们成功地将大量历史数据迁移到 Databend Cloud,实现了每月处理多达 1000 亿行数据,并且所有成本都是完全透明的。这一转变使他们能够为客户提供全面且实时的业务洞察,而无需担心意外的财务负担。
该游戏平台技术负责人表示:“我们对 Databend 提供的快速且可靠的服务深表感谢,产品在数据流处理方面的出色表现显然处于行业领先地位。经过顺利的为期三周的整合,我们的平台将 Databend 引入我们的生产系统。感谢所有参与此项目的人的辛勤付出。我们期待看到 Databend 的不断成长,并取得更大的成就!”


Databend Cloud 提供强大的流处理和任务执行能力,为客户带来卓越的性能和易用性。该游戏平台通过 Databend Cloud 高效地将大量数据摄取到一个原始表中,并利用多个流无缝分发和转换这些数据,使用外部 UDF 满足各种业务需求。
借助 Databend Cloud,该平台实现了每秒摄取 10,000 行数据的稳定速率,并能安排亚秒级的任务执行,提供实时洞察。这使他们每月能够处理和分析 1000 亿行数据,大大提升了数据操作效率,推动了更好的业务成果。如今,该平台享受着可靠且高效的实时数据处理, 使他们能够专注于提供卓越的游戏体验,并 更精细化 地做出数据驱动的决策。
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式湖仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。
👨💻 Databend Cloud: databend.cn
📖 Databend 文档: docs.databend.com
💻 Wechat:Databend
✨ GitHub: github.com/databendlab…
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70042558/viewspace-3078113/ ,如需转载,请注明出处,否则将追究法律责任。