ITPub博客

StarRocks+Paimon落地阿里日志采集:万亿级实时数据秒级查询

原创 数据分析 作者:阿里云大数据AI技术 时间:2025-05-19 13:36:07 0 编辑
摘要

A+流量分析平台是阿里集团统一的全域流量数据分析平台,当前,流量采集团队每天需要的日志数据达到万亿级,在写入和查询面临着巨大挑战。在引入 StarRocks+Paimon 后,实现万亿级实时日志数据的秒级查询。Paimon负责高效存储实时日志数据,StarRocks作为计算引擎提供高性能查询能力。通过分桶表设计、Data Cache优化及文件大小控制,解决了高吞吐写入和高并发查询挑战,查询延迟稳定在秒级,大幅提升日志分析效率。

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    744
  • 访问量
    2549873

阿里云大数据AI技术