ITPub博客

【最佳实践】蚂蚁基于 MaxCompute 动态过滤器优化小表 JOIN 大表节省70%CPU 消耗

原创 数据分析 作者:阿里云大数据AI技术 时间:2025-01-09 15:11:26 0 编辑
摘要

在蚂蚁商家账单离线产出时效提升项目中,通过 MaxCompute 产品提供的动态过滤器结合 Hash Clustering 表能力,在小表 JOIN 大表的场景下实现将在 JOIN 前尽可能多的过滤数据,减少了95%以上大表被扫描到的文件数,并大幅度提升 SQL 运行速度,最终减少了70%的 CPU 消耗和磁盘 IO 量。

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    744
  • 访问量
    2549926

阿里云大数据AI技术