ITPub博客

首页 > Linux操作系统 > Linux操作系统 > TERADATA group by和distinct去重比较

TERADATA group by和distinct去重比较

原创 Linux操作系统 作者:fudp7516 时间:2009-09-22 22:10:17 0 删除 编辑

重复记录多选择group by,重复记录少选择distinct:

因为teradata中group by的机制是先在每个amp执行group by操作,然后执行总的group by操作,这样重复的数据就会在重分布前被过滤掉,并且如果每个重复的数据量多,需要进行重分布的量就会大大减少,从而大幅度提高性能。 反之,由于group by需要两次排重操作,如果重复的数据很少,性能就会很差。相反,由于distinct仅在重分布之后进行排重操作,因此适合于重复量很少的去重操作。

测试:在一个有5.3亿条记录的表中,有重复记录大概8.5万条,重复率不算很高。同样的语句group by 用了41分钟,distinct只用了30分钟,明显distinct更快。对于重复率高的,就没有做测试比较,理论上group by快应该不会假的。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/9999499/viewspace-615358/,如需转载,请注明出处,否则将追究法律责任。

上一篇: TD基本架构介绍
请登录后发表评论 登录
全部评论

注册时间:2008-11-07

  • 博文量
    8
  • 访问量
    17720