朋友问：
5000万数据的一张表，怎么去重快，根据两个字段判断是否重复。
回复之：把2个字段以及主键id select 出来建立一张临时表t1，t1建立好主键索引以及2个对比的字段联合索引。然后在临时表里面 比对重复的记录，把重复的记录录入第二张临时表t2，t2表结构和t1一模一样。然后根据你的业务来决定如何处理t2表里面的重复记录，用t2关联原来的5000W记录的表来进行处理，大概通常的是group by2个字段，取出主键id较大的值的记录删除掉。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/26230597/viewspace-1088836/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
最新文章
- ORACLE 11G通过SCN做增量备份修复standby库详细过程
- MySQL 使用mysqld_multi部署单机多实例详细过程
- MySQL 高可用MMM安装部署以及故障转移详细资料汇总
- MySQL 瑞士军刀
- ORACLE 11G没有备份文件参数文件在异机通过rman备份恢复找回被误删的数据
- ORACLE 11G中PLSQL中文显示乱码、Linux下sqlplus查询中文乱码
- ORACLE 11G在存储过程里面遍历游标， 调用job任务定时执行
- Nginx 跳转fastdfs存储图片地址报错问题分析过程汇总
- MySQL 利用xtrabackup进行增量备份详细过程汇总
- MySQL 采用Xtrabackupex进行全库备份过程汇总
