ITPub博客

首页 > > > 案例分享 | SQL Server删除重复数据只保留一行

案例分享 | SQL Server删除重复数据只保留一行

作者:liyue071714118 时间:2018-11-26 17:19:32 0 删除 编辑

点击上方SQL数据库开发,关注获取SQL视频教程


SQL专栏

SQL数据库基础知识汇总

SQL数据库高级知识汇总

最近项目组的同事遇到个问题,SQL Server的数据库中有张表格,由于之前没有设计关键字段的唯一约束,导致有时候执行插入操作时不小心执行了多次就出现了重复记录,后面重新加入唯一约束,由于已经有了重复记录,无法添加,需要先删除重复记录。但是要保留一行,于是协助他们尝试解决一下。原始数据就不贴出来了,这里用一些测试数据,方法一致,分享给小伙伴们~


需求分析

SQL Server数据库中存在重复记录,删除保留其中一条(是否重复判断基准为多个字段)



解决方案

碰到这样的问题我们先分解步骤来看

  1. 创建测试数据

  2. 找到重复的数据

  3. 删除重复的数据并且保留一行


第一步
创建测试数据

我们创建一个人员信息表并在里面插入一些重复的数据。

CREATE TABLE [dbo].[Person](
 [ID] [INT] IDENTITY(1,1) NOT NULL,
 [Name] [VARCHAR](20) NULL,
 [Age] [INT] NULL,
 [Address] [VARCHAR](20) NULL,
 [Sex] [CHAR](2) NULL
);

SET IDENTITY_INSERT [dbo].[Person] ON;
INSERT INTO [dbo].[Person] (ID,Name,Age,Address,Sex)
VALUES
( 1, '张三', 18, '北京路18号', '男' ),
( 2, '李四', 19, '北京路29号', '男' ),
( 3, '王五', 19, '南京路11号', '女' ),
( 4, '张三', 18, '北京路18号', '男' ),
( 5, '李四', 19, '北京路29号', '男' ),
( 6, '张三', 18, '北京路18号', '男' ),
( 7, '王五', 19, '南京路11号', '女' ),
( 8, '马六', 18, '南京路19号', '女' );
SET IDENTITY_INSERT [dbo].[Person]  OFF;

(提示:可以左右滑动代码)


建立好测试数据如下:

我们发现除了自增长ID不同以为,有几条其他字段都重复的数据出现,符合我们的需求。


第二步
找出重复的数据


SELECT MAX(ID) ID  ,
Name,Age,Address,Sex
FROM dbo.Person
GROUP BY Name,Age,Address,Sex
HAVING COUNT(1)>1


HAVING将分组后统计出来的数量大于1的数据行,就是我们要找的重复数据:

上面用Max函数或者Min函数均可,只是为了保证取出来的数据的唯一性。


第三步
删除重复的数据


其实我们数据库中最后要保留的结果就是第二步中查询出来的数据,我们把其他的数据删除即可。怎么删除呢?我们使用ID来排除。

DELETE  FROM Person 
WHERE  EXISTS
(
SELECT * FROM (
SELECT
MAX(ID) ID,
Name,Age,Address,Sex
FROM dbo.Person
GROUP BY Name,Age,Address,Sex
HAVING COUNT(1)>1) T
WHERE Person.Name=T.Name
AND Person.Age=T.Age
AND Person.Address=T.Address
AND Person.Sex=T.Sex
AND Person.ID--如果上面使用MIN函数,这里就要改成>

)

执行完后重新查询Person表结果如下:

马六因为只有一条记录,所以没有参与去重,直接显示。


今天的案例分享结束,小伙伴们可以自己动手尝试一下,兴许工作中也会遇到类似问题。如果你在公众中遇到一些有趣的问题也可以发送给我。


推荐阅读

(点击标题可跳转阅读)

关于一个NBA球队连续夺冠的SQL查询问题,解法很精妙~
一次非常有意思的 SQL 优化经历

一个程序员送给大学生的一些话

技术交流请加QQ群:875156894

看完本文有收获?请转发分享给更多人

长按识别二维码,
更多咨询早知道!

回复进群,拉你进微信群

原文作者:;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2021-12-10

  • 博文量
    1486
  • 访问量
    11428