SQLServe 重复行删除方法

Microsoft SQL Server 表不应该包含重复行和非唯一主键。为简洁起见，在本文中我们有时称主键为“键”或“PK”，但这始终表示“主键”。重复的 PK 违反了实体完整性，在关系系统中是不允许的。SQL Server 有各种强制执行实体完整性的机制，包括索引、唯一约束、主键约束和触发器。
尽管如此，在某些情况下还可能会出现重复的主键;如果出现此类情况，就必须清除重复主键。出现重复主键的情形之一是，在 SQL Server 外部的非关系数据中存在重复的 PK，在导入这些数据时没有强制执行 PK 唯一性。出现重复主键的另一种情形来自数据库设计错误，如没有对每张表强制执行实体完整性。
　　通常在尝试创建唯一索引时会发现重复的 PK，因为如果找到重复的键，唯一索引的创建即会中止，并且将显示以下消息：
　　Msg 1505, Level 16, State 1 Create unique index aborted on duplicate key.
　　如果使用的是 SQL Server 2000 或 SQL Server 2005，则会收到以下错误消息：
　　Msg 1505, Level 16, State 1 CREATE UNIQUE INDEX terminated because a duplicate key was found for object name '%.*ls' and index name '%.*ls'.The duplicate key value is %ls.
　　本文讨论如何查找和删除表中重复的主键。但是，您应该仔细检查出现重复键的进程以避免重复出现。
　　更多信息
　　在该示例中，我们将使用下表，它具有重复的 PK 值。在该表中，主键是两列(col1、col2)。我们无法创建唯一索引或主键约束，因为这两行具有重复的 PK。该过程演示如何识别和删除重复的主键。


代码如下:

　　create table t1(col1 int, col2 int, col3 char(50))
　　insert into t1 values (1, 1, 'data value one')
　　insert into t1 values (1, 1, 'data value one')
　　insert into t1 values (1, 2, 'data value two')

　　第一步是识别哪些行具有重复的主键值：


代码如下:

　　SELECT col1, col2, count(*)
　　FROM t1
　　GROUP BY col1, col2
　　HAVING count(*) > 1

　　这将为表中的每组重复的 PK 值返回一行。此结果中的最后一列是特定 PK 值的重复数。
　　col1 col2
　　1 1 2

　　如果只有几组重复的 PK 值，则最佳方法是手动逐个删除它们。例如：


代码如下:

　　set rowcount 1
　　delete from t1
　　where col1=1 and col2=1

　　rowcount 值应该是给定键值的重复数减去 1。在该示例中，有 2 个重复的主键，所以 rowcount 被设置为 1。col1/col2 值来自上面的 GROUP BY 查询结果。如果 GROUP BY 查询返回多行，则“set rowcount”查询将必须为这些行中的每一行各运行一次。每次运行该查询时，将 rowcount 设置为特定 PK 值的重复数减去 1。
　　在删除行之前，您应该验证是否整行重复。虽然整行重复不太可能发生，但可能 PK 值重复，而整行不重复。例如一个将身份证号码作为主键的表，该表有两个具有相同号码的不同的人(即行)，但每个人有唯一的属性。在这种情况下，任何引起重复键的问题可能还引起在行中放入有效的唯一的数据。在删除该数据之前，应该将该数据复制出来并保存下来以进行研究和适当的调整。
　如果表中有多组完全不同的重复的 PK 值，则逐个删除它们会很费时间。在这种情况下，可使用下面的方法： 1.首先，运行上面的 GROUP BY 查询来确定有多少组重复的 PK 值及每组的重复数。
　　2.选择重复的键值放入临时表中。例如：


代码如下:

　　SELECT col1, col2, col3=count(*)
　　INTO holdkey
　　FROM t1
　　GROUP BY col1, col2
　　HAVING count(*) > 1

　　3.选择重复的行放入临时表中，以清除进程中的重复值。例如：


代码如下:

　　SELECT DISTINCT t1.*
　　INTO holddups
　　FROM t1, holdkey
　　WHERE t1.col1 = holdkey.col1
　　AND t1.col2 = holdkey.col2

　　4.此时，holddups 表应有唯一的 PK;但是，如果 t1 有重复的 PK 而行唯一(如上面的 SSN 示例)，情况就不是这样了。请验证 holddups 中的各个键是否唯一，是否没有键重复而行唯一的情况。如果是这样，您必须停在该处，确定对于给定重复的键值，您希望保留哪些行。例如，以下查询：


代码如下:

　　SELECT col1, col2, count(*)
　　FROM holddups
　　GROUP BY col1, col2

　　应为各行返回计数 1。如果结果是 1，请继续执行下面的步骤 5。如果不是 1，则存在键重复而行唯一的情况，且需要您决定要保存哪些行。通常，这将需要舍弃行或为此行创建新的唯一的键值。为 holddups 表中每个此种重复 PK 执行这两个步骤之一。
　　5.从原始表中删除重复的行。例如：


代码如下:

　　DELETE t1
　　FROM t1, holdkey
　　WHERE t1.col1 = holdkey.col1
　　AND t1.col2 = holdkey.col2

　　6.将唯一行放回原始表中。例如：
　　INSERT t1 SELECT * FROM holddups

赞 (0)

相关推荐

  • sqlserver利用存储过程去除重复行的sql语句

    sqlserver利用存储过程去除重复行的sql语句

    还是先上代码吧 ,可以先看 SQL语句去掉重复记录,获取重复记录 复制代码 代码如下: ALTER procedure [dbo].[PROC_ITEMMASTER_GETUNIQUE] @PAGEINDEX INT,@uid int,@itemnumber varchar(50) AS begin tran --开始事务 drop table [ItemMaster].[dbo].[testim] --删除表 --把不重复记录转存到testim中 select * into [ItemMast

  • 分享SQL Server删除重复行的6个方法

    1.如果有ID字段,就是具有唯一性的字段 复制代码 代码如下: delect table where id not in ( select max(id) from table group by col1,col2,col3... ) group by 子句后跟的字段就是你用来判断重复的条件,如只有col1,那么只要col1字段内容相同即表示记录相同. 2. 如果是判断所有字段也可以这样 复制代码 代码如下: select * into #aa from table group by id1,i

  • 删除Table表中的重复行的方法

    删除Table表中的重复行的方法

    利用SQL Server 2005的新功能NOW_NUMBER和CTE可以很好的实现. 举例说明如下: 建立测试数据: 复制代码 代码如下: create table Dup1 ( Col1 int null, Col2 varchar(20) null ) insert into Dup1 values (1, 'aaa'), (2, 'aaa'), (2, 'aaa'), (2, 'aaa'), (3, 'bbb'), (3, 'bbb'), (4, 'ccc'), (4, 'ddd'),

  • 批处理 删除重复行的代码

    复制代码 代码如下: @echo off :: 删除重复的行,但不能保留空行 :: 对不符合变量命名规则.变量个数超过限制的文本都无法正确处理 :: (echo 清除重复行后的文件内容:& echo.)>str_.txt for /f "delims=" %%i in (test.txt) do ( if not defined %%i set %%i=A & echo %%i>>str_.txt) start str_.txt

  • 用vbscript实现从文本文件中删除所有重复行的代码

    问: 您好,脚本专家!如何从文本文件中删除所有重复行? -- SW 答: 您好,SW.您知道,成为一名脚本专家便意味着开始永无止境地寻找给定问题的最终解决方案.(或者至少在我们的经理问为什么我们似乎从未真正完成什么时,我们是这么告诉他的:"老板,永无止境的寻找过程需要时间!")这就是为什么我们很高兴看到您的问题的原因.不久前 我们回答了一个关于从文本文件中删除重复名字的类似问题.我们想到的解决方案十分简单而且效果不错:只是我们不确定那是最佳解决方案.现在,很感谢您的问题,我们可以再次尝

  • sql里将重复行数据合并为一行数据使用逗号进行分隔

    一.定义表变量 复制代码 代码如下: DECLARE @T1 table ( UserID int , UserName nvarchar(50), CityName nvarchar(50) ); 复制代码 代码如下: insert into @T1 (UserID,UserName,CityName) values (1,'a','上海') insert into @T1 (UserID,UserName,CityName) values (2,'b','北京') insert into @

  • 删除DataTable重复列，只删除其中的一列重复行的解决方法

    vs2005针对datatable已经有封装好的去重复方法: 复制代码 代码如下: //去掉重复行 DataView dv = table.DefaultView; table = dv.ToTable(true, new string[] { "name", "code" }); 此时table 就只有name.code无重复的两行了,如果还需要id值则 table = dv.ToTable(true, new string[] { "id",

  • SQLServe 重复行删除方法

    Microsoft SQL Server 表不应该包含重复行和非唯一主键.为简洁起见,在本文中我们有时称主键为"键"或"PK",但这始终表示"主键".重复的 PK 违反了实体完整性,在关系系统中是不允许的.SQL Server 有各种强制执行实体完整性的机制,包括索引.唯一约束.主键约束和触发器. 尽管如此,在某些情况下还可能会出现重复的主键;如果出现此类情况,就必须清除重复主键.出现重复主键的情形之一是,在 SQL Server 外部的非关系数

  • php删除文本文件中重复行的方法

    本文实例讲述了php删除文本文件中重复行的方法.分享给大家供大家参考.具体分析如下: 这个php函数用来删除文件中的重复行,还可以指定是否忽略大小写,和指定换行符 /** * RemoveDuplicatedLines * This function removes all duplicated lines of the given text file. * * @param string * @param bool * @return string */ function RemoveDupl

  • pd.drop_duplicates删除重复行的方法实现

    目录 一.使用语法及参数 二.实操 1.例子一 2.例子二 3.删除重复项后重置索引 drop_duplicates 方法实现对数据框 DataFrame 去除特定列的重复行,返回 DataFrame 格式数据. 一.使用语法及参数 使用语法: DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False) 参数: subset – 指定特定的列 默认所有列 keep:{‘first’

  • JS实现为排序好的字符串找出重复行的方法

    本文实例讲述了JS实现为排序好的字符串找出重复行的方法.分享给大家供大家参考,具体如下: 实现这样一个需求,在一个Editplus文档中,有很多行10位的数字,这些数字已经排好序了. 比如: 1234567890 1234567891 1234567892 1234534124 1234614124 4321412414 5636373573 有什么办法能方便的找出两行至少前7位相同的数字吗? 比如,上面的数字中,能够找出 1234567890 1234567891 1234567892 <!D

  • pandas重复行删除操作df.drop_duplicates和df.duplicated的区别

    pandas重复行删除操作df.drop_duplicates和df.duplicated的区别

    目录 概念 df.duplicated() df.dropduplicates(’col‘,keep=‘first’,inplace=False) 实例 概念 df.duplicated() 使用df.cuplicated()来查看重复数据,返回True,False,数据类型是bool. 也可以指定某一列是否有重复值df.cuplidated(‘colname’),不指定则默认为第一列. df.dropduplicates(’col‘,keep=‘first’,inplace=False) 用来

  • shell中删除文件中重复行的方法

    Linux下文本处理工具很丰富很强大,例如这样一个文件: 复制代码 代码如下: cat log www.jb51.net 192.168.1.1www.jb51.net 192.168.1.1www.jb51.net 192.168.1.2ffffffffffffffffffffffffffffffffffffeeeeeeeeeeeeeeeeeeeefffffffffffffffffffeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeggggggggggggggg

  • datatable去掉重复行的方法

    去掉DataTable中(所有列的数据都相同)重复的行: 复制代码 代码如下: //DataView dv = dt3.DefaultView;     //dt3默认的虚拟视图 //dv.Sort = "wmid asc"; //排序 ///dv.ToTable(true, "列名,列名,列名"); ///第一个参数,true  去除重复,false 不去除 ///第二个参数,需要显示的字段 DataView dv = new DataView(dtname); 

  • python筛选出两个文件中重复行的方法

    本文实例为大家分享了python脚本筛选出两个文件中重复的行数,供大家参考,具体内容如下 ''' 查找A文件中,与B文件中内容不重复的内容 ''' #!usr/bin/python import sys import os ''' 字符串查找函数,使用二分查找法在列表中进行查询 ''' def binarySearch(value, lines): right = len(lines) - 1 left = 0 a = value.strip() while left <= right: mid

随机推荐