关于MySQL 大批量插入时如何过滤掉重复数据

2024-10-13 21:32:46

一、发现问题

CREATE TABLE `animal` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
INSERT INTO `pilipa_dds`.`student` (`id`, `name`, `age`) VALUES ('1', 'cat', '12');
INSERT INTO `pilipa_dds`.`student` (`id`, `name`, `age`) VALUES ('2', 'dog', '13');
INSERT INTO `pilipa_dds`.`student` (`id`, `name`, `age`) VALUES ('3', 'camel', '25');
INSERT INTO `pilipa_dds`.`student` (`id`, `name`, `age`) VALUES ('4', 'cat', '32');
INSERT INTO `pilipa_dds`.`student` (`id`, `name`, `age`) VALUES ('5', 'dog', '42');

目标：我们要去掉name相同的数据。

先看看哪些数据重复了

SELECT name,count( 1 )
FROM
 student
GROUP BY
NAME
HAVING
 count( 1 ) > 1;

输出：

name count(1) cat 2 dog 2

name为cat和dog的数据重复了，每个重复的数据有两条；

Select * From 表 Where 重复字段 In (Select 重复字段 From 表 Group By 重复字段 Having Count(1)>1)

二、删除全部重复数据，一条不留

直接删除会报错

DELETE
FROM
 student
WHERE
 NAME IN (
 SELECT NAME
 FROM
  student
 GROUP BY
 NAME
HAVING
 count( 1 ) > 1)

报错：

1093 - You can't specify target table 'student' for update in FROM clause, Time: 0.016000s

原因是：更新这个表的同时又查询了这个表，查询这个表的同时又去更新了这个表，可以理解为死锁。mysql不支持这种更新查询同一张表的操作

解决办法：把要更新的几列数据查询出来做为一个第三方表，然后筛选更新。

DELETE
FROM
 student
WHERE
 NAME IN (
 SELECT
  t.NAME
FROM
 ( SELECT NAME FROM student GROUP BY NAME HAVING count( 1 ) > 1 ) t)

三、删除表中删除重复数据，仅保留一条

在删除之前，我们可以先查一下，我们要删除的重复数据是啥样的

SELECT
 *
FROM
 student
WHERE
 id NOT IN (
 SELECT
  t.id
 FROM
 ( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t
 )

啥意思呢，就是先通过name分组，查出id最小的数据，这些数据就是我们要留下的火种，那么再查询出id不在这里面的，就是我们要删除的重复数据。

四、开始删除重复数据，仅留一条

很简单，刚才的select换成delete即可

DELETE
FROM
 student
WHERE
 id NOT IN (
 SELECT
  t.id
 FROM
 ( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t
 )

90万+的表执行起来超级快。

到此这篇关于关于MySQL 大批量插入时如何过滤掉重复数据的文章就介绍到这了,更多相关MySQL过滤掉重复数据内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

angularJs中orderBy筛选以及filter过滤数据的方法

如下所示: <div ng-app="module" ng-controller="ctrl">  {{data|orderBy:'click':true}}<br>  {{data|orderBy:'id':false}}<br>  {{data|filter:'3'}}<br> <
MYSQL使用正则表达式过滤数据

一.正则与LIKE的区别 Mysql的正则表达式仅仅使SQL语言的一个子集,可以匹配基本的字符.字符串. 例如:select * from wp_posts where post_name REGEXP'hello',可以检索出列post_name中所有包含hello的行 REGEXP'.og' .是正则表达式中里一个特殊的字符.它表示匹配一个字符,因此,dog,hog,mog等等都能匹配. 注意: 关于LIKE和REGEXP的区别:LIKE匹配整个列.如果被匹配的文本仅在列值中出现,LIKE
详解pandas如何去掉、过滤数据集中的某些值或者某些行？

摘要在进行数据分析与清理中,我们可能常常需要在数据集中去掉某些异常值.具体来说,看看下面的例子. 0.导入我们需要使用的包 import pandas as pd pandas是很常用的数据分析,数据处理的包.anaconda已经有这个包了,纯净版python的可以自行pip安装. 1.去掉某些具体值数据集df中,对于属性appPlatform(最后一列),我们想删除掉取值为2的那些样本.如何做?非常简单. import pandas as pd df[(True-df['appPlatfor
MYSQL必知必会读书笔记第六章之过滤数据

mysql简介 MySQL是一种开放源代码的关系型数据库管理系统(RDBMS),MySQL数据库系统使用最常用的数据库管理语言--结构化查询语言(SQL)进行数据库管理. where子句的位置,在同时使用ORDER BY 和WHERE子句时应该让ORDER BY 位于where之后,否则会产生错误. 1.不匹配检查复制代码代码如下: SELECT vend_id FROM products where vend_id <>1003 等同于复制代码代码如下: SELECT vend_id
Mysql数据库支持的存储引擎对比

目录存储引擎 MySQL支持的存储引擎并发控制锁锁颗粒事务外键索引各种存储引擎的特点存储引擎 Mysql可以将数据以不同的技术存储在文件(内存)中,这种技术就称为存储引擎. 每一种存储引擎使用不同的存储机制.索引技巧.锁定水平,最终提供广泛且不同的功能. MySQL支持的存储引擎 MyISAM InnoDB Memory CSV Archive 并发控制当多个连接对记录进行修改时保证数据的一致性和完整性. 锁 1.共享锁(读锁):在同一时间段内,多个用户可以读取同一个资源,读
MySQL带你秒懂索引下推

目录一.索引下推优化的原理二.索引下推的具体实践 1.没有使用ICP 2.使用ICP 三.索引下推使用条件索引下推(Index Condition Pushdown,简称ICP),是MySQL5.6版本的新特性,它能减少回表查询次数,提高查询效率. 一.索引下推优化的原理我们先简单了解一下MySQL大概的架构: MySQL服务层负责SQL语法解析.生成执行计划等,并调用存储引擎层去执行数据的存储和检索. 索引下推的下推其实就是指将部分上层(服务层)负责的事情,交给了下层(引擎层)去处理.
python numpy实现多次循环读取文件等间隔过滤数据示例

numpy的np.fromfile会出现如下的问题,只能一次性读取文件的内容,不能追加读取,连续两次的np.fromfile读到的东西一样如果数据文件太大(几个G或以上)不能一次性全读进去,需要追加读取而我希望读到的donser1和donser2是连续的两段 (实际使用时,比如说读取的文件是二进制数据文件,每一块文件都包括包头+数据,希望将这两块分开获取,然后再做进一步处理) 代码: import numpy as np length=2500 plt_arr=np.linspace(0.0
关于MySQL 大批量插入时如何过滤掉重复数据

目录一.发现问题二.删除全部重复数据,一条不留三.删除表中删除重复数据,仅保留一条四.开始删除重复数据,仅留一条前言: 加班原因是上线,解决线上数据库存在重复数据的问题,发现了程序的bug,很好解决,有点问题的是,修正线上的重复数据. 线上库有6个表存在重复数据,其中2个表比较大,一个96万+.一个30万+,因为之前处理过相同的问题,就直接拿来了上次的Python去重脚本,脚本很简单,就是连接数据库,查出来重复数据,循环删除. emmmm,但是这个效率嘛,实在是太低了,1秒一条,重复数
mysql大批量插入数据的4种方法示例

前言本文主要给大家介绍了关于mysql大批量插入数据的4种方法,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧方法一:循环插入这个也是最普通的方式,如果数据量不是很大,可以使用,但是每次都要消耗连接数据库的资源. 大致思维如下 (我这里写伪代码,具体编写可以结合自己的业务逻辑或者框架语法编写) for($i=1;$i<=100;$i++){ $sql = 'insert...............'; //querysql } foreach($arr as $key =
MySql批量插入时如何不重复插入数据

目录前言一.insert ignore into 二.on duplicate key update 三.replace into 总结前言 Mysql插入不重复的数据,当大数据量的数据需要插入值时,要判断插入是否重复,然后再插入,那么如何提高效率?解决的办法有很多种,不同的场景解决方案也不一样,数据量很小的情况下,怎么搞都行,但是数据量很大的时候,这就不是一个简单的问题了. 一.insert ignore into 会忽略数据库中已经存在的数据,如果数据库没有数据,就插入新的数据,如果
Yii+MYSQL锁表防止并发情况下重复数据的方法

本文实例讲述了Yii+MYSQL锁表防止并发情况下重复数据的方法.分享给大家供大家参考,具体如下: lock table 读锁定如果一个线程获得在一个表上的read锁,那么该线程和所有其他线程只能从表中读数据,不能进行任何写操作. lock tables user read;//读锁定表 unlock tables;//解锁 lock tables user read local;//本地读锁定表,其他线程的insert未被阻塞,update操作被阻塞 lock table 写锁定如果一个线
mysql完整备份时过滤掉某些库的方法

mysql进行完整备份时使用--all-database参数比如: #mysqldump -u root -h localhost -p --all-database > /root/all.sql 数据导入的时候,可以先登陆mysql数据库中,使用source /root/all.sql进行导入. 问题: 想要在mysqldump备份数据库的时候,过滤掉某些库. 这种情况mysqldump备份的时候就不能使用--all-database了,而是使用--database. 如下:备份数据库的时
mysql ON DUPLICATE KEY UPDATE重复插入时更新方式

目录 mysql当插入重复时更新的方法第一种方法第二种方法第三种方法 Mysql on duplicate key update 解决插入重复数据时更新值的问题以及其存在的问题一.使用二.存在问题 mysql当插入重复时更新的方法第一种方法示例一:插入多条记录假设有一个主键为 client_id 的 clients 表,可以使用下面的语句: INSERT INTO clients (client_id,client_name,client_type) SELECT supplie
jsp连接MySQL实现插入insert操作功能示例

下午终于实现了jsp连接MySQL执行插入操作的功能.在index.jsp页面输入数据,提交到mysql--insert.jsp页面进行插入数据库的操作. index.jsp页面代码如下: 复制代码代码如下: <%@ page language="java" pageEncoding="utf-8"%> <%@ page contentType="text/html;charset=utf-8"%> <%
MySQL 处理插入过程中的主键唯一键重复值的解决方法

本篇文章主要介绍在插入数据到表中遇到键重复避免插入重复值的处理方法,主要涉及到IGNORE,ON DUPLICATE KEY UPDATE,REPLACE:接下来就分别看看这三种方式的处理办法. IGNORE 使用ignore当插入的值遇到主键(PRIMARY KEY)或者唯一键(UNIQUE KEY)重复时自动忽略重复的记录行,不影响后面的记录行的插入, 创建测试表 CREATE TABLE Tignore (ID INT NOT NULL PRIMARY KEY , NAME1 INT )d
解决Mysql数据库插入数据出现问号（？）的解决办法

首先,我用的mysql数据库是5.7.12版本. 出现的问题: 1.插入数据显示错误,插入不成功,出现:Incorrect string value: '\xCD\xF5\xD5\xBC\xBE\xA9' for column 'Sname' at row 1 2.插入中文,虽然插入成功,但是显示:?? 解决方法: 在my.ini文件中的 [mysqld] 中加入 #character-set-server=utf8 如图所示,必须在蓝圈的上方,就是说,蓝圈内的内容必须在[mysqld]的最下面
MySQL批量插入遇上唯一索引避免方法

一.背景以前使用SQL Server进行表分区的时候就碰到很多关于唯一索引的问题:Step8:SQL Server 当表分区遇上唯一约束,没想到在MySQL的分区中一样会遇到这样的问题:MySQL表分区实战. 今天我们来了解MySQL唯一索引的一些知识:包括如何创建,如何批量插入,还有一些技巧上SQL: 这些问题的根源在什么地方?有什么共同点?MySQL中也有分区对齐的概念?唯一索引是在很多系统中都会出现的要求,有什么办法可以避免?它对性能的影响有多大? 二.过程 (一) 导入差异数据,忽略重

关于MySQL 大批量插入时如何过滤掉重复数据

目录

一、发现问题

二、删除全部重复数据，一条不留

三、删除表中删除重复数据，仅保留一条

四、开始删除重复数据，仅留一条

相关推荐

随机推荐