一次现场mysql重复记录数据的排查处理实战记录

目录
  • 前言
  • 分析
    • 数据总计
    • 重复次数占比
  • where 和 having 的区别
  • 总结

前言

我当时正好出差在客户现场部署调试软件，有一天客户突然找到我这里，说他们现场生产的数据出现了异常的情况，最直接的表现就是 同一个标签，出现在了多个物料上，需要我配合，看怎么排查问题

分析

客户当时直接一摞重复标签的盒子码在我面前，我慌得一匹，这怕不是捅娄子了

稍加思索，现在需要做的就是，在数据库中查询出重复的标签，即对一个标签进行统计，判断出计数> 1 的即可

emmm，语法错误，我记得还有个Having 来着，换上试试

好家伙，重复的标签有 1500 多条，再统计一下总共问题的记录数量，以及再分组看看标签重复次数的占比数据

对了，先把这些重复标签数据扔个客户去追溯产品（幸好 navicat 支持复制数据）

数据总计

以上一条查询记录的结果为临时表，在此基础上，用 sum() 求和

重复的记录有点多，这问题有一点点大了

重复次数占比

对之前的查询表换一个查询方式，即对 count 数据再次分组

从结果来看，绝大部分问题数据重复了2次

where 和 having 的区别

Where是一个 约束声明，在查询数据库的结果返回之前对数据库中的查询条件进行约束，即在结果返回之前起作用，且where后面 不能使用聚合函数

Having是一个 过滤声明，所谓过滤是 在查询数据库的结果返回之后进行过滤，即在结果返回之后起作用，并且having后面可以使用聚合函数。

所谓 聚合函数，是对一组值进行计算并且返回单一值的函数：sum---求和，count---计数，max---最大值，avg---平均值等。

总结

在 mysql 的查询操作中，我们日常用到的，一般都是多表联查，将查询的结果当成中间表进行多次查询，对查询的结果做分组，做统计汇总等操作

如果查询操作中使用了函数计算或者是分组，典型的特征就是将原始表的多条记录合并成一条，就需要 having 对这些操作的结果进行过滤，除此之外，使用 where 对表记录进行条件过滤即可

到此这篇关于现场mysql重复记录数据的排查处理记录的文章就介绍到这了,更多相关mysql重复记录数据排查处理内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 分享MYSQL插入数据时忽略重复数据的方法

    使用下以两种方法时必须把字段设为"主键(PRIMARY KEY"或"唯一约束(UNIQUE)".1:使用REPLACE INTO (此种方法是利用替换的方法,有点似类于先删除再插入)  复制代码 代码如下: REPLACE INTO Syntax  REPLACE [LOW_PRIORITY | DELAYED]      [INTO] tbl_name [(col_name,...)]      {VALUES | VALUE} ({expr | DEFAULT}

  • mysql 数据表中查找重复记录

    复制代码 代码如下: select user_name,count(*) as count from user_table group by user_name having count>1; 这个我在很早有发过一个asp下的ACCESS 的

  • MySQL使用UNIQUE实现数据不重复插入

    SQL UNIQUE 约束 UNIQUE 约束唯一标识数据库表中的每条记录. UNIQUE 和 PRIMARY KEY 约束均为列或列集合提供了唯一性的保证. PRIMARY KEY 拥有自动定义的 UNIQUE 约束. 请注意,每个表可以有多个 UNIQUE 约束,但是每个表只能有一个 PRIMARY KEY 约束. 下面的 SQL 在 "Persons" 表创建时在 "Id_P" 列创建 UNIQUE 约束: CREATE TABLE Persons ( Id_

  • 很全面的MySQL处理重复数据代码

    有些 MySQL 数据表中可能存在重复的记录,有些情况我们允许重复数据的存在,但有时候我们也需要删除这些重复的数据. 本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据. 一.防止表中出现重复数据 你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY(主键) 或者 UNIQUE(唯一) 索引来保证数据的唯一性. 让我们尝试一个实例:下表中无索引及主键,所以该表允许出现多条重复记录. CREATE TABLE person_tbl ( first_name

  • mysql查询表里的重复数据方法

    mysql查询表里的重复数据方法

    INSERT INTO hk_test(username, passwd) VALUES ('qmf1', 'qmf1'),('qmf2', 'qmf11') delete from hk_test where username='qmf1' and passwd='qmf1' MySQL里查询表里的重复数据记录: 先查看重复的原始数据: 场景一:列出username字段有重读的数据 select username,count(*) as count from hk_test group by

  • MySQL数据库中删除重复记录的方法总结[推荐]

    表结构: mysql> desc demo; +-------+------------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+------------------+------+-----+---------+----------------+ | id | int(11) unsigned | NO | PRI | NULL

  • MySQL 删除数据库中重复数据方法小结

    MySQL 删除数据库中重复数据方法小结

    刚开始,根据我的想法,这个很简单嘛,上sql语句 delete from zqzrdp where tel in (select min(dpxx_id) from zqzrdp group by tel having count(tel)>1); 执行,报错!!~!~ 异常意为:你不能指定目标表的更新在FROM子句.傻了,MySQL 这样写,不行,让人郁闷. 难倒只能分步操作,蛋疼 以下是网友写的,同样是坑爹的代码,我机器上运行不了. 1. 查询需要删除的记录,会保留一条记录. select

  • MySQL查询重复数据（删除重复数据保留id最小的一条为唯一数据）

    MySQL查询重复数据（删除重复数据保留id最小的一条为唯一数据）

    开发背景: 最近在做一个批量数据导入到MySQL数据库的功能,从批量导入就可以知道,这样的数据在插入数据库之前是不会进行重复判断的,因此只有在全部数据导入进去以后在执行一条语句进行删除,保证数据唯一性. 下面话不多说了,来一起看看详细的介绍吧 实战: 表结构如下图所示: 表明:brand 操作: 使用SQL语句查询重复的数据有哪些: SELECT * from brand WHERE brandName IN( select brandName from brand GROUP BY brand

  • mysql查找删除重复数据并只保留一条实例详解

    有这样一张表,表数据及结果如下: school_id school_name total_student test_takers 1239 Abraham Lincoln High School 55 50 1240 Abraham Lincoln High School 70 35 1241 Acalanes High School 120 89 1242 Academy Of The Canyons 30 30 1243 Agoura High School 89 40 1244 Agour

  • MySQL根据某一个或者多个字段查找重复数据的sql语句

    sql 查出一张表中重复的所有记录数据 1.表中有id和name 两个字段,查询出name重复的所有数据 select * from xi a where (a.username) in (select username from xi group by username having count(*) > 1) 2.查询出所有数据进行分组之后,和重复数据的重复次数的查询数据,先列下: select count(username) as '重复次数',username from xi group

随机推荐