系统高吞吐量下的数据库重复写入问题分析解决

2024-10-03 09:21:29

问题分析

为了提高系统的吞吐量，很多环节下对于数据库的写入是多线程，甚至是多进程的。为了保证写入成功，在很多情况下需要多次重试。这就会带来一个问题，数据重复，同一条数据会被记录多次。有些情况下数据重复无伤大雅，但是很多情况系统是无法容忍数据重复的。因此这个问题需要解决。我个人觉得解决这一问题有两个方向：第一，从数据库上保证数据不重复，第二，从程序上保证数据不重复。

数据库上解决

主要包括：主键，唯一性索引，甚至是临时表。程序上解决无非就是要保证同步，这两种方式能解决很多情况下的数据重复。但是有些情况可能比较棘手，使用者两种方法有时并不能很好的解决，或实现起来比较复杂，如下面的数据

假如下表主要字段如下：

id　　studentId　　teacherId　　states　

状态（states）是有多种的（0，1，2，3），状态可以转换，但是状态为,0的一个只能由一个，其它字段是可以重复的。这个其实就是保证某一种状态下的数据不重复。

首先唯一性索引不能够起作用，因为无法建立唯一性索引。主键也没有效果，没法通过这些字段生成可区分的id。所以这两种方法都失效了。还有一种方法就是临时表，在临时表中插入一条能够区分的数据（比如studentId，teacherId组合），无论是唯一索引还是主键都可以。写入时首先写临时表，临时表写入成功则插入一条数据，然后清空临时表。这在严格保证数据不重复的情况下是能够起作用的，但是比较繁琐，需要处理一个临时表。

另外的一个办法就是根据我们的业务场景，在一个时间段内（比如1分钟）不会出现两条相同数据写入。这样我们可以使用studentIdTeacherid加上精确到分钟的时间来构成一个唯一id，重试时间间隔一般都极短（秒级别），这样通过id来保证数据的唯一性。

从程序上保证数据不重复

如果从程序上来保证数据不重复，则更加复杂。第一种办法是对写入过程加锁，确保只有一次写入成功代码如下（伪代码）:

Lock lock =new WriteLock();
public void write(Data data){
try{
     if(lock.tryLock() ){
               dataRepository.save(data);
               if(dataRepository.numberOf(data)>1){//在写入的时候检测如果数据库中有该数据抛出异常。再次保证数据不重复。
                   throw new DataException
            }
　　　　　　
     }
　　}finally{
     lock.unlock();
　　}
}

这种方式首先会存在效率问题，所有的数据都要顺序写入会导入效率下降。我们只需要保证同一条数据不能并发写入而不是不同数据。另外这种方式还会存在一定概率的重复，因为网络问题和数据库或ORM框架的缓存问题，会导致写入检测时并不能发现数据库的更新。比如使用hibernate，两次线程调用write方法会使用两个session，从而使得第一次写入缓存的数据无法在下一次操作中看到。在write方法中多次调用numberOf方法也是不起用的，由于session的缓存，后面的查询会使用第一次的缓存结果，在第一次查询后的数据库变化，后面的查询仍然无法觉察。

针对写入效率低的问题，这里可以采用数据锁，即通过一种方法比如使用data的hashcode来映射来获取锁，这样不同的数据会获取到不同的锁，解决了所有数据的顺序写入问题。但是跟第一种情况一样仍会存在数据重复问题。

对于多进程的情况，如微服务部署多个的情况，上面的同步会失效。对于这种情况唯一的解决办法就是使用上面所说的数据库同步或者构造一个环节锁，类似于令牌的方法。只有获取到令牌才有写入资格，写入成功后销毁针对该数据的“令牌“。这种实现其实也比较简单，如使用一个redis的hashmap,每次写入首先获取该数据对应的value，通过value来判断该数据是否写入，来保证数据不重复。

总结

上面无论哪种方法，针对本文所提到的数据，解决重复问题都是不容易的。要么实现起来比较复杂，要么还是不能100%保证数据不重复。针对我们的业务场景：state为0的状态下数据能有一条，且0的状态不会持续太久，后面的操作会将其修改。而且多线程重试并不是每次都发生的，多进程情况下，每次数据写入也多是只通过其中一个节点，针对这种情况其实可以采取更简单的处理方式，不做过多的顺序限制只在写入时检查数据库，如果真的因为数据更新或者并发导致了多次写入也没有关系（这种情况很少），后续的操作时再删除多写入的数据。这是一种乐观的处理方式，但是对于很多情况是可以解决数据重复问题的。

以上是我个人对于只有某种状态的数据不能重复写入问题的处理方法的思考。主要是从数据库和程序上来控制及如果场景允许使用乐观（后续补救）的方法。仅供参考，更多关于高吞吐量系统的数据库重复写入解决的资料请关注我们其它相关文章！

详解MySQL主键唯一键重复插入解决方法

目录解决方案: 1. IGNORE 2. REPLACE 3. ON DUPLICATE KEY UPDATE 我们插入数据的时候,有可能碰到重复数据插入的问题,但是这些数据又是不被允许有重复值: CREATE TABLE stuInfo ( id INT NOT NULL COMMENT '序号', name VARCHAR(20) NOT NULL DEFAULT '' COMMENT '姓名', age INT NOT NULL DEFAULT 0 COMMENT '年龄', PRIMA
MySQL 处理插入过程中的主键唯一键重复值的解决方法

本篇文章主要介绍在插入数据到表中遇到键重复避免插入重复值的处理方法,主要涉及到IGNORE,ON DUPLICATE KEY UPDATE,REPLACE:接下来就分别看看这三种方式的处理办法. IGNORE 使用ignore当插入的值遇到主键(PRIMARY KEY)或者唯一键(UNIQUE KEY)重复时自动忽略重复的记录行,不影响后面的记录行的插入, 创建测试表 CREATE TABLE Tignore (ID INT NOT NULL PRIMARY KEY , NAME1 INT )d
Mysql避免重复插入数据的4种方式

最常见的方式就是为字段设置主键或唯一索引,当插入重复数据时,抛出错误,程序终止,但这会给后续处理带来麻烦,因此需要对插入语句做特殊处理,尽量避开或忽略异常,下面我简单介绍一下,感兴趣的朋友可以尝试一下: 这里为了方便演示,我新建了一个user测试表,主要有id,username,sex,address这4个字段,其中主键为id(自增),同时对username字段设置了唯一索引: 01 insert ignore into 即插入数据时,如果数据存在,则忽略此次插入,前提条件是插入的数据字段设置了
MySql三种避免重复插入数据的方法

前言 MySql 在存在主键冲突或唯一键冲突的情况下,根据插入方式,一般有以下三种插入方式避免错误. insert ignore. replace into insert on duplicate key update insert ignore insert ignore 会忽视数据库中已经存在的数据,根据主键或者唯一索引判断,如果数据库没有数据,就会插入新的数据,如果有数据的话就跳过这条数据小case 表结构 root:test> show create table t3G *******
数据库高并发情况下重复值写入的避免字段组合约束

10线程同时操作,频繁出现插入同样数据的问题.虽然在插入数据的时候使用了: insert inti tablename(fields....) select @t1,@t2,@t3 from tablename where not exists (select id from tablename where t1=@t1,t2=@t2,t3=@t3) 当时还是在高并发的情况下无效.此语句也包含在存储过程中.(之前也尝试线判断有无记录再看是否写入,无效). 因此,对于此类情况还是需要从数据库的根本
系统高吞吐量下的数据库重复写入问题分析解决

目录问题分析数据库上解决从程序上保证数据不重复总结问题分析为了提高系统的吞吐量,很多环节下对于数据库的写入是多线程,甚至是多进程的.为了保证写入成功,在很多情况下需要多次重试.这就会带来一个问题,数据重复,同一条数据会被记录多次.有些情况下数据重复无伤大雅,但是很多情况系统是无法容忍数据重复的.因此这个问题需要解决.我个人觉得解决这一问题有两个方向:第一,从数据库上保证数据不重复,第二,从程序上保证数据不重复. 数据库上解决主要包括:主键,唯一性索引,甚至是临时表.程序上解决无非就
时序数据库TDengine写入查询的问题分析

目录写入问题必须为每个Tag组合起一个表名 Tag支撑与管理不支持乱序写入查询问题求topN的group downsampling和aggregation 查询聚合架构写入问题必须为每个Tag组合起一个表名付出的代价: 用户必须要保证每个Tag组合起的表名唯一,并且一旦Tag组合数过多用户很难记住每个Tag组合对应的表名,在查询时基本都是靠超级表STable来查询.所以对用户来说这个表名几乎没用到却让用户来花代价来起名这样设计的最终目的是为了将相同Tag组合的数据放到一起,但是
MAC下MYSQL数据库密码忘记的解决办法

Mac操作系统下MYSQL数据库密码忘记的快速解决办法 1. 在系统偏好中,中止MYSQL服务.: 2. cd/usr/local/mysql-...../bin sudo ./mysqld_safe--skip-grant-tables 3. 登录MySQL: mysql 4. 置空root用户的密码: mysql> update mysql.user set password='' whereUser='root'; mysql> flush privileges; mysql>
Linux系统下Oracle数据库的安装和启动关闭操作教程

1.准备: df -H 查看空间剩余一般准备最少5G 2.查看swap分区大小 du -sh /tmp/ 最少400M 3. 建组建用户 groupadd dba -g 111 groupadd oinstall -g 110 useradd oracle -u -110 -g 110 -G 111 passwd oracle --stdin 4. 设置参数 su - oracle vi .bash_profile export ORACLE_BASE=/u01/oracle export
Windows系统下Oracle数据库每天自动备份

linux和unix下面使用shell可以很方便实现,如果windows环境下可以结合计划任务实现 1.创建备份目录d:\backup, 创建批处理命令Bak.bat,编写备份脚本 exp user/passwd@orcl DIRECT=Y BUFFER=100000 FILE=D:\backup\scdd%date:~0,10% OWNER=('scdd') LOG=D:\backup\data.log forfiles /p "D:\backup" /s /m *.dmp /d -
高并发下如何避免重复数据产生技巧

目录前言 1. 需求 2. 性能优化 3. 出问题了 4. 多线程消费 5. 顺序消费 6. 唯一索引 5. 分布式锁 6. 统一mq异步处理 7. insert on duplicate key update 8. insert ignore 9. 防重表前言最近测试给我提了一个bug,说我之前提供的一个批量复制商品的接口,产生了重复的商品数据. 追查原因之后发现,这个事情没想象中简单,可以说一波多折. 1. 需求产品有个需求:用户选择一些品牌,点击确定按钮之后,系统需要基于一份默认品
Linux下MongoDB数据库实现自动备份详解

本文主要给大家介绍的是关于Linux下MongoDB数据库实现自动备份的相关内容,分享出来供大家参考学习,下面来一起看看详细的介绍: 一.创建MongoDB备份目录 mkdir -p /data/mongodb_bak/mongodb_bak_now mkdir -p /data/mongodb_bak/mongodb_bak_list 二.新建MongoDB数据库备份脚本(/data/mongodb_bak/MongoDB_bak.sh) #!/bin/bash #backup MongoDB
linux下mysql数据库的操作的方法

①.Mysql数据库的安装: 数据库的安装分为源码安装和rpm安装. 当然对于老手来说需要进行一些自定义的配置,那么当然源码安装的灵活性要高一些. 但是这种安装方式需要管理员自己处理好于系统的依赖关系. 而rpm安装是已经经过编译的二进制文件,然而这种方式仍然对于处理依赖关系很麻烦,于是产生了一种基于rpm包的前端管理软件yum,yum可以从特点的镜像源下载rpm包并进行自动安装,配置和移除以及在线更新. 而作为linux新手,又是centos用户.我当然选择yum安装. 一般情况下cento
Linux下MySQL数据库的主从同步复制配置

Linux下MySQL数据库的主从同步配置的好处是可以把这个方式当做是一个备份的方法,用来实现读写分离,缓解一个数据库的压力.让运行海量数据的时候无论是从速度还是效率上都大大提高,Mysql的主从复制至少是需要两个Mysql的服务,当然Mysql的服务是可以分布在不同的服务器上,也可以在一台服务器上启动多个服务.这个就是MySQL主从备份原理.下面我们来看下具体同步配置的流程. 我们先来看下小编测试的环境: CentOS 6.5 MySQL主从同步,MySQL版本5.6.25 主服务器:cent
Ubuntu Server下MySql数据库备份脚本代码

说明: 我这里要把MySql数据库存放目录/var/lib/mysql下面的pw85数据库备份到/home/mysql_data里面,并且保存为mysqldata_bak_2012_04_11.tar.gz的压缩文件格式(2012_04_11是指备份执行时当天的日期), 最后只保留最近7天的备份. 实现步骤: 1.创建保存备份文件的目录:/home/mysql_datacd /home #进入目录mkdir mysql_data #创建目录2.创建备份脚本文件:/home/mysql_data/

系统高吞吐量下的数据库重复写入问题分析解决

目录

问题分析

数据库上解决

从程序上保证数据不重复

总结

相关推荐

随机推荐