.NET多种数据库大数据批量插入、更新(支持SqlServer、MySql、PgSql和Oracle)

2024-07-30 19:43:28

功能介绍 (需要版本5.0.45)

大数据操作ORM性能瓶颈在实体转换上面，并且不能使用常规的Sql去实现

当列越多转换越慢，SqlSugar将转换性能做到极致，并且采用数据库最佳API

操作数据库达到极限性能

功能用法

BulkCopy性能远强于现有市场的 ORM框架，比 EFCore Efcore.Bulkextension快30%

BulkUpdate吊打现有所有框架是EFCoreEfcore.Bulkextension 2-3倍之快

//插入 100万 10秒不到
db.Fastest<RealmAuctionDatum>().BulkCopy(GetList());//性能 比现有任何Bulkcopy都要快30%

//更新
db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList());//更新 吊打所有框架N倍，30列100万8秒更新完
db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList(),new string[]{"id"},new string[]{"name","time"})//无主键用法

//表设置别名
db.Fastest<RealmAuctionDatum>().AS("tableName").BulkCopy(GetList())

数据库支持

数据库	API	支持自增
SqlSever	全支持	是
MySql 连接字符串要加AllowLoadLocalInfile=true	全支持	是
PgSql	全支持	否
Oracle	BulkCopy	否

性能测试

插入方案SqlSugar VS EFCoreEFCore.BulkExtensions

10万条数据 30列，可以看出EFCore.BulkExtensions在第一插入性能非常慢，正常情况下大数据插入也就比第一次

在更新方面SqlSugar也利用了bulkCopy方式进行更新，这一方面.NET 除了EFCore.BulkExtensions

并没有发现有相关的产品(收费除外)，在更新操作方案 SqlSugar基本上是独一无二的

EFCore.BulkExtensions缺点只支持 SqlServer并且性能不如SqlSugar

使用疑问

比如Sqlite ... 还不支持怎么办？

答:Sqlite普通插入加上事务就已经是市场上优秀水平了（后续争取在技术上有突破支持SQLITE）

db.Insertable(insertObj).ExecuteReturnIdentity();//普通插入并不慢，列不多情况1秒可以插入1万

什么情况用db.Fastest

答: db.Fastest主要是用于大数据插入、更新处理，如果1000条以下就没有必要使用了，毕竟支持的API没有普通插入丰富，在小数据插入上也并没有太多优势，db.Fastest性能主要强大1000以上的数据处理

老版本

老版本可以这么用，性能不如db.Fastest

//(3)、blukCopy插入
//只适合1万以上超大数据插入或者上面数据插入慢情况，小数据插入性能不行，不是所有库都支持

db.Insertable(List<实体>).UseSqlServer().ExecuteBulkCopy()

db.Insertable(List<实体>).UseMySql().ExecuteBulkCopy()//高版本Mysql.data驱动，连接字符串要加AllowLoadLocalInfile=true

db.Insertable(List<实体>).UseOracle().ExecuteBulkCopy()//5.0.3.8-Preview

源码下载：

https://github.com/donet5/SqlSugar

sqlsugar已经持续更新7年之久，也越来越完善，如果说EF或者其它ORM不更新了，那么多一个开源就是多一个选择,

谢谢支持，随着大数据库时代的到来，用户对数据处理也要求越来越高，一款海量数据的读、写、更新的框架必不可少

到此这篇关于.NET多种数据库大数据批量插入、更新（支持SqlServer、MySql、PgSql和Oracle）的文章就介绍到这了。希望对大家的学习有所帮助，也希望大家多多支持我们。

SQLServer恢复表级数据详解

最近几天,公司的技术维护人员频繁让我恢复数据库,因为他们总是少了where条件,导致update.delete出现了无法恢复的后果,加上那些库都是几十G.恢复起来少说也要十几分钟.为此,找了一些资料和工作总结,给出一下几个方法,用于快速恢复表,而不是库,但是切记,防范总比亡羊补牢好. 在生产环境或者开发环境,往往都有某些非常重要的表.这些表存放了核心数据.当这些表出现数据损坏时,需要尽快还原.但是,正式环境的数据库往往都是非常大的,统计数据表明,1T的数据库还原时间接近24小时,所以因为一个表
SqlServer数据库远程连接案例教程

一.身份验证配置在sqlserver服务端电脑打开SqlServer Managerment Studio管理工具,首先通过Windows身份验证登录sqlserver 登录成功之后,右键打开属性,在安全性选项卡勾选sql server和windows身份认证模式,在连接选项卡勾选允许远程连接到此服务器,如下图: 然后点击安全性-登录名,右击sa点击属性,设置sa账户密码,在状态选项卡中选择授予和启用二.sqlserver开启1433端口右击计算机,打开管理,如图: 找到服务和应用程序,然
sqlserver数据库加密后无法使用MDF,LDF,log文件名称被修改的数据恢复

故障: 2个SQL server数据库被加密,无法使用. 数据库MDF.LDF.log日志文件名字被修改, 如下图: 数据库备份被加密,文件名字被修改.管理员联系北亚数据恢复中心进行数据修复. 数据恢复过程: 1.备份数据库.为防止数据恢复过程中对原始数据库造成二次破坏,北亚数据恢复工程师为每个库做了备份.所有恢复数据的操作都在备份上进行, 避免了对原始数据造成损坏的可能. 2.使用北亚自研的数据恢复软件打开被加密的SQL server数据库,发现数据库的头部已被破坏. 3.经过检查,北
mssqlserver恢复ldf文件数据的方法

我们重要的数据是存放在MDF文件中的,如果LDF文件丢失,MDF文件没有丢失,那么数据也可以还原.如果LDF文件没有丢失,MDF文件丢失,且LDF文件是完整的,也是可以提供一定手段还原数据.现象描述我们现在要面对的问题是,针对wtlog_2008_m12这个数据库,只有MDF文件而LDF文件丢失了,SQL Server Management Studio中也没有这个数据库,附加上也会提示错误.解决方法(1)在SQL Server Management Studio删除状态为Recovery Pe
SqlServer2008误操作数据(delete或者update)后恢复数据的方法

实际工作中,有时会直接在数据库中操作数据,比如对数据进行delete或者update操作,当进行这些操作的时候,如果没有加上 where条件或者where条件不合理,那么导致的结果可想而知,如果操作的又是线上数据库,那么这个后果将会非常严重. 当事情发生后,我们要想办法补救,针对于sqlserver2005数据库,有个很出名的工具Log Exploer.具体操作使用大家可以自行搜索;针对于sqlserver2008也有这样的工具,但是大多是需要付费的...我们尝试用 sqlserver的事务日志
.NET多种数据库大数据批量插入、更新（支持SqlServer、MySql、PgSql和Oracle）

功能介绍 (需要版本5.0.45) 大数据操作ORM性能瓶颈在实体转换上面,并且不能使用常规的Sql去实现当列越多转换越慢,SqlSugar将转换性能做到极致,并且采用数据库最佳API 操作数据库达到极限性能功能用法 BulkCopy性能远强于现有市场的 ORM框架,比 EFCore Efcore.Bulkextension快30% BulkUpdate吊打现有所有框架是EFCoreEfcore.Bulkextension 2-3倍之快 //插入 100万 10秒不到 db.Fastest<
.NET多种数据库大数据批量插入、更新(支持SqlServer、MySql、PgSql和Oracle)

目录功能介绍(需要版本5.0.45) 功能用法数据库支持性能测试使用疑问老版本源码下载: 功能介绍 (需要版本5.0.45) 大数据操作ORM性能瓶颈在实体转换上面,并且不能使用常规的Sql去实现当列越多转换越慢,SqlSugar将转换性能做到极致,并且采用数据库最佳API 操作数据库达到极限性能功能用法 BulkCopy性能远强于现有市场的 ORM框架,比 EFCore Efcore.Bulkextension快30% BulkUpdate吊打现有所有框架是EFCoreEfco
c#几种数据库的大数据批量插入（SqlServer、Oracle、SQLite和MySql）

在之前只知道SqlServer支持数据批量插入,殊不知道Oracle.SQLite和MySql也是支持的,不过Oracle需要使用Orace.DataAccess驱动,今天就贴出几种数据库的批量插入解决方法. 首先说一下,IProvider里有一个用于实现批量插入的插件服务接口IBatcherProvider,此接口在前一篇文章中已经提到过了. /// <summary> /// 提供数据批量处理的方法. /// </summary> public interface IBatch
c#实现几种数据库的大数据批量插入

在之前只知道SqlServer支持数据批量插入,殊不知道Oracle.SQLite和MySQL也是支持的,不过Oracle需要使用Orace.DataAccess驱动,今天就贴出几种数据库的批量插入解决方法. 首先说一下,IProvider里有一个用于实现批量插入的插件服务接口IBatcherProvider,此接口在前一篇文章中已经提到过了. /// <summary> /// 提供数据批量处理的方法. /// </summary> public interface IBatch
针对Sqlserver大数据量插入速度慢或丢失数据的解决方法

我的设备上每秒将2000条数据插入数据库,2个设备总共4000条,当在程序里面直接用insert语句插入时,两个设备同时插入大概总共能插入约2800条左右,数据丢失约1200条左右,测试了很多方法,整理出了两种效果比较明显的解决办法: 方法一:使用Sql Server函数: 1.将数据组合成字串,使用函数将数据插入内存表,后将内存表数据复制到要插入的表. 2.组合成的字符换格式:'111|222|333|456,7894,7458|0|1|2014-01-01 12:15:16;1111|222
实操MySQL+PostgreSQL批量插入更新insertOrUpdate

目录一.百度百科 1.MySQL 2.PostgreSQL 3.PostgreSQL相对于MySQL的优势二.postgres中insertOrUpdate代码实例 1.创建user表 2.简单的方式实现 3.利用unnest函数实现 4.如果数据已存在,就就什么也不做三.相关重点函数简介 1.unnest(anyarray) 四.userMapper.xml写法五.MySQL中insertOrUpdate代码实例 1.建表语句 2.普通方式 3.ON DUPLICATE KEY UPD
c# 用Dictionary实现日志数据批量插入

背景最近再做一个需求,就是对站点的一些事件进行埋点,说白了就是记录用户的访问行为.那么这些数据怎么保存呢,人家点一下保存一下?显然不合适,肯定是需要批量保存,提高效率. 问题窥探首先,我想到的是Dictionary,对于C#中的Dictionary类相信大家都不陌生,这是一个Collection(集合)类型,可以通过Key/Value(键值对的形式来存放数据:该类最大的优点就是它查找元素的时间复杂度接近O(1),实际项目中常被用来做一些数据的本地缓存,提升整体效率.Dictionary是非线
巧用Dictionary实现日志数据批量插入

背景最近再做一个需求,就是对站点的一些事件进行埋点,说白了就是记录用户的访问行为.那么这些数据怎么保存呢,人家点一下保存一下?显然不合适,肯定是需要批量保存,提高效率. 问题窥探首先,我想到的是Dictionary,对于C#中的Dictionary类相信大家都不陌生,这是一个Collection(集合)类型,可以通过Key/Value(键值对的形式来存放数据:该类最大的优点就是它查找元素的时间复杂度接近O(1),实际项目中常被用来做一些数据的本地缓存,提升整体效率.Dictionary是非线
python消费kafka数据批量插入到es的方法

1.es的批量插入这是为了方便后期配置的更改,把配置信息放在logging.conf中用elasticsearch来实现批量操作,先安装依赖包,sudo pip install Elasticsearch2 from elasticsearch import Elasticsearch class ImportEsData: logging.config.fileConfig("logging.conf") logger = logging.getLogger("msg&
详解MyBatis直接执行SQL查询及数据批量插入

一.直接执行SQL查询: 1.mappers文件节选 <resultMap id="AcModelResultMap" type="com.izumi.InstanceModel"> <result column="instanceid" property="instanceID" jdbcType="VARCHAR" /> <result column="insta