.NET多种数据库大数据批量插入、更新（支持SqlServer、MySql、PgSql和Oracle）

功能介绍 (需要版本5.0.45)

大数据操作ORM性能瓶颈在实体转换上面，并且不能使用常规的Sql去实现

当列越多转换越慢，SqlSugar将转换性能做到极致，并且采用数据库最佳API

操作数据库达到极限性能

功能用法

BulkCopy性能远强于现有市场的 ORM框架，比 EFCore Efcore.Bulkextension快30%

BulkUpdate吊打现有所有框架是EFCoreEfcore.Bulkextension 2-3倍之快

//插入 100万 10秒不到
db.Fastest<RealmAuctionDatum>().BulkCopy(GetList());//性能 比现有任何Bulkcopy都要快30%

//更新
db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList());//更新 吊打所有框架N倍，30列100万8秒更新完
db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList(),new string[]{"id"},new string[]{"name","time"})//无主键用法

//表设置别名
db.Fastest<RealmAuctionDatum>().AS("tableName").BulkCopy(GetList())

数据库支持

数据库 API 支持自增
SqlSever 全支持 是

MySql

连接字符串要加AllowLoadLocalInfile=true

 全支持 是
PgSql 全支持 否
Oracle BulkCopy 否

性能测试

插入方案SqlSugar VS EFCoreEFCore.BulkExtensions

10万条数据 30列 ，可以看出EFCore.BulkExtensions在第一插入性能非常慢，正常情况下大数据插入也就比第一次

在更新方面SqlSugar也利用了bulkCopy方式进行更新，这一方面.NET 除了EFCore.BulkExtensions

并没有发现有相关的产品(收费除外)，在更新操作方案 SqlSugar基本上是独一无二的

EFCore.BulkExtensions缺点只支持 SqlServer并且性能不如SqlSugar

使用疑问

  • 比如Sqlite ... 还不支持怎么办？

答:Sqlite普通插入加上事务就已经是市场上优秀水平了 （后续争取在技术上有突破支持SQLITE）

db.Insertable(insertObj).ExecuteReturnIdentity();//普通插入并不慢 ，列不多情况1秒可以插入1万

  • 什么情况用db.Fastest

答: db.Fastest主要是用于大数据插入、更新处理，如果1000条以下就没有必要使用了，毕竟支持的API没有普通插入丰富，在小数据插入上也并没有太多优势，db.Fastest性能主要强大1000以上的数据处理

老版本

老版本可以这么用，性能不如db.Fastest

//(3)、blukCopy插入
//只适合1万以上超大数据插入或者上面数据插入慢情况，小数据插入性能不行，不是所有库都支持

db.Insertable(List<实体>).UseSqlServer().ExecuteBulkCopy()

db.Insertable(List<实体>).UseMySql().ExecuteBulkCopy()//高版本Mysql.data驱动，连接字符串要加AllowLoadLocalInfile=true

db.Insertable(List<实体>).UseOracle().ExecuteBulkCopy()//5.0.3.8-Preview

源码下载：

https://github.com/donet5/SqlSugar

sqlsugar已经持续更新7年之久，也越来越完善 ，如果说EF或者其它ORM不更新了，那么多一个开源就是多一个选择,

谢谢支持 ，随着大数据库时代的到来，用户对数据处理也要求越来越高，一款海量数据的读、写、更新的框架必不可少

到此这篇关于.NET多种数据库大数据批量插入、更新（支持SqlServer、MySql、PgSql和Oracle）的文章就介绍到这了。希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Asp.Net使用Bulk实现批量插入数据

    本文实例讲述了Asp.Net使用Bulk实现批量插入数据的方法,分享给大家供大家参考之用.具体方法如下: 主要功能代码如下: using System; using System.Collections.Generic; using System.Linq; using System.Web; using System.Diagnostics; using System.Data; using System.Data.SqlClient; using System.Configuration;

  • sql server中批量插入与更新两种解决方案分享(asp.net)

    若只是需要大批量插入数据使用bcp是最好的,若同时需要插入.删除.更新建议使用SqlDataAdapter我测试过有很高的效率,一般情况下这两种就满足需求了 bcp方式 复制代码 代码如下: /// <summary> /// 大批量插入数据(2000每批次) /// 已采用整体事物控制 /// </summary> /// <param name="connString">数据库链接字符串</param> /// <param n

  • C#/.Net 中快速批量给SQLite数据库插入测试数据

    使用transaction: var stopwatch = new Stopwatch(); using (var cmd = new SQLiteCommand(db_con)) using (var transaction = db_con.BeginTransaction()) { stopwatch.Reset(); stopwatch.Start(); foreach (var item in sorted) { sql = string.Format("insert into db

  • C#.NET中如何批量插入大量数据到数据库中

    在WEB项目开发过程中有时会碰到批量插入数据到数或者是将EXCEL文件据入到数据库中.为了方便实现可以先将EXCEL导入到GRIDVIEW中然后一次批量插入.实现代码如下: 前台代码 <asp:GridView ID="dgBom" runat="server" AutoGenerateColumns="false" CellPadding="1" CellSpacing="2"> <He

  • .NET多种数据库大数据批量插入、更新（支持SqlServer、MySql、PgSql和Oracle）

    .NET多种数据库大数据批量插入、更新（支持SqlServer、MySql、PgSql和Oracle）

    功能介绍 (需要版本5.0.45) 大数据操作ORM性能瓶颈在实体转换上面,并且不能使用常规的Sql去实现 当列越多转换越慢,SqlSugar将转换性能做到极致,并且采用数据库最佳API 操作数据库达到极限性能 功能用法 BulkCopy性能远强于现有市场的 ORM框架,比 EFCore Efcore.Bulkextension快30% BulkUpdate吊打现有所有框架是EFCoreEfcore.Bulkextension 2-3倍之快 //插入 100万 10秒不到 db.Fastest<

  • .NET多种数据库大数据批量插入、更新(支持SqlServer、MySql、PgSql和Oracle)

    .NET多种数据库大数据批量插入、更新(支持SqlServer、MySql、PgSql和Oracle)

    目录 功能介绍(需要版本5.0.45) 功能用法 数据库支持 性能测试 使用疑问 老版本 源码下载: 功能介绍 (需要版本5.0.45) 大数据操作ORM性能瓶颈在实体转换上面,并且不能使用常规的Sql去实现 当列越多转换越慢,SqlSugar将转换性能做到极致,并且采用数据库最佳API 操作数据库达到极限性能 功能用法 BulkCopy性能远强于现有市场的 ORM框架,比 EFCore Efcore.Bulkextension快30% BulkUpdate吊打现有所有框架是EFCoreEfco

  • c#几种数据库的大数据批量插入（SqlServer、Oracle、SQLite和MySql）

    在之前只知道SqlServer支持数据批量插入,殊不知道Oracle.SQLite和MySql也是支持的,不过Oracle需要使用Orace.DataAccess驱动,今天就贴出几种数据库的批量插入解决方法. 首先说一下,IProvider里有一个用于实现批量插入的插件服务接口IBatcherProvider,此接口在前一篇文章中已经提到过了. /// <summary> /// 提供数据批量处理的方法. /// </summary> public interface IBatch

  • c#实现几种数据库的大数据批量插入

    在之前只知道SqlServer支持数据批量插入,殊不知道Oracle.SQLite和MySQL也是支持的,不过Oracle需要使用Orace.DataAccess驱动,今天就贴出几种数据库的批量插入解决方法. 首先说一下,IProvider里有一个用于实现批量插入的插件服务接口IBatcherProvider,此接口在前一篇文章中已经提到过了. /// <summary> /// 提供数据批量处理的方法. /// </summary> public interface IBatch

  • 针对Sqlserver大数据量插入速度慢或丢失数据的解决方法

    我的设备上每秒将2000条数据插入数据库,2个设备总共4000条,当在程序里面直接用insert语句插入时,两个设备同时插入大概总共能插入约2800条左右,数据丢失约1200条左右,测试了很多方法,整理出了两种效果比较明显的解决办法: 方法一:使用Sql Server函数: 1.将数据组合成字串,使用函数将数据插入内存表,后将内存表数据复制到要插入的表. 2.组合成的字符换格式:'111|222|333|456,7894,7458|0|1|2014-01-01 12:15:16;1111|222

  • 实操MySQL+PostgreSQL批量插入更新insertOrUpdate

    目录 一.百度百科 1.MySQL 2.PostgreSQL 3.PostgreSQL相对于MySQL的优势 二.postgres中insertOrUpdate代码实例 1.创建user表 2.简单的方式实现 3.利用unnest函数实现 4.如果数据已存在,就就什么也不做 三.相关重点函数简介 1.unnest(anyarray) 四.userMapper.xml写法 五.MySQL中insertOrUpdate代码实例 1.建表语句 2.普通方式 3.ON DUPLICATE KEY UPD

  • c# 用Dictionary实现日志数据批量插入

    背景 最近再做一个需求,就是对站点的一些事件进行埋点,说白了就是记录用户的访问行为.那么这些数据怎么保存呢,人家点一下保存一下?显然不合适,肯定是需要批量保存,提高效率. 问题窥探 首先,我想到的是Dictionary,对于C#中的Dictionary类相信大家都不陌生,这是一个Collection(集合)类型,可以通过Key/Value(键值对的形式来存放数据:该类最大的优点就是它查找元素的时间复杂度接近O(1),实际项目中常被用来做一些数据的本地缓存,提升整体效率.Dictionary是非线

  • 巧用Dictionary实现日志数据批量插入

    背景 最近再做一个需求,就是对站点的一些事件进行埋点,说白了就是记录用户的访问行为.那么这些数据怎么保存呢,人家点一下保存一下?显然不合适,肯定是需要批量保存,提高效率. 问题窥探 首先,我想到的是Dictionary,对于C#中的Dictionary类相信大家都不陌生,这是一个Collection(集合)类型,可以通过Key/Value(键值对的形式来存放数据:该类最大的优点就是它查找元素的时间复杂度接近O(1),实际项目中常被用来做一些数据的本地缓存,提升整体效率.Dictionary是非线

  • python消费kafka数据批量插入到es的方法

    1.es的批量插入 这是为了方便后期配置的更改,把配置信息放在logging.conf中 用elasticsearch来实现批量操作,先安装依赖包,sudo pip install Elasticsearch2 from elasticsearch import Elasticsearch class ImportEsData: logging.config.fileConfig("logging.conf") logger = logging.getLogger("msg&

  • 详解MyBatis直接执行SQL查询及数据批量插入

    一.直接执行SQL查询: 1.mappers文件节选 <resultMap id="AcModelResultMap" type="com.izumi.InstanceModel"> <result column="instanceid" property="instanceID" jdbcType="VARCHAR" /> <result column="insta

随机推荐