在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

发现问题

需求很简单，大致就是要批量往数据库写数据，于是打算用Parallel并行的方式写入，希望能利用计算机多核特性加快程序执行速度。想的很美好，于是快速撸了类似下面的一串代码：

using (var db = new SmsEntities())
{
Parallel.For(0, 1000, (i) =>
{
db.MemberCard.Add(new MemberCard()
{
CardNo = "NO_" + i.ToString(),
Banlance = 0,
CreateTime = DateTime.Now,
Name = "Test_" + i.ToString(),
Status = 1
});
});
db.SaveChanges();
}

可意外的是竟然无情的报错了:

奇葩的是当我再次刷新的时候异常又不一样了，于是连着刷新好多次，总结出现过的异常有下面这些：

1、 未将对象引用设置到对象的实例。

2、 已添加了具有相同键的项。

3、 集合已修改；可能无法执行枚举操作。

4、 一个 EdmType 不能多次映射到 CLR 类。EdmType“SmsModel.MemberCard”映射了一次以上。

其中1和2是出现最多的，而且所有异常都是出现在Add的时候，各种吃瓜表情~没办法，接着一一断点调试，还是没找出原因，出于进度考虑，换成了另一种方案，也就是用DbSet的AddRange方法。先在Parallel中累加出一个实体List，然后一次性添加到DbSet中，代码演变为:

List<MemberCard> list = new List<MemberCard>();
using (var db = new SmsEntities())
{
var result = Parallel.For(0, 1000, (i) =>
{
list.Add(new MemberCard()
{
CardNo = "NO_" + i.ToString(),
Banlance = 0,
CreateTime = DateTime.Now,
Name = "Test_" + i.ToString(),
Status = 1
});
});
if (result.IsCompleted)
{
db.MemberCard.AddRange(list);
db.SaveChanges();
}
}

然后编译、测试，没问题，就先放着了。

分析问题

第二天到公司心里还在纠结这个问题，于是打开页面输入生成的数据量1000（真实项目中的循环次数是手动输入的），点按钮提交，嗯，又吃瓜般的异常了…：

心想昨天测试都好好的啊（其实昨天输入的是10，心虚脸...），没办法，上断点吧，一看吓一跳：

明明循环1000次，结果只有971条数据，而且里面还有为null的，经过多次调试发现这是一个随机现象，Count是随机的null也是随机的，有时出现有时没有，初步判断这是一个在多线程情况下引发的一个资源调配异常。So，上MSDN看了一下List的介绍，最后面“线程安全”写着：

一切貌似都清楚了，于是打算验证一下结果，加上了锁，测试结果为：

list里面也没有再出现null了，确认是因为多线程安全引起的异常。于是想起昨天那个问题是否也是同样的问题，再上MSDN搜了一下DbContext类和DbSet类，都是这样说的：

接着就给dbcontext上了锁，测试，这次总算如我所料，完美运行。但是不解的是最初那几个异常是如何产生的，List中虽然数量不够也存在为null的对象，但是并没有直接爆出异常。现在只知道是线程问题，再详细的也搞不清楚，有知道的大神还麻烦指点一下。

寻找解决方案并验证结论

也想过用Partitioner分区来做，但是仔细一想，虽然分区内部是单线程，但是区与区之间还是多线程的，如果分的太细也就失去了Parallel的意义，只得另寻出路。还好Framework为我们也提供了一些线程安全的泛型集合（比如ConcurrentBag、ConcurrentQueue等），不过其本质还是用了锁，于是就综合做了一下单线程list、多线程list加锁、多线程ConcurrentBag、多线程ConcurrentQueue的性能对比，结果如下：

循环1000次时：

循环10000次时：

循环100000次时：

得出结论就是，在执行次数超大时用线程安全类型会更慢，在执行次数较少时线程安全类型也没什么优势。

解决问题

最后在经过仔细测试验证和考虑项目实际需求（几乎不可能一次10000）后，去繁从简，回归原始，用最简单直白的写法单线程循环来完成。虽然一番折腾下来还是回到最初，但是这过程中让我发现了意料之外问题，然后找到了原因，然后测试验证，最终得到了最优解决方案。还是那句话，填完坑，你就比之前更强大了！

赞 (0)

相关推荐

  • C#使用Parallel类进行多线程编程实例

    本文实例讲述了C#使用 Parallel 类进行多线程编程的方法.分享给大家供大家参考.具体如下: using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading; using System.Threading.Tasks; using System.Diagnostics; using System.Runtime.InteropServic

  • 在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

    在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

    发现问题 需求很简单,大致就是要批量往数据库写数据,于是打算用Parallel并行的方式写入,希望能利用计算机多核特性加快程序执行速度.想的很美好,于是快速撸了类似下面的一串代码: using (var db = new SmsEntities()) { Parallel.For(0, 1000, (i) => { db.MemberCard.Add(new MemberCard() { CardNo = "NO_" + i.ToString(), Banlance = 0, C

  • JS中artdialog弹出框控件之提交表单思路详解

    artDialog是一个基于javascript编写的对话框组件,它拥有精致的界面与友好的接口. 前言: 自适应内容 artDialog的特殊UI框架能够适应内容变化,甚至连外部程序动态插入的内容它仍然能自适应,因此你不必去考虑消息内容尺寸使用它.它的消息容器甚至能够根据宽度让文本居中或居左对齐--这一切全是XHTML+CSS原生实现. 完善的接口 它的接口完善,可以轻易与外部程序配合使用.如异步写入消息.控制位置.尺寸.显示与隐藏.关闭等. 细致的体验 如果不是在输入状态,它支持Esc快捷键关

  • setcookie中Cannot modify header information-headers already sent by错误的解决方法详解

    复制代码 代码如下: <?php   setcookie("username","bu",time()+3600);   echo "aaaaa";?> 运行有警告Warning: Cannot modify header information - headers already sent by  下面是别人建议 方法一:在PHP里Cookie的使用是有一些限制的.1.使用setcookie必须在<html>标签之前2.

  • c++11 类中关于default、explict、implicit、noexcept、final的详解

    default default是c++11的标准,它的作用是告诉编译器声明一个无参的默认构造函数. 最初的时候我们声明类是这样的: class test{ public: int add(){} }; 由于我们没有给默认构造函数,c++编译器隐式的帮我们增加了一个默认的无参构造函数,注意这一点取决于编译,有的编译器不会增加,但大多数都会,如GCC.MSVC. 但是一旦我们声明了一个有参的构造函数: class test{ public: test(int a){} int add(){} };

  • 关于javascript中限定时间内防止按钮重复点击的思路详解

    关于javascript中限定时间内防止按钮重复点击的思路详解

    前面的话 有一天心血来潮,1分钟内重复点击了多次博客园首页的刷新博文列表的刷新按钮.果不其然,ip当时就被禁用了.后来,重启自己的路由器,重新获取ip才可以访问博客园主页.那么,设置一个限定时间内(比如1秒)防止按钮被重复点击的方法会不会更好一点呢? 思路一 最直接的思路可能就是点击按钮后,按钮的事件绑定函数解绑,1s后重新绑定函数 <button id="btn">0</button> <script> btn.onclick = function

  • Python中使用pypdf2合并、分割、加密pdf文件的代码详解

    朋友需要对一个pdf文件进行分割,在网上查了查发现这个pypdf2可以完成这些操作,所以就研究了下这个库,并做一些记录.首先pypdf2是python3版本的,在之前的2版本有一个对应pypdf库. 可以使用pip直接安装: pip install pypdf2 官方文档: pythonhosted.org/PyPDF2/ 里面主要有这几个类: PdfFileReader . 该类主要提供了对pdf文件的读操作,其构造方法为: PdfFileReader(stream, strict=True,

  • Vue中设置登录验证拦截功能的思路详解

    目录 一.解决思路 二.让浏览器存储服务器返回的token 三.在请求中设置访问权限 四.封装登录验证 Hello,你好呀,我是灰小猿,一个超会写bug的程序猿! 今天在做vue和springboot交互的一个项目的时候,想要基于前端实现一些只有登录验证之后才能访问某些页面的操作,所以在这里总结一下实现该功能的一个解决方案, 首先说一下我是如何判断是否已经登录的, 一.解决思路 由于在我的springboot后台采用的shiro+Jwt安全框架,所以会在登录之后反馈给前端一个token,并且前端

  • Linux ftp 命令行中下载文件get与上传文件put的命令应用详解

    介绍:从本地以用户anok登录的机器192.168.0.16上通过ftp远程登录到192.168.0.6的ftp服务器上,登录用户名是peo.以下为使用该连接做的实验. 查看远程ftp服务器上用户peo相应目录下的文件所使用的命令为:ls,登录到ftp后在ftp命令提示符下查看本地机器用户anok相应目录下文件的命令是:!ls.查询ftp命令可在提示符下输入:?,然后回车. 1.从远程ftp服务器下载文件的命令格式: get  远程ftp服务器上当前目录下要下载的文件名  [下载到本地机器上当前

  • Java中静态类型检查是如何进行的实例思路详解

    以下内容来自维基百科,关于静态类型检查和动态类型检查的解释: •静态类型检查:基于程序的源代码来验证类型安全的过程: •动态类型检查:在程序运行期间验证类型安全的过程: Java使用静态类型检查在编译期间分析程序,确保没有类型错误.基本的思想是不要让类型错误在运行期间发生. 以下代码是一个例子,理解了他,你会更好的理解Java静态类型检查是如何工作的. 代码示例 假定我们有如下类,A和B,B继承A. class A { A me() { return this; } public void do

  • python正则表达式从字符串中提取数字的思路详解

    python从字符串中提取数字 使用正则表达式,用法如下: ## 总结 ## ^ 匹配字符串的开始. ## $ 匹配字符串的结尾. ## \b 匹配一个单词的边界. ## \d 匹配任意数字. ## \D 匹配任意非数字字符. ## x? 匹配一个可选的 x 字符 (换言之,它匹配 1 次或者 0 次 x 字符). ## x* 匹配0次或者多次 x 字符. ## x+ 匹配1次或者多次 x 字符. ## x{n,m} 匹配 x 字符,至少 n 次,至多 m 次. ## (a|b|c) 要么匹配

随机推荐