C# 并行和多线程编程——并行集合和PLinq

  在上一篇博客,我们学习了Parallel的用法。并行编程,本质上是多线程的编程,那么当多个线程同时处理一个任务的时候,必然会出现资源访问问题,及所谓的线程安全。就像现实中,我们开发项目,就是一个并行的例子,把不同的模块分给不同的人,同时进行,才能在短的时间内做出大的项目。如果大家都只管自己写自己的代码,写完后发现合并不到一起,那么这种并行就没有了意义。
  并行算法的出现,随之而产生的也就有了并行集合,及线程安全集合;微软向的也算周到,没有忘记linq,也推出了linq的并行版本,plinq - Parallel Linq.

一、并行集合 —— 线程安全集合

  并行计算使用的多个线程同时进行计算,所以要控制每个线程对资源的访问,我们先来看一下平时常用的List<T>集合,在并行计算下的表现,新建一个控制台应用程序,添加一个PEnumerable类(当然你也直接写到main方法里面测试,建议分开写),写如下方法:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Collections.Concurrent;

namespace ThreadPool
{
 public class PEnumerable
 {
  public static void ListWithParallel()
  {
   List<int> list = new List<int>();
   Parallel.For(0, 10000, item =>
   {
   list.Add(item);
   });
   Console.WriteLine("List's count is {0}",list.Count());
  }
 }
}

点击F5运行,得到如下结果:

看到结果中显示的5851,但是我们循环的是10000次啊!怎么结果不对呢?这是因为List<T>是非线程安全集合,意思就是说所有的线程都可以修改他的值。

下面我们来看下并行集合 —— 线程安全集合,在System.Collections.Concurrent命名空间中,首先来看一下ConcurrentBag<T>泛型集合,其用法和List<T>类似,先来写个方法测试一下:

public static void ConcurrentBagWithPallel()
  {
   ConcurrentBag<int> list = new ConcurrentBag<int>();
   Parallel.For(0, 10000, item =>
   {
   list.Add(item);
   });
   Console.WriteLine("ConcurrentBag's count is {0}", list.Count());
  }

同时执行两个方法,结果如下:

可以看到,ConcurrentBag集合的结果是正确的。下面我们修改代码看看ConcurrentBag里面的数据到底是怎么存放的,修改代码如下:

public static void ConcurrentBagWithPallel()
  {
   ConcurrentBag<int> list = new ConcurrentBag<int>();
   Parallel.For(0, 10000, item =>
   {
   list.Add(item);
   });
   Console.WriteLine("ConcurrentBag's count is {0}", list.Count());
   int n = 0;
   foreach(int i in list)
   {
   if (n > 10)
    break;
   n++;
   Console.WriteLine("Item[{0}] = {1}",n,i);
   }
   Console.WriteLine("ConcurrentBag's max item is {0}", list.Max());

  }

先来看一下运行结果:

可以看到,ConcurrentBag中的数据并不是按照顺序排列的,顺序是乱的,随机的。我们平时使用的Max、First、Last等linq方法都还有。其时分类似Enumerable的用法,大家可以参考微软的MSDN了解它的具体用法。

关于线程安全的集合还有很多,和我们平时用的集合都差不多,比如类似Dictionary的ConcurrentDictionary,还有ConcurrentStack,ConcurrentQueue等。

二、Parallel Linq的用法及性能

1、AsParallel

前面了解了并行的For和foreach,今天就来看一下Linq的并行版本是怎么样吧?为了测试,我们添加一个Custom类,代码如下:

public class Custom
 {
  public string Name { get; set; }
  public int Age { get; set; }
  public string Address { get; set; }
 }

写如下测试代码:

public static void TestPLinq()
  {
   Stopwatch sw = new Stopwatch();
   List<Custom> customs = new List<Custom>();
   for (int i = 0; i < 2000000; i++)
   {
   customs.Add(new Custom() { Name = "Jack", Age = 21, Address = "NewYork" });
   customs.Add(new Custom() { Name = "Jime", Age = 26, Address = "China" });
   customs.Add(new Custom() { Name = "Tina", Age = 29, Address = "ShangHai" });
   customs.Add(new Custom() { Name = "Luo", Age = 30, Address = "Beijing" });
   customs.Add(new Custom() { Name = "Wang", Age = 60, Address = "Guangdong" });
   customs.Add(new Custom() { Name = "Feng", Age = 25, Address = "YunNan" });
   }

   sw.Start();
   var result = customs.Where<Custom>(c => c.Age > 26).ToList();
   sw.Stop();
   Console.WriteLine("Linq time is {0}.",sw.ElapsedMilliseconds);

   sw.Restart();
   sw.Start();
   var result2 = customs.AsParallel().Where<Custom>(c => c.Age > 26).ToList();
   sw.Stop();
   Console.WriteLine("Parallel Linq time is {0}.", sw.ElapsedMilliseconds);
  }

其实也就是加了一个AsParallel()方法,下面来看下运行结果:

时间相差了一倍,不过有时候不会相差这么多,要看系统当前的资源利用率。大家可以多测试一下。

其实,AsParallel()这个方法可以应用与任何集合,包括List<T>集合,从而提高查询速度和系统性能。

2、GroupBy方法

在项目中,我们经常要对数据做处理,比如分组统计,我们知道在linq中也可以实现,今天来学习一下新的ToLookup方法,写一个测试方法,代码如下:

public static void OrderByTest()
  {
   Stopwatch stopWatch = new Stopwatch();
   List<Custom> customs = new List<Custom>();
   for (int i = 0; i < 2000000; i++)
   {
   customs.Add(new Custom() { Name = "Jack", Age = 21, Address = "NewYork" });
   customs.Add(new Custom() { Name = "Jime", Age = 26, Address = "China" });
   customs.Add(new Custom() { Name = "Tina", Age = 29, Address = "ShangHai" });
   customs.Add(new Custom() { Name = "Luo", Age = 30, Address = "Beijing" });
   customs.Add(new Custom() { Name = "Wang", Age = 60, Address = "Guangdong" });
   customs.Add(new Custom() { Name = "Feng", Age = 25, Address = "YunNan" });
   }

   stopWatch.Restart();
   var groupByAge = customs.GroupBy(item => item.Age).ToList();
   foreach (var item in groupByAge)
   {
   Console.WriteLine("Age={0},count = {1}", item.Key, item.Count());
   }
   stopWatch.Stop();

   Console.WriteLine("Linq group by time is: " + stopWatch.ElapsedMilliseconds);

   stopWatch.Restart();
   var lookupList = customs.ToLookup(i => i.Age);
   foreach (var item in lookupList)
   {
   Console.WriteLine("LookUP:Age={0},count = {1}", item.Key, item.Count());
   }
   stopWatch.Stop();
   Console.WriteLine("LookUp group by time is: " + stopWatch.ElapsedMilliseconds);
  }

运行结果如下:

ToLookup方法是将集合转换成一个只读集合,所以在大数据量分组时性能优于List.大家可以查阅相关资料,这里由于篇幅问题,不再细说。

以上就是C# 并行和多线程编程——并行集合和PLinq的详细内容,更多关于C# 并行和多线程编程的资料请关注我们其它相关文章!

(0)

相关推荐

  • C#多线程编程详解

    C#提供了丰富的多线程操作,为编程带来了极大的便利. 一.使用线程的理由 1.可以使用线程将代码同其他代码隔离,提高应用程序的可靠性. 2.可以使用线程来简化编码. 3.可以使用线程来实现并发执行. 二.基本知识 1.进程与线程:进程作为操作系统执行程序的基本单位,拥有应用程序的资源,进程包含线程,进程的资源被线程共享,线程不拥有资源. 2.前台线程和后台线程:通过Thread类新建线程默认为前台线程.当所有前台线程关闭时,所有的后台线程也会被直接终止,不会抛出异常. 3.挂起(Suspend)

  • 详解C#多线程编程之进程与线程

    一. 进程 简单来说,进程是对资源的抽象,是资源的容器,在传统操作系统中,进程是资源分配的基本单位,而且是执行的基本单位,进程支持并发执行,因为每个进程有独立的数据,独立的堆栈空间.一个程序想要并发执行,开多个进程即可. Q1:在单核下,进程之间如何同时执行? 首先要区分两个概念--并发和并行 并发:并发是指在一段微小的时间段中,有多个程序代码段被CPU执行,宏观上表现出来就是多个程序能"同时"执行. 并行:并行是指在一个时间点,有多个程序段代码被CPU执行,它才是真正的同时执行. 所

  • C# 多线程编程技术基础知识入门

    什么是进程? 当一个程序开始运行时,它就是一个进程,进程包括运行中的程序和程序所使用到的内存和系统资源.而一个进程又是由多个线程所组成的. 什么是线程? 线程是程序中的一个执行流,每个线程都有自己的专有寄存器(栈指针.程序计数器等),但代码区是共享的,即不同的线程可以执行同样的函数. 什么是多线程? 多线程是指程序中包含多个执行流,即在一个程序中可以同时运行多个不同的线程来执行不同的任务,也就是说允许单个程序创建多个并行执行的线程来完成各自的任务. 多线程是指程序中包含多个执行流,即在一个程序中

  • c#并行任务多种优化方案分享(异步委托)

    遇到一个多线程任务优化的问题,现在解决了,分享如下. 假设有四个任务: 任务1:登陆验证(CheckUser) 任务2:验证成功后从Web服务获取数据(GetDataFromWeb) 任务3:验证成功后从数据库获取数据(GetDatFromDb) 任务4:使用2.3的数据执行一个方法 (StartProcess) 一个比较笨的方法(本人最开始的方法,记为方法1)是直接开启一个线程,按照顺序依次执行四个任务: 复制代码 代码如下: new Thread(delegate              

  • 详解c# 并行计算

    并行计算部分 沿用微软的写法,System.Threading.Tasks.::.Parallel类,提供对并行循环和区域的支持. 我们会用到的方法有For,ForEach,Invoke. 一.简单使用 首先我们初始化一个List用于循环,这里我们循环10次.(后面的代码都会按这个标准进行循环)             Program.Data = new List<int>();             for (int i = 0; i < 10; i++)            

  • c# 并行和多线程编程——认识Parallel

    随着多核时代的到来,并行开发越来越展示出它的强大威力!使用并行程序,充分的利用系统资源,提高程序的性能.在.net 4.0中,微软给我们提供了一个新的命名空间:System.Threading.Tasks.这里面有很多关于并行开发的东西,今天第一篇就介绍下最基础,最简单的--认识和使用Parallel. 一. Parallel的使用 在Parallel下面有三个常用的方法invoke,For和ForEach. 1.Parallel.Invoke 这是最简单,最简洁的将串行的代码并行化. 在这里先

  • c#并行编程示例分享

    ParallelTest.cs 复制代码 代码如下: using System;using System.Collections.Generic;using System.Linq;using System.Threading;using System.Threading.Tasks; namespace ParallelTest{    class ParallelTest    {        private static int Timed_Message(String arg_Mess

  • 深入了解c#多线程编程

    一.使用线程的理由 1.可以使用线程将代码同其他代码隔离,提高应用程序的可靠性. 2.可以使用线程来简化编码. 3.可以使用线程来实现并发执行. 二.基本知识 1.进程与线程:进程作为操作系统执行程序的基本单位,拥有应用程序的资源,进程包含线程,进程的资源被线程共享,线程不拥有资源. 2.前台线程和后台线程:通过Thread类新建线程默认为前台线程.当所有前台线程关闭时,所有的后台线程也会被直接终止,不会抛出异常. 3.挂起(Suspend)和唤醒(Resume):由于线程的执行顺序和程序的执行

  • C# 并行和多线程编程——并行集合和PLinq

    在上一篇博客,我们学习了Parallel的用法.并行编程,本质上是多线程的编程,那么当多个线程同时处理一个任务的时候,必然会出现资源访问问题,及所谓的线程安全.就像现实中,我们开发项目,就是一个并行的例子,把不同的模块分给不同的人,同时进行,才能在短的时间内做出大的项目.如果大家都只管自己写自己的代码,写完后发现合并不到一起,那么这种并行就没有了意义. 并行算法的出现,随之而产生的也就有了并行集合,及线程安全集合:微软向的也算周到,没有忘记linq,也推出了linq的并行版本,plinq - P

  • C# 并行和多线程编程——Task进阶知识

    一.Task的嵌套 Task中还可以再嵌套Task,Thread中能不能这样做,我只能说我是没这样写过.Task中的嵌套,我感觉其实也可以分开来写,不过嵌套起来会方便管理一点.Task中的嵌套分为两种,关联嵌套和非关联嵌套,就是说内层的Task和外层的Task是否有联系,下面我们编写代码先来看一下非关联嵌套,及内层Task和外层Task没有任何关系,还是在控制台程序下面,代码如下: static void Main(string[] args) { var pTask = Task.Factor

  • C# 并行和多线程编程——认识和使用Task

    对于多线程,我们经常使用的是Thread.在我们了解Task之前,如果我们要使用多核的功能可能就会自己来开线程,然而这种线程模型在.net 4.0之后被一种称为基于"任务的编程模型"所冲击,因为task会比thread具有更小的性能开销,不过大家肯定会有疑惑,任务和线程到底有什么区别呢? 任务和线程的区别: 1.任务是架构在线程之上的,也就是说任务最终还是要抛给线程去执行. 2.任务跟线程不是一对一的关系,比如开10个任务并不是说会开10个线程,这一点任务有点类似线程池,但是任务相比线

  • 异步/多线程/任务/并行编程之一:如何选择合适的多线程模型?

    异步.多线程.任务.并行编程之一:选择合适的多线程模型 本篇概述: @FCL4.0中已经存在的线程模型,以及它们之间异同点: @多线程编程模型的选择. 1:异步.多线程.任务.并行的本质 这四个概念对应在CLR中的本质,本质都是多线程. 异步,简单的讲就是BeginInvoke.EndInvoke模式,它在CLR内部线程池进行管理: 多线程,体现在C#中,可以由类型Thread发起.也可以由ThreadPool发起.前者不受CLR线程池管理,后者则是.FCL团队为了各种编程模型的方便,还另外提供

  • IOS多线程编程的3种实现方法

    前言 在多线程简介中,我已经说明过了,为了提高界面的流畅度以及用户体验.我们务必要把耗时的操作放到别的线程中去执行,千万不要阻塞主线程. iOS中有以下3种多线程编程方法: NSThread Grand Centeral Dispatch(GCD) NSOperation和NSOperationQueue 1.NSThread 这是最轻量级的多线程的方法,使用起来最直观的多线程编程方法.但是因为需要自己管理线程的生命周期,线程同步.经常使用NSThread进行调试,在实际项目中不推荐使用. //

  • 详解Python中的多线程编程

    一.简介 多线程编程技术可以实现代码并行性,优化处理能力,同时功能的更小划分可以使代码的可重用性更好.Python中threading和Queue模块可以用来实现多线程编程. 二.详解 1.线程和进程        进程(有时被称为重量级进程)是程序的一次执行.每个进程都有自己的地址空间.内存.数据栈以及其它记录其运行轨迹的辅助数据.操作系统管理在其上运行的所有进程,并为这些进程公平地分配时间.进程也可以通过fork和spawn操作来完成其它的任务,不过各个进程有自己的内存空间.数据栈等,所以只

  • IOS多线程编程NSThread的使用方法

    IOS多线程编程NSThread的使用方法 NSThread是多线程的一种,有两种方法创建子线程 (1)优点:NSThread 比GCD.NSOperation都轻量级 (2)缺点:需要自己管理线程的生命周期,线程同步.线程同步对数据的加锁会有一定的系统开销 第一种是隐藏创建,有以下几种方式: (1)多用于串行:- (id)performSelector:(SEL)aSelector withObject:(id)object; (2)后台执行,多用于并行:- (void)performSele

  • nodejs中使用多线程编程的方法实例

    在以前的博文别说不可能,nodejs中实现sleep中,我向大家介绍了nodejs addon的用法.今天的主题还是addon,继续挖掘c/c++的能力,弥补nodejs的弱点. 我曾多次提到过nodejs的性能问题.其实就语言本身而言,nodejs的性能还是很高的,虽然不及大多部静态语言,但差距也并不大:相对其他动态语言而言,速度优势非常明显.但为什么我们常常说nodejs不能胜任CPU密集型场景呢?因为由于其单线程特性,对于CPU密集型场景,它并不能充分利用CPU.计算机科学中有一个著名的A

随机推荐