c# 多线程处理多个数据的方法

概述

多线程(multithreading),是指从软件或者硬件上实现多个线程并发执行的技术。具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个线程,进而提升整体处理性能。具有这种能力的系统包括对称多处理机、多核心处理器以及芯片级多处理或同时多线程处理器。在一个程序中,这些独立运行的程序片段叫作“线程”(Thread),利用它编程的概念就叫作“多线程处理”。

队列(Queue)代表了一个先进先出的对象集合。当您需要对各项进行先进先出的访问时,则使用队列。当您在列表中添加一项,称为入队,当您从列表中移除一项时,称为出队。

比如平常我们在处理定时任务的时候,假设就一台机器,我们不可能单线程一条一条数据的去跑,这时候就需要提高机器资源的利用率。

下面我们来介绍下,如何实现多线程+队列以提高并发处理能力。

代码实现

1、定义线程数threadNum和队列queues

  /// <summary>
    /// 线程总数
    /// </summary>
    private int threadNum = 4;

    /// <summary>
    /// 总数
    /// </summary>
    private int totalCount = 0;

    /// <summary>
    /// 已处理
    /// </summary>
    private int index = 0;

    /// <summary>
    /// 队列
    /// </summary>
    private ConcurrentQueue<AssetRepayment> queues = new ConcurrentQueue<AssetRepayment>();

2、定义线程列表,往线程添加数据

  public void SubDeTransaction()
    {
      var list = new List<AssetRepayment>();
      for (int i = 0; i < 1000; i++)
      {
        list.Add(new AssetRepayment() { Title = i.ToString() + "---" + Guid.NewGuid().ToString() });
      }

      if (list == null || list.Count() == 0)
      {
        Console.WriteLine("没有可执行的数据");
        return;
      }
      totalCount = list.Count;
      Console.WriteLine("可执行的数据:" + list.Count() + "条");
      foreach (var item in list)
      {
        queues.Enqueue(item);
      }
      List<Task> tasks = new List<Task>();
      for (int i = 0; i < threadNum; i++)
      {
        var task = Task.Run(() =>
        {
          Process();
        });
        tasks.Add(task);
      }
      var taskList = Task.Factory.ContinueWhenAll(tasks.ToArray(), (ts) =>
      {
      });
      taskList.Wait();
    }

3、对线程数进行限制 for (int i = 0; i < threadNum; i++)

  var taskList = Task.Factory.ContinueWhenAll(tasks.ToArray(), (ts) =>
      {
      });
      taskList.Wait();

4、从队列取出数据进行业务处理

  private void Process()
    {
      while (true)
      {
        var currentIndex = Interlocked.Increment(ref index);
        AssetRepayment repayId = null;
        var isExit = queues.TryDequeue(out repayId);
        if (!isExit)
        {
          break;
        }
        try
        {
          Console.WriteLine(repayId.Title);

          Console.WriteLine(string.Format(" 共{0}条 当前第{1}条", totalCount, currentIndex));
        }
        catch (Exception ex)
        {
          Console.WriteLine(ex);
        }
      }
    }

代码地址

https://gitee.com/conanOpenSource_admin/Example

以上就是c# 多线程处理多个数据的方法的详细内容,更多关于c# 多线程处理多个数据的资料请关注我们其它相关文章!

(0)

相关推荐

  • c# 并行和多线程编程——认识Parallel

    随着多核时代的到来,并行开发越来越展示出它的强大威力!使用并行程序,充分的利用系统资源,提高程序的性能.在.net 4.0中,微软给我们提供了一个新的命名空间:System.Threading.Tasks.这里面有很多关于并行开发的东西,今天第一篇就介绍下最基础,最简单的--认识和使用Parallel. 一. Parallel的使用 在Parallel下面有三个常用的方法invoke,For和ForEach. 1.Parallel.Invoke 这是最简单,最简洁的将串行的代码并行化. 在这里先

  • C#多线程等待所有子线程结束的示例

    在使用多线程过程中,可能会遇到在一些情况下必须等待子线程全部执行结束后主线程才进行下一步, 做法如下: //在使用多线程过程中,可能会遇到在一些情况下必须等待子线程全部执行结束后主线程才进行下一步,做法如下 List<ManualResetEvent> manualEvents = new List<ManualResetEvent>();//创建线程等待集合 for (int i = 0; i < 64; i++) //WaitHandles 的数目必须少于或等于 64 个

  • 基于C#实现的轻量级多线程队列图文详解

    前言 工作中我们经常会遇到一些一些功能需要实现造作日志,数据修改日志,对于这种业务需求如果我们以同步的方式实现,难免会影响到系统的性能.如下我列出集中解决方案. 使用Thread异步处理. 使用线程池或Task异步处理. 以上两种方案确实能解决我们此场景的需求,但是同时也带来了问题. 第一种方式,使用thread的情况下我们无法控制创建的线程数量,要知道创建线程是一个很耗性能的操作. 第二种方式,使用线程池或者Task我们虽然可以通过设置线程池的最大线程数量来限制线程最大数,但是这个设置由于是全

  • C#多线程基础知识汇总

    最近自己写了个小爬虫,里面用到了多线程技术,忽然发现对此技术竟然有些陌生了,于是乎开始疯狂的去问度娘,在此记录下来,以便自己和各位小伙伴们学习. 一.什么是线程 一个应用程序就相当于一个进程,进程拥有应用程序的所有资源进程包括线程,进程的资源被线程共享,但不拥有线程.我们可以打开电脑中的任务管理器,运行的.exe都是一个进程,里面的分支是线程. 二.多线程 多线程其实就是进程中一段并行运行的代码 1. 创建并启动线程 static void Main() { //获取线程Id var threa

  • C# 并行和多线程编程——并行集合和PLinq

    在上一篇博客,我们学习了Parallel的用法.并行编程,本质上是多线程的编程,那么当多个线程同时处理一个任务的时候,必然会出现资源访问问题,及所谓的线程安全.就像现实中,我们开发项目,就是一个并行的例子,把不同的模块分给不同的人,同时进行,才能在短的时间内做出大的项目.如果大家都只管自己写自己的代码,写完后发现合并不到一起,那么这种并行就没有了意义. 并行算法的出现,随之而产生的也就有了并行集合,及线程安全集合:微软向的也算周到,没有忘记linq,也推出了linq的并行版本,plinq - P

  • C#中多线程ManualResetEvent 与 AutoResetEvent 区别

    在多线程开发中,时常用到ManualResetEvent 与AutoResetEvent . 它们如同道路交通中的信号灯.两者之间有什么区别呢? 共同点: 均继承EventWaitHandle 接口,因此,均具有以下功能: Reset() //红灯 Set() //绿灯 WaitOne() // 等待信号 不同点: AutoResetEvent 收到 Set 后 , 一次只能执行一个线程,其它线程继续 WaitOne . ManualResetEvent 收到 Set 后,所有处理 WaitOn

  • C# 并行和多线程编程——Task进阶知识

    一.Task的嵌套 Task中还可以再嵌套Task,Thread中能不能这样做,我只能说我是没这样写过.Task中的嵌套,我感觉其实也可以分开来写,不过嵌套起来会方便管理一点.Task中的嵌套分为两种,关联嵌套和非关联嵌套,就是说内层的Task和外层的Task是否有联系,下面我们编写代码先来看一下非关联嵌套,及内层Task和外层Task没有任何关系,还是在控制台程序下面,代码如下: static void Main(string[] args) { var pTask = Task.Factor

  • C# 多线程处理List数据的示例代码

    代码思路 将要处理的数据放到ConcurrentQueue中,然后开启多个线程去处理数据,处理完成后,再到队列中获取下一个待处理数据. ConcurrentQueue 表示线程安全的先进先出 (FIFO) 集合,属于 System.Collections.Concurrent 命名空间下的一个数据结构 直接上代码 /// <summary> /// 多线程处理数据(无返回值) /// </summary> /// <typeparam name="T"&g

  • C# 并行和多线程编程——认识和使用Task

    对于多线程,我们经常使用的是Thread.在我们了解Task之前,如果我们要使用多核的功能可能就会自己来开线程,然而这种线程模型在.net 4.0之后被一种称为基于"任务的编程模型"所冲击,因为task会比thread具有更小的性能开销,不过大家肯定会有疑惑,任务和线程到底有什么区别呢? 任务和线程的区别: 1.任务是架构在线程之上的,也就是说任务最终还是要抛给线程去执行. 2.任务跟线程不是一对一的关系,比如开10个任务并不是说会开10个线程,这一点任务有点类似线程池,但是任务相比线

  • 深入了解c#多线程编程

    一.使用线程的理由 1.可以使用线程将代码同其他代码隔离,提高应用程序的可靠性. 2.可以使用线程来简化编码. 3.可以使用线程来实现并发执行. 二.基本知识 1.进程与线程:进程作为操作系统执行程序的基本单位,拥有应用程序的资源,进程包含线程,进程的资源被线程共享,线程不拥有资源. 2.前台线程和后台线程:通过Thread类新建线程默认为前台线程.当所有前台线程关闭时,所有的后台线程也会被直接终止,不会抛出异常. 3.挂起(Suspend)和唤醒(Resume):由于线程的执行顺序和程序的执行

随机推荐