python线程池ThreadPoolExecutor,传单个参数和多个参数方式

目录
  • python线程池ThreadPoolExecutor,传单个参数和多个参数
    • 这是线程池传单个参数的
    • 下面是传多个参数的
  • python线程池传入多个参数 ThreadPoolExecutor.submit 多参数支持
  • 总结

python线程池ThreadPoolExecutor,传单个参数和多个参数

这是线程池传单个参数的

from concurrent.futures import ThreadPoolExecutor,as_completed
def test(a):
        print(a)

qq = {"a":"1","b":"2","c":"3"}
with ThreadPoolExecutor() as pool:
    for j ,k in qq.items():
        res = pool.submit(test,j)
        kk = res.result()

下面是传多个参数的

from concurrent.futures import ThreadPoolExecutor,as_completed
def test(a,b):
        print(a,b)

qq = {"a":"1","b":"2","c":"3"}
with ThreadPoolExecutor() as pool:
    for j ,k in qq.items():
        res = pool.submit(lambda cxp:test(*cxp),(j ,k))
        last= res.result())

主要就是 pool.submit(lambda cxp:test(*cxp),(j ,k))

这行代码要拆开来看

首先就是匿名函数 ：lambda cxp:test(*cxp) 这是第一步

这个的意思是：传cxp参数，传到test里

第二步就是 submit(lambda cxp:test(cxp),(j ,k))

sumbit的方法是要传两个参数的，第一个是一个函数，第二个是这个函数的参数

刚刚匿名函数就是第一个参数，然后（j,k）是第二参数，这个参数是要传给函数的，于是 （j，k）就给了cxp

python线程池传入多个参数 ThreadPoolExecutor.submit 多参数支持

from concurrent.futures import ThreadPoolExecutor,as_completed
  
def doFileParse(filepath,segment,wordslist):
      print(filepath)
      print(segment)
  
#调用方法
#实质就是通过lambda表达式过渡。传入的参数是一个，但是通过lambda表达多后拆散为多个传入。这是很巧妙的方法，实际 就是 *p 这个表达式。
args =[filepath,thu1,Words]
 
newTask=executor.submit(lambda p: doFileParse(*p),args)

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 浅析Python中的多进程与多线程的使用

    在批评Python的讨论中,常常说起Python多线程是多么的难用.还有人对 global interpreter lock(也被亲切的称为"GIL")指指点点,说它阻碍了Python的多线程程序同时运行.因此,如果你是从其他语言(比如C++或Java)转过来的话,Python线程模块并不会像你想象的那样去运行.必须要说明的是,我们还是可以用Python写出能并发或并行的代码,并且能带来性能的显著提升,只要你能顾及到一些事情.如果你还没看过的话,我建议你看看Eqbal Quran的文章

  • python多线程请求带参数的多个接口问题

    目录 多线程请求带参数的多个接口 如何用python请求接口 总结 多线程请求带参数的多个接口 对于进程/线程/携程/异步的内容 有时间准备写写了 真的一直用for去循环慢到怀疑人生 需要运用的场景也会很多 所以分开一点点总结一下 先上代码看一下内容,多线程请求接口 imoprt threading # 首先运用到threading模块 class BrushGifts:     # 以下是两个相同的接口 send_gift_room_one()是送礼的接口     # 也就是说我想完成的状态是

  • python3多线程知识点总结

    多线程类似于同时执行多个不同程序,多线程运行有如下优点: 使用线程可以把占据长时间的程序中的任务放到后台去处理. 用户界面可以更加吸引人,比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度. 程序的运行速度可能加快. 在一些等待的任务实现上如用户输入.文件读写和网络收发数据等,线程就比较有用了.在这种情况下我们可以释放一些珍贵的资源如内存占用等等. 每个独立的线程有一个程序运行的入口.顺序执行序列和程序的出口.但是线程不能够独立执行,必须依存在应用程序中,由应用程序提

  • python线程池ThreadPoolExecutor,传单个参数和多个参数方式

    目录 python线程池ThreadPoolExecutor,传单个参数和多个参数 这是线程池传单个参数的 下面是传多个参数的 python线程池传入多个参数 ThreadPoolExecutor.submit 多参数支持 总结 python线程池ThreadPoolExecutor,传单个参数和多个参数 这是线程池传单个参数的 from concurrent.futures import ThreadPoolExecutor,as_completed def test(a):        

  • python线程池 ThreadPoolExecutor 的用法示例

    前言 从Python3.2开始,标准库为我们提供了 concurrent.futures 模块,它提供了 ThreadPoolExecutor (线程池)和ProcessPoolExecutor (进程池)两个类. 相比 threading 等模块,该模块通过 submit 返回的是一个 future 对象,它是一个未来可期的对象,通过它可以获悉线程的状态主线程(或进程)中可以获取某一个线程(进程)执行的状态或者某一个任务执行的状态及返回值: 主线程可以获取某一个线程(或者任务的)的状态,以及返

  • Python线程池模块ThreadPoolExecutor用法分析

    本文实例讲述了Python线程池模块ThreadPoolExecutor用法.分享给大家供大家参考,具体如下: python3内置的有Threadingpool和ThreadPoolExecutor模块,两个都可以做线程池,当然ThreadPoolExecutor会更好用一些,而且也有ProcessPoolExecutor进程池模块,使用方法基本一致. 首先导入模块 from concurrent.futures import ThreadPoolExecutor 使用方法很简单,最常用的可能就

  • python线程池如何使用

    线程池的使用 线程池的基类是 concurrent.futures 模块中的 Executor,Executor 提供了两个子类,即 ThreadPoolExecutor 和ProcessPoolExecutor,其中 ThreadPoolExecutor 用于创建线程池,而 ProcessPoolExecutor 用于创建进程池. 如果使用线程池/进程池来管理并发编程,那么只要将相应的 task 函数提交给线程池/进程池,剩下的事情就由线程池/进程池来搞定. Exectuor 提供了如下常用方

  • python线程池的四种好处总结

    1.使用好处 提高性能:由于减去了大量新建终止线程的费用,重用了线程资源: 适用场景:适用于处理大量突发请求或需要大量线程完成任务,但实际任务处理时间短. 防御功能:可以有效避免系统因线程过多而导致系统负载过大而相应变慢的问题. 代码优势:使用线程池的语法比创建自己的线程更简单. 2.实例 """ @file : 004-线程池的使用.py @author : xiaolu @email : luxiaonlp@163.com @time : 2021-02-01 "

  • Python线程池的正确使用方法

    目录 Python线程池的正确使用 1.为什么要使用线程池呢? 2.线程池怎么用呢? 3.如何非阻塞的获取线程执行的结果 4.线程池的运行策略 Python线程池的正确使用 1.为什么要使用线程池呢? 因为线程执行完任务之后就会被系统销毁,下次再执行任务的时候再进行创建.这种方式在逻辑上没有啥问题.但是系统启动一个新线程的成本是比较高,因为其中涉及与操作系统的交互,操作系统需要给新线程分配资源.打个比方吧!就像软件公司招聘员工干活一样.当有活干时,就招聘一个外包人员干活.当活干完之后就把这个人员

  • Python线程池thread pool创建使用及实例代码分享

    Python线程池thread pool创建使用及实例代码分享

    目录 前言 一.线程 1.线程介绍 2.线程特性 轻型实体 独立调度和分派的基本单位 可并发执行 4)共享进程资源 二.线程池 三.线程池的设计思路 四.Python线程池构建 1.构建思路 2.实现库功能函数 ThreadPoolExecutor() submit() result() cancel() cancelled() running() as_completed() map() 前言 首先线程和线程池不管在哪个语言里面,理论都是通用的.对于开发来说,解决高并发问题离不开对多个线程处理

  • Python线程池的实现浅析

    Python线程池的实现浅析

    目录 一.序言 二.正文 1.Future 对象 2.提交函数自动创建 Future 对象 3.future.set_result 到底干了什么事情 4.提交多个函数 5.使用 map 来提交多个函数 6.按照顺序等待执行 7.取消一个函数的执行 8.函数执行时出现异常 9.等待所有函数执行完毕 三.小结 雷猴啊,兄弟们!今天来展示一下如何用Python快速实现一个线程池. 一.序言 当有多个 IO 密集型的任务要被处理时,我们自然而然会想到多线程.但如果任务非常多,我们不可能每一个任务都启动一

  • 关于python线程池的四种实现方式

    目录 python 线程池的四种实现方式 线程简述 方式1 multiprocessing.dummy Pool() 方式2:multiprocessing.pool ThreadPool Threading() 方式3:主流ThreadPoolExecutor 方式4:threadpool python 线程池的四种实现方式 线程简述 一个程序运行起来后,一定有一个执行代码的东西,这个东西就是线程: 一般计算(CPU)密集型任务适合多进程,IO密集型任务适合多线程:一个进程可拥有多个并行的(c

  • 浅谈一下python线程池简单应用

    一.线程池简介 传统多线程方案会使用“即时创建,即时销毁”的策略.尽管与创建进程相比,创建线程的时间已经大大的缩短,但是如果提交给线程的任务时执行时间较短,而且执行次数及其频繁,那么服务器将处于不停的创建线程,销毁线程的状态. 一个线程的运行时间可以分为三部分:线程的启动时间.线程体的运行时间和线程的销毁时间. 在多线程处理的情景中,如果线程不能被重用,就意味着每次线程运行都要经过启动.销毁和运行3个过程.这必然会增加系统相应的时间,减低了效率. 线程池在系统启动时即创建大量空闲的线程,程序只要

随机推荐