Python进程池基本概念

目录
  • 一、python进程池
  • 二、进程池如何使用？
    • 申请（）
    • apply_async
    • 地图（）
    • map_async()
    • close()
    • 终端（）
    • 加入（）
  • 三、代码实列
  • 四、进程池中的进程和一般的进程有什么区别？

前言：

创建进程池可以形象地理解为创建一个并行的流水线，只需创建一次流水线的消耗，处理接收到的任务的，不使用进程池。 ，浪费时间。

中方本来没有进程的，除了python的，使用线程池的语言，是进程的其他线程池（而进程是执行业务的其他任务）。python的原因（因为Cython的概念），线程编程不同的并行，把线程池的概念转移到了进程中，命名为进程池。

一、python进程池

创建的子进程数量不多时，可以直接利用多处理进程中的进程动态形成需要的进程。

如果是上百量甚至巨大上千，手动的去创建进程的工作目标，此时就可以为多进程模块提供池的方法。

1、初始化 Pool 时，可以指定一个进程数

2、当有新的请求提交到 Pool 中时

  • 如果池还没有满，那么就用创建一个新进程的执行该请求；
  • 如果池中的进程达到指定的任务，那么已经有多少时间，直到有进程结束，会用之前的请求进程来执行新的任务。

二、进程池如何使用？

申请（）

函数原型：apply (func, args=()[, kwds={}]])

该函数传递不定参数，同 python 中的应用函数一致，主进程会被阻止函数执行结束（不建议使用，并且 3.x 以后不再出现使用）

apply_async

函数原型：apply_async(func[, args=()[, kwds={}[, callback=None]]])

与应用一致，但它是非进行不支持的使用支持结果返回后反对

地图（）

函数原型：map(func, iterable[, chunksize=None])

池类中的映射表的行为必须基本一致，它会使用第二个进程与先前的结果返回：

但在实际使用中，参数是一个调用，在整个应用程序中都需要注意，程序会运行子进程。

map_async()

函数原型：map_async(func, iterable[, chunksize[, callback]])

与地图匹配一致，但它是非阻尼的。

close()

关闭进程池（pool），不再接受新的任务。

终端（）

结束工作进程，不再处理未处理的任务。

加入（）

主进程停止等待子进程的退出，加入方法要在关闭或终止使用之后。

三、代码实列

# 导入相关multiprocessing包
import multiprocessing

# 创建拥有CPU核心数量的进程的进程池
pool = multiprocessing.Pool(processes=multiprocessing.cpu_count())

for i in  range ( 100 ): ##制动等待当前任务的进程结束# pool.apply(func=pow, args=(i,2))
    
    

    # 不延迟当前任务的进程结束
    pool.apply_async(func= pow , args=(i, 2 ))

# # map函数到一个列表，延迟返回值
# results = pool.map(func=print, iterable=[i for i in range(10000)])

# # 不延迟等待返回值，未运行完就调用results会报错。
# results = poolmap_async(func=print, iterable=[i for i in range(10000)])

#close之后不会有新的进程加入到pool
 pool.close()

#加入函数等待所有子进程#调用加入之前，先结束调用close函数，否则会出错。
 pool.join()

# # 结束工作进程，不再处理未完成的任务。
# pool.terminate()

四、进程池中的进程和一般的进程有什么区别？

进程池中的Queue：

  • 如果要使用进程池创建进程，就需要使用multiprocessing.Manager()中的Queue()，而不是multiprocessing.Queue()。
  • 使用的方法是一样的，都已经成功了，再用q.put()添加、q.get()等待获取。

到此这篇关于Python进程池基本概念的文章就介绍到这了,更多相关Python进程池内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Python进程池Pool应用实例分析

    本文实例讲述了Python进程池Pool应用.分享给大家供大家参考,具体如下: 当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法. 初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求:但如果池中的进程数已经达到指定的最大值,那么该请求就会

  • Python的进程及进程池详解

    Python的进程及进程池详解

    目录 进程 进程和程序 进程的状态 Python中的进程 创建⼦进程 全局变量问题 守护进程 进程池 总结 进程 进程是操作系统分配资源的基本单元,是程序隔离的边界. 进程和程序 程序只是一组指令的集合,它本身没有任何运行的含义,它是静态的. 进程程序的执行实例,是动态的,有自己的生命周期,有创建有撤销,存在是暂时的. 进程和程序不是一一对应的,一个程序可以对应多个进程,一个进程也可以执行一个或者多个程序. 我们可以这样理解:编写完的代码,没有运行时称为程序,正在运行的代码,会启动一个(或多个)

  • python 进程池pool使用详解

    和选用线程池来关系多线程类似,当程序中设置到多进程编程时,Python 提供了更好的管理多个进程的方式,就是使用进程池. 在利用 Python 进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间. 当被操作对象数目不大时,可以直接利用 multiprocessing 中的 Process 动态生成多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效. Pool可以提供指定数量的进程供用户调用,当

  • Python基于进程池实现多进程过程解析

    1.注意:pool必须在 if __name__ == '__main__' 下面运行,不然会报错 2.多进程内出现错误会直接跳过该进程,并且默认不会打印错误信息 3.if__name__下面的数据需要通过参数传入主函数里面,不然主函数获取不到该数据值而报错. 4.若不通过传参形式传入数据,可以定义全局变量.但是全局变量的值不能在多进程里面进行修改. 代码如下 from multiprocessing import Pool # 进程池,用于多进程 import os # 用于获取当前执行的文件

  • Python多进程multiprocessing、进程池用法实例分析

    本文实例讲述了Python多进程multiprocessing.进程池用法.分享给大家供大家参考,具体如下: 内容相关: multiprocessing: 进程的创建与运行 进程常用相关函数 进程池: 为什么要有进程池 进程池的创建与运行:串行.并行 回调函数 多进程multiprocessing: python中的多进程需要使用multiprocessing模块 多进程的创建与运行: 1.进程的创建:进程对象=multiprocessing.Process(target=函数名,args=(参

  • 解决Python 进程池Pool中一些坑

    1 from multiprocessing import Pool,Queue. 其中Queue在Pool中不起作用,具体原因未明. 解决方案: 如果要用Pool创建进程,就需要使用multiprocessing.Manager()中的Queue, 与multiprocessing中的Queue不同 q=Manager().Queue()#Manager中的Queue才能配合Pool po = Pool() # 无穷多进程 2 使用进程池,在进程中调用io读写操作. 例如: p=Pool()

  • Python进程池基本概念

    目录 一.python进程池 二.进程池如何使用? 申请() apply_async 地图() map_async() close() 终端() 加入() 三.代码实列 四.进程池中的进程和一般的进程有什么区别? 前言: 创建进程池可以形象地理解为创建一个并行的流水线,只需创建一次流水线的消耗,处理接收到的任务的,不使用进程池. ,浪费时间. 中方本来没有进程的,除了python的,使用线程池的语言,是进程的其他线程池(而进程是执行业务的其他任务).python的原因(因为Cython的概念),

  • python进程池实现的多进程文件夹copy器完整示例

    本文实例讲述了python进程池实现的多进程文件夹copy器.分享给大家供大家参考,具体如下: 应用:文件夹copy器(多进程版) import multiprocessing import os import time import random def copy_file(queue, file_name,source_folder_name, dest_folder_name): """copy文件到指定的路径""" f_read = op

  • Python语法学习之进程池与进程锁详解

    Python语法学习之进程池与进程锁详解

    目录 进程池 什么是进程池 进程池的创建模块 - multiprocessing 创建进程池函数 - Pool 进程池的常用方法 apply_async 函数演示案例 close 函数与 join 函数 演示 进程锁 进程锁的概念 进程锁的加锁与解锁 NICE!大家好,在上一章节,我们学习了 multiprocessing 模块 的关于进程的创建与进场常用的方法的相关知识. 通过在一个主进程下创建多个子进程可以帮助我们加速程序的运行,并且提高工作效率.不过上一章节文末我们也说过进程的问题,由于每

  • Python自定义进程池实例分析【生产者、消费者模型问题】

    本文实例分析了Python自定义进程池.分享给大家供大家参考,具体如下: 代码说明一切: #encoding=utf-8 #author: walker #date: 2014-05-21 #function: 自定义进程池遍历目录下文件 from multiprocessing import Process, Queue, Lock import time, os #消费者 class Consumer(Process): def __init__(self, queue, ioLock):

  • Python 多进程并发操作中进程池Pool的实例

    在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间.当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,10几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,这时候进程池Pool发挥作用的时候就到了. Pool可以提供指定数量的进程,供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求:但如果池中的进程数已经达到规定

  • Python多进程库multiprocessing中进程池Pool类的使用详解

    Python多进程库multiprocessing中进程池Pool类的使用详解

    问题起因 最近要将一个文本分割成好几个topic,每个topic设计一个regressor,各regressor是相互独立的,最后汇总所有topic的regressor得到总得预测结果.没错!类似bagging ensemble!只是我没有抽样.文本不大,大概3000行,topic个数为8,于是我写了一个串行的程序,一个topic算完之后再算另一个topic.可是我在每个topic中用了GridSearchCV来调参,又要选特征又要调整regressor的参数,导致参数组合一共有1782种.我真

  • python 进程 进程池 进程间通信实现解析

    1.python 中创建进程的两种方式: from multiprocessing import Process import time def test_(): print '-----test-----' if __name__ == '__main__': p = Process(target=test_) p.start() while True: print '--main--' '''1.通过process 类创建一个进程对象,然后start即可开启进程, test test_函数是

随机推荐