浅谈python3.x pool.map()方法的实质

我使用多进程的一般方式，都是multiprocessing模块中的Pool.map()方法。下面写一个简单的示例和解析。至于此种方法使用多进程的效率问题，还希望大佬予以指正。

示例：

"""
探索pool.map多进程执行方式的实质
"""

from multiprocessing import Pool
from time import sleep
from datetime import datetime

class forMap:
  def __init__(self):
    self.name = '没啥用的初始化'

  def forPrinit(self, i):
    sleep(i)
    print(i)
    return i ** 2

基本的代码已经写好，下面看看怎么使用多进程去执行。

执行示例1：

if __name__ == '__main__':
  s = datetime.now()
  tt = forMap()
  # 进程池中创建两个进程，调用计算机的两个内核去帮我做事。
  p = Pool(2)

  l = [2, 4, 6]
  rList = p.map(tt.forTest, l)
  print(rList)

  p.close()
  p.join()

  e = datetime.now()
  print('多进程执行时间：', e - s)

运行结果：

2
4
6
[4, 16, 36]
多进程执行时间： 0:00:08.191251

由于在进程池中创建了两个进程，所以代码会调用计算机的两个内核。而列表l中的三个元素中的前两个（“2”和“4”），会依次传入函数中，由计算机内核A和B去执行。当某一个内核执行完，会继续接收下一个传入参数“6”函数。而且内核A执行的函数，只会sleep两秒，所以，传入参数“6”的函数会由内核A去执行。所以A一共执行了2 + 6 为8秒，又由于是并行，所以总的执行时间是8秒（多的那零点几是初始化、赋值、打印等操作）。

执行示例2：

if __name__ == '__main__':
  s = datetime.now()
  tt = forMap()
  # 进程池中创建三个进程
  p = Pool(3)

  l = [2, 4, 6]
  rList = p.map(tt.forTest, l)
  print(rList)

  p.close()
  p.join()

  e = datetime.now()
  print('多进程执行时间：', e - s)

执行结果：

2
4
6
[4, 16, 36]
多进程执行时间： 0:00:06.273263

创建了三个进程 ，并行执行，所以执行时间是6秒

执行示例3：

if __name__ == '__main__':
  s = datetime.now()
  tt = forMap()
  # 进程池中创建三个进程
  p = Pool(3)

  l = [2, 4, 6, 8]
  rList = p.map(tt.forTest, l)
  print(rList)

  p.close()
  p.join()

  e = datetime.now()
  print('多进程执行时间：', e - s)

执行结果：

2
4
6
8
[4, 16, 36, 64]
多进程执行时间： 0:00:10.211451

在列表中添加一个元素，首先内核A、B、C分别执行2， 4， 6。A先结束，所以8也会由A来执行。

执行示例4：

if __name__ == '__main__':
  s = datetime.now()
  tt = forMap()
  # 进程池中创建三个进程
  p = Pool(2)

  l = [2, 4, 8, 6]
  rList = p.map(tt.forTest, l)
  print(rList)

  p.close()
  p.join()

  e = datetime.now()
  print('多进程执行时间：', e - s)

执行结果：

2
4
8
6
[4, 16, 64, 36]
多进程执行时间： 0:00:10.200389

还是创建两个进程，将列表中第3和第4个元素交换位置，执行结果为10秒多，而且返回值也是交换过位置之后的，说明map方法中，可迭代对象传入函数是从前到后逐个提取元素。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • python 内置函数filter

    python 内置函数filter class filter(object): """ filter(function or None, iterable) --> filter object Return an iterator yielding those items of iterable for which function(item) is true. If function is None, return the items that are true. &

  • 利用Python3分析sitemap.xml并抓取导出全站链接详解

    利用Python3分析sitemap.xml并抓取导出全站链接详解

    前言 最近网站从HTTPS转为HTTP,更换了网址,旧网址做了301重定向,折腾有点大,于是在百度站长平台提交网址,不管是主动推送还是手动提交,前提都是要整理网站的链接,手动添加太麻烦,效率低,于是就想写个脚本直接抓取全站链接并导出,本文就和大家一起分享如何使用python3实现抓取链接导出. 首先网站要有网站地图sitemap.xml文件地址,其次我这里用的是python3版本,如果你的环境是python2,需要对代码进行调整,因为python2和python3很多地方差别还是挺大的. 下面是

  • python3 map函数和filter函数详解

    map()函数可以对一个数据进行同等迭代操作.例如: def f(x): return x * x r = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9]) print(list(r)) map函数传入的第一个参数就是函数本身,即f.第二个参数是要操作的数据 map() 作为高阶函数,事实上它把运算规则抽象了,因此,我们不但可以计算简单的 f(x)=x 2 ,还可以计算任意复杂的函数,比如,把这个list 所有数字转为字符串: print(list(map(str, [1,

  • Python过滤函数filter()使用自定义函数过滤序列实例

    filter函数: filter()函数可以对序列做过滤处理,就是说可以使用一个自定的函数过滤一个序列,把序列的每一项传到自定义的过滤函数里处理,并返回结果做过滤.最终一次性返回过滤后的结果. filter()函数有两个参数: 第一个,自定函数名,必须的 第二个,需要过滤的列,也是必须的 DEMO 需求,过滤大于5小于10的数: 复制代码 代码如下: # coding=utf8 # 定义大于5小于10的函数 def guolvhanshu(num):     if num>5 and num<

  • Python3中在Anaconda环境下安装basemap包

    Python3中在Anaconda环境下安装basemap包

    Basemap是matplotlib子包,也是python中最常用.最方便的地理数据可视化工具之一. 在中端输入pip list先查看是否有jupyter,一般安装了Anaconda都会有. win+R 打开命令提示符窗口,cd命令将当前目录设置为下载文件存放的文件夹(我放在桌面)后点回车键. basemap下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/ (1) 在终端输入python可以查看自己需要哪个版本的. (2)basemap 将文件下载

  • Pythont特殊语法filter,map,reduce,apply使用方法

    (1)lambda lambda是Python中一个很有用的语法,它允许你快速定义单行最小函数.类似于C语言中的宏,可以用在任何需要函数的地方. 基本语法如下: 函数名 = lambda args1,args2,...,argsn : expression 例如: add = lambda x,y : x + y print add(1,2) (2)filter filter函数相当于一个过滤器,函数原型为:filter(function,sequence),表示对sequence序列中的每一个

  • 浅谈python3.x pool.map()方法的实质

    我使用多进程的一般方式,都是multiprocessing模块中的Pool.map()方法.下面写一个简单的示例和解析.至于此种方法使用多进程的效率问题,还希望大佬予以指正. 示例: """ 探索pool.map多进程执行方式的实质 """ from multiprocessing import Pool from time import sleep from datetime import datetime class forMap: def

  • 浅谈ES6新增的数组方法和对象

    es6新增的遍历数组的方法,后面都会用这个方法来遍历数组,或者对象,还有set,map let arr=[1,2,3,4,3,2,1,2]; 遍历数组最简洁直接的方法 for (let value of arr) { console.log(value);//输出1,2,3,4,3,2,1,2 } 1. 数组.map() 返回一个新的数组,es5要复制一个新的数组我们一般用循环,现在直接用map let arr=[1,2,3,4,3,2,1,2]; let newArr=arr.map((val

  • 浅谈fastjson的常用使用方法

    如下所示: package Demo; import java.util.ArrayList; import java.util.Collection; import java.util.Date; import java.util.HashMap; import java.util.List; import java.util.Vector; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; imp

  • 浅谈python3发送post请求参数为空的情况

    post请求的时候如果不带参数,其实作用就跟get请求一样.我们在做接口测试的时候,发现开发就全部使用的post,get的作用就被这样的post空参数请求给替代了. 在Python代码请求,如下: class HttpHelper(): def __init__(self): '''获取driver对象,和接口ip地址信息,里面的方法大家可以忽略,根据自己的情况来设置 ''' self.dr=Common.driver run_info=Common().get_current_run_conf

  • 浅谈Python3实现两个矩形的交并比(IoU)

    一.前言 因为最近刚好被问到这个问题,但是自己当时特别懵逼,导致没有做出来.所以下来后自己Google了很多IoU的博客,但是很多博客要么过于简略,要么是互相转载的,有一些博客图和代码还有点问题,也导致自己这个萌新走了不少弯路.所以自己重新整理了看的博客,力求以更简单的方式展现这个问题的解答办法,方便日后自己回顾.如果朋友们觉得写的有问题的地方,非常欢迎大家在下面留言交流,避免因为我的问题导致读者走弯路. 二.交并比的概念及应用 假设平面坐标中有一个矩形,并且这个矩形的长和宽均分别与x轴和y轴平

  • 浅谈python3 构造函数和析构函数

    要点: 1.魔法方法,被__双下划线所包围 在适当的时候自动被调用 2.在创建一个对象的时候,一定会调用构造函数 3. del析构函数,在del a对象的时候,并一定会调用该析构函数 只有当该对象的引用计数为0时才会调用析构函数,回收资源 析构函数被python的垃圾回收器销毁的时候调用.当某一个对象没有被引用时,垃圾回收器自动回收资源,调用析构函数 #coding=utf-8 ''' 魔法方法,被__双下划线所包围 在适当的时候自动被调用 ''' #构造init.析构del class Rec

  • 浅谈Python3多线程之间的执行顺序问题

    一个多线程的题:定义三个线程ID分别为ABC,每个线程打印10遍自己的线程ID,按ABCABC--的顺序进行打印输出. 我的解法: from threading import Thread, Lock # 由_acquire解锁执行后释放_release锁 def _print(_id: str, _acquire: Lock, _release: Lock) -> None: for i in range(10): _acquire.acquire() print(f"id:{_id}&

  • 浅谈Python3中datetime不同时区转换介绍与踩坑

    最近的项目需要根据用户所属时区制定一些特定策略,学习.应用了若干python3的时区转换相关知识,这里整理一部分记录下来. 下面涉及的几个概念及知识点: GMT时间:Greenwich Mean Time, 格林尼治平均时间 UTC时间:Universal Time Coordinated 世界协调时,可以认为是更精准的GMT时间,但两者误差极小,在1s以内,一般可视为等同 LMT:Local Mean Time, 当地标准时间 Python中的北京时间:Python的标准timezone中信息

  • 浅谈Python3.10 和 Python3.9 之间的差异

    目录 介绍: 了解 Python 及其用例: 分析 Python 3.9 V/s Python 3.10 的差异 Python 3.9: IANA 时区数据库 合并和更新字典的函数 删除前缀和后缀 在 Python 3.9 中对内置泛型类型使用类型提示 Python 3.10: 改进的语法错误消息 更好的类型提示 介绍: 在过去的几十年里,Python 在编程或脚本语言领域为自己创造了一个名字.python 受到高度青睐的主要原因是其极端的用户友好性.Python 还用于处理复杂的程序或编码挑战

  • 浅谈Python3中打开文件的方式(With open)

    浅谈Python3中打开文件的方式(With open)

    目录 0.背景知识 1.常规方式:读取文件-----open() 2.推荐方式:读取文件-----With Open 1).读取方式 2).常见的坑 3).跳过第一行内容(字段名) 3.写入内容----open()函数 4.写入内容----- With Open函数 5.打开非utf-8编码的文件 6.打开二进制文件 0.背景知识 python文件读写文件是最常见的IO操作.Python内置了读写文件的函数,用法和C是兼容的. 读写文件前,我们先必须了解一下,在磁盘上读写文件的功能都是由操作系统

随机推荐