Python 并行加速技巧分享

目录
  • 1 前言
  • 2 使用joblib进行并行计算
    • 2.1 使用Parallel与delayed进行并行加速

1 前言

我们在日常使用Python进行各种数据计算处理任务时，若想要获得明显的计算加速效果，最简单明了的方式就是想办法将默认运行在单个进程上的任务，扩展到使用多进程或多线程的方式执行。

而对于我们这些从事数据分析工作的人员而言，以最简单的方式实现等价的加速运算的效果尤为重要，从而避免将时间过多花费在编写程序上。

而今天我就来带大家学习如何利用joblib这个非常简单易用的库中的相关功能，来快速实现并行计算加速效果。

2 使用joblib进行并行计算

作为一个被广泛使用的第三方Python库（譬如scikit-learn项框架中就大量使用joblib进行众多机器学习算法的并行加速），我们可以使用pip install joblib对其进行安装，安装完成后，下面我们来学习一下joblib中有关并行运算的常用方法：

2.1 使用Parallel与delayed进行并行加速

joblib中实现并行计算只需要使用到其Parallel和delayed方法即可，使用起来非常简单方便

下面我们直接以一个小例子来演示：

joblib实现并行运算的思想是将一组通过循环产生的串行计算子任务，以多进程或多线程的方式进行调度，而我们针对自定义的运算任务需要做的仅仅是将它们封装为函数的形式即可，譬如：

import time
def task_demo1():
    time.sleep(1)
    return time.time()

接着只需要像下面的形式一样，为Parallel()设置相关参数后，衔接循环创建子任务的列表推导过程，其中利用delayed()包裹自定义任务函数，再衔接()传递任务函数所需的参数即可，其中n_jobs参数用于设置并行任务同时执行的worker数量，因此在这个例子中可以看到进度条是按照4个一组递增的，

可以看到最终时间开销也达到了并行加速效果：

其中可以根据计算任务以及机器CPU核心数具体情况为Parallel()调节参数，核心参数有：

  • backend：用于设置并行方式，其中多进程方式有'loky'（更稳定）和'multiprocessing'两种可选项，多线程有'threading'一种选项。默认为'loky'
  • n_jobs：用于设置并行任务同时执行的worker数量，当并行方式为多进程时，n_jobs最多可设置为机器CPU逻辑核心数量，超出亦等价于开启全部核心，你也可以设置为-1来快捷开启全部逻辑核心，若你不希望全部CPU资源均被并行任务占用，则可以设置更小的负数来保留适当的空闲核心，譬如设置为-2则开启全部核心-1个核心，设置为-3则开启全部核心-2个核心

譬如下面的例子，在我这台逻辑核心数为8的机器上，保留两个核心进行并行计算：

关于并行方式的选择上，由于Python中多线程时全局解释器锁的限制，如果你的任务是计算密集型，则推荐使用默认的多进程方式加速，如果你的任务是IO密集型譬如文件读写、网络请求等，则多线程是更好的方式且可以将n_jobs设置的很大，举个简单的例子，可以看到，通过多线程并行，我们在5秒的时间里完成了1000次请求，远快于单线程17秒请求100次的成绩

我们可以根据自己实际任务的不同，好好利用joblib来加速你的日常工作。

到此这篇关于Python 并行加速技巧分享的文章就介绍到这了,更多相关Python 加速内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 分享Python 加速运行技巧

    目录 1.避免全局变量 2.避免 2.1 避免模块和函数属性访问 2.2 避免类内属性访问 3.避免不必要的抽象 4,避免数据复制 4.1 避免无意义的数据复制 4.2 交换值时不使用中间变量 4.3 字符串拼接用join而不是+ 5.利用 if 条件的短路特性 6.循环优化 6.1 用for循环代替while循环 6.2 使用隐式for循环代替显式for循环 6.3 减少内层for循环的计算 7.使用 numba.jit 8.选择合适的数据结构 前言: Python 是一种脚本语言,相比 C/

  • 18个Python脚本可加速你的编码速度(提示和技巧)

    在本文中,我们向您介绍一些提示和技巧,以帮助您更快地编写代码 Python的可读性和设计简单性是其广受欢迎的两个主要原因. 一些常见的Python技巧可以帮助你提高编码速度.在您的日常编码练习中,以下技巧将非常有用. 1.在字符串中查找唯一元素 以下代码段可用于查找字符串中的所有唯一元素.我们使用集合中所有元素都是唯一的属性. my_string = "aavvccccddddeee" # 将字符串转换为集合 temp_set = set(my_string) # 使用join将拼接设

  • Python 并行加速技巧分享

    Python 并行加速技巧分享

    目录 1 前言 2 使用joblib进行并行计算 2.1 使用Parallel与delayed进行并行加速 1 前言 我们在日常使用Python进行各种数据计算处理任务时,若想要获得明显的计算加速效果,最简单明了的方式就是想办法将默认运行在单个进程上的任务,扩展到使用多进程或多线程的方式执行. 而对于我们这些从事数据分析工作的人员而言,以最简单的方式实现等价的加速运算的效果尤为重要,从而避免将时间过多花费在编写程序上. 而今天我就来带大家学习如何利用joblib这个非常简单易用的库中的相关功能,

  • python语言使用技巧分享

    python语言使用技巧分享

    一 在写之前 最好指定python的路径: #!/usr/bin/python python 在linux中需要添加编码方式:以免出现中文乱码 # -*- coding: UTF-8 –*- 二 在各类语言中,python应该是最会利用识缩进的语言 ,他的for语句即使有多行也不需要想java,C++.c一样使用{} ,可以像js.swift一样同换行符代表一句话,而不是使用: 号.有学过语言背景的同学请注意: 在python看来: 如果改变了缩进的方式,例如在第二个for上缩进,会导致错误:

  • python使用建议技巧分享（三）

    这是一个系列文章,主要分享python的使用建议和技巧,每次分享3点,希望你能有所收获. 1 如何去掉list中重复元素 my_list = [3, 2, 1, 1, 2, 3] print my_list # [3, 2, 1, 1, 2, 3] unique_list = list(set(my_list)) print unique_list # [1, 2, 3] 或者 from collections import OrderedDict my_list = [3, 2, 1, 1,

  • Python 高效编程技巧分享

    一.根据条件在序列中筛选数据 假设有一个数字列表 data, 过滤列表中的负数 data = [1, 2, 3, 4, -5] # 使用列表推导式 result = [i for i in data if i >= 0] # 使用 fliter 过滤函数 result = filter(lambda x: x >= 0, data) 学生的数学分数以字典形式存储,筛选其中分数大于 80 分的同学 from random import randint d = {x: randint(50, 10

  • Pandas中Apply函数加速百倍的技巧分享

    目录 前言 实验对比 01 Apply(Baseline) 02 Swift加速 03 向量化 04 类别转化+向量化 05 转化为values处理 实验汇总 前言 虽然目前dask,cudf等包的出现,使得我们的数据处理大大得到了加速,但是并不是每个人都有比较好的gpu,非常多的朋友仍然还在使用pandas工具包,但有时候真的很无奈,pandas的许多问题我们都需要使用apply函数来进行处理,而apply函数是非常慢的,本文我们就介绍如何加速apply函数600倍的技巧. 实验对比 01 A

  • Python中最大最小赋值小技巧(分享)

    码代码时,有时候需要根据比较大小分别赋值: import random seq = [random.randint(0, 1000) for _ in range(100)] #方法1: xmax, xmin = max(seq), min(seq) #方法2: xmax, *_, xmin = sorted(seq) 从上面这个来看,看不出来方法2的优势来,不过我们常用的是比较两个数的大小,并选取: dx, dy = random.sample(seq, 2) #方法1: dx, dy = m

  • 关于Python形参打包与解包小技巧分享

    Python中的函数调用与c++不同的是将this指针直接作为self当作第一个形参进行处理,从而将静态函数与实例方法的调用形式统一了起来.在实际编程过程中,可以通过传递函数的地址.函数的形参的方式将所有函数(包括静态函数.类实例函数)的调用用统一的方式表达出来,方便统一接口和抽象. 待传递的2个函数如下: class Operation: @staticmethod def close_buy(): """ :return: """ print

  • 使用python将大量数据导出到Excel中的小技巧分享

    (1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢? 本文主要解决以上两个问题. (2)具体步骤如下: 1.第一步,安装openpyxl, 使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒). 写的代码在windows下运行没问题,但centos上却报错了,说是e

  • Python查找第n个子串的技巧分享

    Problem Python中str类自带的find.index方法可以返回第一个匹配的子串的位置,但是如果实际使用中需要查找第2个甚至第n个子串的位置该怎么办呢.也许有的码友可能会用到第二第三个参数,指定查找的起始.终止位置.但是在很多情况下,接收到的一个字符串可能是未知的,强制限定起始位置可能导致代码在某些情况下不能适用. Solution 采用嵌套的方法调用find或者index. str_exp = "aaabbbbccc" pos_n = str_exp.index(&quo

  • python之array赋值技巧分享

    首先上一段程序: import numpy as np list_a = list(range(10)) print("list_a: {}".format(list_a)) array_a = np.array(list_a) print("array_a: {}".format(array_a)) list_b = [True,False,True,True,False,False,True,False,True,False] print("list_

随机推荐