Python基础教程之利用期物处理并发

前言

抨击线程的往往是系统程序员，他们考虑的使用场景对一般的应用程序员来说，也许一生都不会遇到……应用程序员遇到的使用场景，99% 的情况下只需知道如何派生一堆独立的线程，然后用队列收集结果。

本文章记录了本人在学习Python基础之控制流程篇的重点知识及个人心得，打算入门Python的朋友们可以来一起学习并交流。

本文重点：

1、掌握异步编程的相关概念；

2、了解期物future的概念、意义和使用方法；

3、了解Python中的阻塞型I/O函数释放GIL的特点。

一、异步编程相关概念

阻塞：程序未得到所需计算资源时被挂起的状态。换句话说，程序在等待某个操作完成期间，自身无法继续干别的事情，则称该程序在该操作上是阻塞的。

并发：描述的是程序的组织结构。指程序要被设计成多个可独立执行的子任务。并发以利用有限的计算机资源使多个任务可以被实时或近实时执行为目的。

并行：指的是多任务同时执行的程序状态，以利用多核CPU加速完成多任务为目的。

异步：为完成某个任务，不同程序单元之间过程中无需通信协调，也能完成任务的方式。

不相关的程序单元之间可以是异步的。简言之，异步意味着无序。

异步编程：以进程、线程、协程、函数/方法作为执行任务的基本单位，结合回调，事件循环、信号量等机制，以提高整体执行效率和并发能力的编程方式。

二、期物

就下载国旗为目标实现的三个客户端中，两个HTTP并发客户端比依序下载的脚本性能高很多。

由此说明使用并发可以高效处理网络I/O。

期物(future)指一种对象，表示异步执行的操作。

期物对象：concurrent.futures.Future或asyncio.Future类的实例。

三大方法：

  • Executor.submit()：创建期物。
  • concurrent.futures.as_completed()：迭代运行结束的期物，返回一个迭代器。
  • Executor.map(): 处理参数不同的同一个可调用对象。

小结：Executor.submit()加futures.as_completed()的组合比Executor.map()更灵活，因为submit()能处理不同的可调用对象和参数。

concurrent.futures模块的主要特色是ThreadPoolExecutor和ProcessPoolExecutor类，这两个类实现的接口能分别在不同的线程或进程中执行可调用的对象。

注意：通常情况下自己不应该创建期物，而只能由并发框架(concurrent.futures或asyncio)实例化。

实例：concurrent.futures模块应用

from concurrent import futures
from flags import save_flag, get_flag, show, main
MAX_WORKERS = 20
def download_one(cc):
  image = get_flag(cc)
  show(cc)
  save_flag(image, cc.lower() + '.gif')
  return cc
def download_many(cc_list):
  workers = min(MAX_WORKERS, len(cc_list))
  with futures.ThreadPoolExecutor(workers) as executor:
    res = executor.map(download_one, sorted(cc_list))
  return len(list(res))
if __name__ == '__main__':
  main(download_many)

三、阻塞性I/O与GIL

Python标准库中所有阻塞型I/O函数都会释放全局解释器锁（GIL），允许其他线程运行。

因此尽管有GIL，Python线程仍然适合在I/O密集型系统使用。

四、线程和多进程的替代方案

对CPU密集型工作来说，要启动多个进程，规避GIL。

创建多进程最简单的方式是使用futures.ProcessPoolExecutor类。

threading和multiprocessing模块：是Python中多线程和多进程并发的低层实现。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • python并发2之使用asyncio处理并发

    python并发2之使用asyncio处理并发

    asyncio 在Python 2的时代,高性能的网络编程主要是使用Twisted.Tornado和Gevent这三个库,但是它们的异步代码相互之间既不兼容也不能移植.如上一节说的,Gvanrossum希望在Python 3 实现一个原生的基于生成器的协程库,其中直接内置了对异步IO的支持,这就是asyncio,它在Python 3.4被引入到标准库. asyncio 这个包使用事件循环驱动的协程实现并发. asyncio 包在引入标准库之前代号 "Tulip"(郁金香),所以在网上搜

  • Python通过future处理并发问题

    Python通过future处理并发问题

    future初识 通过下面脚本来对future进行一个初步了解: 例子1:普通通过循环的方式 import os import time import sys import requests POP20_CC = ( "CN IN US ID BR PK NG BD RU JP MX PH VN ET EG DE IR TR CD FR" ).split() BASE_URL = 'http://flupy.org/data/flags' DEST_DIR = 'downloads/'

  • Python使用asyncio包处理并发详解

    阻塞型I/O和GIL CPython 解释器本身就不是线程安全的,因此有全局解释器锁(GIL),一次只允许使用一个线程执行 Python 字节码.因此,一个 Python 进程通常不能同时使用多个 CPU 核心. 然而,标准库中所有执行阻塞型 I/O 操作的函数,在等待操作系统返回结果时都会释放GIL.这意味着在 Python 语言这个层次上可以使用多线程,而 I/O 密集型 Python 程序能从中受益:一个 Python 线程等待网络响应时,阻塞型 I/O 函数会释放 GIL,再运行一个线程

  • Python基础教程之利用期物处理并发

    前言 抨击线程的往往是系统程序员,他们考虑的使用场景对一般的应用程序员来说,也许一生都不会遇到--应用程序员遇到的使用场景,99% 的情况下只需知道如何派生一堆独立的线程,然后用队列收集结果. 本文章记录了本人在学习Python基础之控制流程篇的重点知识及个人心得,打算入门Python的朋友们可以来一起学习并交流. 本文重点: 1.掌握异步编程的相关概念: 2.了解期物future的概念.意义和使用方法: 3.了解Python中的阻塞型I/O函数释放GIL的特点. 一.异步编程相关概念 阻塞:程

  • Python基础教程之浅拷贝和深拷贝实例详解

    Python基础教程之浅拷贝和深拷贝实例详解            网上关于Python的深拷贝和浅拷贝的文章很多,这里对三种拷贝进行比较并附实例,大家可以参考下 一般的复制 #encoding:utf-8 #定义一个嵌套集合 lista=[1,2,3,[4,5,6,[7,8,9]]] listb=lista #分别打印出 lista和listb的地址值 print id(lista) #4511103096 print id(listb) #4511103096 #修改lista中的内容,li

  • Python 基础教程之闭包的使用方法

    Python 基础教程之闭包的使用方法 前言: 闭包(closure)是函数式编程的重要的语法结构.函数式编程是一种编程范式 (而面向过程编程和面向对象编程也都是编程范式).在面向过程编程中,我们见到过函数(function):在面向对象编程中,我们见过对象(object).函数和对象的根本目的是以某种逻辑方式组织代码,并提高代码的可重复使用性(reusability).闭包也是一种组织代码的结构,它同样提高了代码的可重复使用性. 不同的语言实现闭包的方式不同.Python以函数对象为基础,为闭

  • Python 基础教程之包和类的用法

    Python 基础教程之包和类的用法

    Python 基础教程之包和类的用法 建立一个文件夹filePackage 在filePackage 文件夹内创建 __init__.py 有了 __init__.py ,filePackage才算是一个包,否则只是算一个普通文件夹. 在filePackage 文件夹内创建 file.py file.py 代码如下: #!/usr/bin/env python3 # -*- coding: utf-8 -*- from datetime import datetime class MyFile(

  • Python基础教程之内置函数locals()和globals()用法分析

    本文实例讲述了Python基础教程之内置函数locals()和globals()用法.分享给大家供大家参考,具体如下: 1. 这两个函数主要提供,基于字典的访问局部变量和全局变量的方式. python 使用叫做名字空间的东西来记录变量的轨迹.名字空间是一个字典 ,它的键就是字符串形式的变量名字,它的值就是变量的实际值. 名字空间可以像 Python 的 dictionary 一样进行访问. 在一个 Python 程序中的任何一个地方,都存在几个可用的名字空间. 每个函数都有着自已的名字空间,叫做

  • python基础教程项目五之虚拟茶话会

    python基础教程项目五之虚拟茶话会

    几乎在学习.使用任何一种编程语言的时候,关于socket的练习从来都不会少,尤其是会写一些局域网的通信的东西.所以书上的这个项目刚好可以练习一下socket编程. 这个练习的整体思路首先有一个聊天的服务器,这个服务器的功能主要是提供客户端socket的连接.存储每个客户端的连接session,处理每个连接发送的消息.解析客户端发送的数据.就这些,至于客户端方面不需要写代码,用系统的telnet工具即可. 我觉得有了上面的分析,剩下的这个程序就没有什么说的了,当然,除了那两个把socket封装的类

  • python基础教程项目四之新闻聚合

    <python基础教程>书中的第四个练习,新闻聚合.现在很少见的一类应用,至少我从来没有用过,又叫做Usenet.这个程序的主要功能是用来从指定的来源(这里是Usenet新闻组)收集信息,然后讲这些信息保存到指定的目的文件中(这里使用了两种形式:纯文本和html文件).这个程序的用处有些类似于现在的博客订阅工具或者叫RSS订阅器. 先上代码,然后再来逐一分析: from nntplib import NNTP from time import strftime,time,localtime f

  • python基础教程项目三之万能的XML

    这个项目的名称与其叫做万能的XML不如叫做自动构建网站,根据一份XML文件,生成对应目录结构的网站,不过只有html还是太过于简单了,如果要是可以连带生成css那就比较强大了.这个有待后续研发,先来研究下怎么html网站结构. 既然是通过XML结构生成网站,那所有的事情都应该由这个XML文件来.先来看下这个XML文件,website.xml: <website> <page name="index" title="Home page"> &l

  • python基础教程项目二之画幅好画

    这是<python基础教程>中的第二个项目,关于python操作PDF. 涉及到的知识点 1.urllib的使用 2.reportlab库的使用 这个例子着实很简单,不过我发现在python里面可以直接在数组［］里面写for循环,真是越用越方便. 下面是代码: from urllib import urlopen from reportlab.graphics.shapes import * from reportlab.graphics.charts.lineplots import Lin

  • Python基础教程（一）——Windows搭建开发Python开发环境

    从大学开始玩python到现在参加工作,已经有5年了,现在的公司用到python的项目比较少,最近公司有新项目需要用到python,领导希望我来跟其他同事training,就有了这篇博客,打算将python的training弄成一个简易的python系列,供大家入门使用.Python语言自从20世纪90年代初诞生至今,它逐渐被广泛应用于处理系统管理任务和Web编程.今天就让我们来搭建一个python的开发环境,Windows搭建python开发环境.一切从"Hello world"开始

随机推荐