Python使用asyncio包处理并发的实现代码

使用 asyncio 包处理并发

asyncio包:使用事件循环驱动的协程实现并发。

线程与协程的对比

'\ thinking' 旋转等待效果

In [1]: import threading

In [2]: import itertools

In [3]: import time,sys

In [4]: class Signal:  # 定义一个简单的可变对象;go 属性 从外部控制线程
   ...:     go = True

In [5]: def spin(msg,signal):
   ...:     w,flush = sys.stdout.write,sys.stdout.flush
   ...:     for char in itertools.cycle('|/-\\'):  # 从序列中反复不断的生成元素
   ...:         status = char + ' ' + msg
   ...:         w(status)
   ...:         flush()
   ...:         w('\x08' * len(status))  # 退格键:\x08 文本动画的诀窍所在
   ...:         time.sleep(1)
   ...:         if not signal.go:
   ...:             break
   ...:     w(' ' * len(status) + '\x08' * len(status))

In [6]: def slow():
   ...:     time.sleep(3)
   ...:     return 42

In [9]: def super():
   ...:     signal = Signal()
   ...:     sp = threading.Thread(target=spin,args=('thinking',signal))
   ...:     print('============')
   ...:     sp.start()
   ...:     res = slow()
   ...:     signal.go = False
   ...:     sp.join()
   ...:     return res

注意:Python 没有提供终止线程的 API ,这是有意为之的。若想关闭线程,必须给线程发送消息。这里用的是 signal.go 属性。干净的规则的退出。

适合 asyncio API 的协程:

1 定义体必须使用 yield from ,而不能使用 yield

2 协程要由调用方驱动,并由调用方通过 yield from 调用

3 或者把协程传给 asyncio 包中的某个函数,比如 asyncio.async()

4 @asyncio.coroutine 装饰器应该用在协程上

asyncio 实现 动画效果

In [1]: import asyncio

In [3]: import itertools

In [4]: import sys

# 交给 asyncio 处理的协程需要使用该装饰器装饰。这不是强制要求,但是强烈建议这么做。
In [5]: @asyncio.coroutine
   ...: def spin(msg):  # 不需要多线程的关闭参数
   ...:     w,flush = sys.stdout.write, sys.stdout.flush
   ...:     for char in itertools.cycle('|/-\\'):
   ...:         status = char + ' ' + msg
   ...:         w(status)
   ...:         flush()
   ...:         w('\x08' * len(status))
   ...:         try:
   ...:             yield from asyncio.sleep(.1)  # 不会阻塞事件循环
                # spin 函数苏醒后,取消请求 异常,退出循环
   ...:         except asyncio.CancelledError:
   ...:             break
   ...:     write(' ' * len(status) + '\x08' * len(status))
   ...:

In [6]: @asyncio.coroutine
   ...: def slow():
            # 把控制权交给主循环,休眠结束后,结束这个协程
   ...:     yield from asyncio.sleep(3)
   ...:     return 42
   ...:

In [9]: @asyncio.coroutine
   ...: def sup():
            # asyncio 排定spin协程的运行时间,封装成一个 Task对象 sp
   ...:     sp = asyncio.async(spin('thinking!'))
   ...:     print('spin obj:',sp)
            # sup 也是协程,因此,可以使用 yield from 驱动 slow()
   ...:     res = yield from slow()
            sp.cancel()
   ...:     return res
   ...:

In [10]: def main():
    ...:     loop = asyncio.get_event_loop()
    ...:     res = loop.run_until_complete(sup())
    ...:     loop.close()
    ...:     print('answer:',res)
    ...:

In [11]: main()
D:\python36\Scripts\ipython:3: DeprecationWarning: asyncio.async() function is deprecated, use ensure_future()
spin obj: <Task pending coro=<spin() running at <ipython-input-5-0304845f34e1>:1>>
answer: 42!

除非想阻塞主线程,从而冻结事件循环或整个应用,否则不要在 asyncio 协程中使用 time.sleep() 。如果协程需要一段时间内什么也不做,应该使用 yield from asyncio.sleep() 。

@asyncio.coroutine 装饰器不是强制要求,但是强烈建议这么做,因为这样能

1 把协程凸显出来,有助于调试。

2 如果还未产出值,协程就被垃圾回收了(意味着有操作未完成,因此有可能是个缺陷),那就可以发出警告了。

3 这个装饰器不会预激协程。

到此这篇关于Python使用asyncio包处理并发的实现代码的文章就介绍到这了,更多相关Python asyncio包内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Python使用asyncio包处理并发详解

    阻塞型I/O和GIL CPython 解释器本身就不是线程安全的,因此有全局解释器锁(GIL),一次只允许使用一个线程执行 Python 字节码.因此,一个 Python 进程通常不能同时使用多个 CPU 核心. 然而,标准库中所有执行阻塞型 I/O 操作的函数,在等待操作系统返回结果时都会释放GIL.这意味着在 Python 语言这个层次上可以使用多线程,而 I/O 密集型 Python 程序能从中受益:一个 Python 线程等待网络响应时,阻塞型 I/O 函数会释放 GIL,再运行一个线程

  • Python中的并发处理之asyncio包使用的详解

    导语:本文章记录了本人在学习Python基础之控制流程篇的重点知识及个人心得,打算入门Python的朋友们可以来一起学习并交流. 本文重点: 1.了解asyncio包的功能和使用方法: 2.了解如何避免阻塞型调用: 3.学会使用协程避免回调地狱. 一.使用asyncio包做并发编程 1.并发与并行 并发:一次处理多件事. 并行:一次做多件事. 并发用于制定方案,用来解决可能(但未必)并行的问题.并发更好. 2.asyncio概述 了解asyncio的4个特点: asyncio包使用事件循环驱动的

  • Python使用asyncio包处理并发的实现代码

    使用 asyncio 包处理并发 asyncio包:使用事件循环驱动的协程实现并发. 线程与协程的对比 '\ thinking' 旋转等待效果 In [1]: import threading In [2]: import itertools In [3]: import time,sys In [4]: class Signal: # 定义一个简单的可变对象:go 属性 从外部控制线程 ...: go = True In [5]: def spin(msg,signal): ...: w,fl

  • Python tornado队列示例-一个并发web爬虫代码分享

    Queue Tornado的tornado.queue模块为基于协程的应用程序实现了一个异步生产者/消费者模式的队列.这与python标准库为多线程环境实现的queue模块类似. 一个协程执行到yieldqueue.get会暂停,直到队列中有条目.如果queue有上限,一个协程执行yieldqueue.put将会暂停,直到队列中有空闲的位置. 在一个queue内部维护了一个未完成任务的引用计数,每调用一次put操作便会增加引用计数,而调用task_done操作将会减少引用计数. 下面是一个简单的

  • python通过elixir包操作mysql数据库实例代码

    本文研究的主要是python通过elixir包操作mysql数据库的相关实例,具体如下. python操作数据库有很多方法,下面介绍elixir来操作数据库.elixir是对sqlalchemy lib的一个封装,classes和tables是一一对应的,能够一步定义classes,tables和mappers,支持定义多个primary key. 定义model.py from elixir import sqlalchemy from elixir import * engine =sqla

  • Python 使用tempfile包轻松无痕的运行代码

    一.简介 这里介绍python中临时文件及文件夹使用. 使用的是tempfile包: pip install tempfile https://docs.python.org/3/library/tempfile.html 二.临时文件夹 2.1 获取临时文件夹 # 获取临时文件夹 tmpdir = tempfile.gettempdir() print(tmpdir) #/tmp 2.2 生成临时文件夹 # 方式一:生成默认临时文件夹 tmpdir = tempfile.mkdtemp() p

  • 详解python中asyncio模块

    一直对asyncio这个库比较感兴趣,毕竟这是官网也非常推荐的一个实现高并发的一个模块,python也是在python 3.4中引入了协程的概念.也通过这次整理更加深刻理解这个模块的使用 asyncio 是干什么的? 异步网络操作并发协程 python3.0时代,标准库里的异步网络模块:select(非常底层) python3.0时代,第三方异步网络库:Tornado python3.4时代,asyncio:支持TCP,子进程 现在的asyncio,有了很多的模块已经在支持:aiohttp,ai

  • Python中asyncio模块的深入讲解

    1. 概述 Python中 asyncio 模块内置了对异步IO的支持,用于处理异步IO:是Python 3.4版本引入的标准库. asyncio 的编程模型就是一个消息循环.我们从 asyncio 块中直接获取一个 EventLoop 的引用,然后把需要执行的协程扔到 EventLoop 中执行,就实现了异步IO. 2. 用asyncio实现Hello world #!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Time : 2019/1/9

  • python中asyncio异步编程学习

    1.   想学asyncio,得先了解协程 携程的意义: 计算型的操作,利用协程来回切换执行,没有任何意义,来回切换并保存状态 反倒会降低性能. IO型的操作,利用协程在IO等待时间就去切换执行其他任务,当IO操作结束后再自动回调,那么就会大大节省资源并提供性能,从而实现异步编程(不等待任务结束就可以去执行其他代码 2.协程和多线程之间的共同点和区别: 共同点: 都是并发操作,多线程同一时间点只能有一个线程在执行,协程同一时间点只能有一个任务在执行: 不同点: 多线程,是在I/O阻塞时通过切换线

  • Python使用Asyncio进行web编程方法详解

    目录 前言 什么是同步编程 什么是异步编程 ayncio 版 Hello 程序 如何使用 asyncio 总结 前言 许多 Web 应用依赖大量的 I/O (输入/输出) 操作,比如从网站上下载图片.视频等内容:进行网络聊天或者针对后台数据库进行多次查询.数据库查询可能会耗费大量时间,尤其是在该数据库处于高负载或查询很复杂的情况下. Web 服务器可能需要同时处理数百或数千个请求. I/O 是指计算机的输入和输出设备,例如键盘.硬盘驱动器,以及最常见的网卡.这些操作等待用户输入或从基于 Web

随机推荐