Python 异步之非阻塞流使用示例详解

目录
  • 1. 异步流
  • 2. 如何打开连接
  • 3. 如何启动服务器
  • 4. 如何使用 StreamWriter 写入数据
  • 5. 如何使用 StreamReader 读取数据
  • 6. 如何关闭连接

1. 异步流

asyncio 的一个主要好处是能够使用非阻塞流。

Asyncio 提供非阻塞 I/O 套接字编程。这是通过流提供的。

可以打开提供对流写入器和流写入器的访问的套接字。然后可以使用协同程序从流中写入和读取数据，并在适当的时候暂停。完成后，可以关闭套接字。

异步流功能是低级的，这意味着必须手动实现所需的任何协议。

这可能包括常见的 Web 协议，例如：

  • 用于与 Web 服务器交互的 HTTP 或 HTTPS
  • 用于与电子邮件服务器交互的 SMTP
  • 用于与文件服务器交互的 FTP。

这些流还可用于创建服务器以使用标准协议处理请求，或开发您自己的特定于应用程序的协议。

现在我们知道什么是异步流，让我们看看如何使用它们。

2. 如何打开连接

可以使用 asyncio.open_connection() 函数打开 asyncio TCP 客户端套接字连接。

这是一个必须等待的协程，一旦套接字连接打开就会返回。

该函数返回用于与套接字交互的 StreamReader 和 StreamWriter 对象。

...
# open a connection
reader, writer = await asyncio.open_connection(...)

asyncio.open_connection() 函数采用许多参数来配置套接字连接。两个必需的参数是主机和端口。

host 是一个字符串，指定要连接的服务器，例如域名或 IP 地址。

port为socket端口号，如HTTP服务器为80，HTTPS服务器为443，SMTP为23等。

...
# open a connection to an http server
reader, writer = await asyncio.open_connection('www.google.com', 80)

通过 SSL 协议支持加密套接字连接。最常见的例子可能是正在取代 HTTP 的 HTTPS。这可以通过将“ssl”参数设置为 True 来实现。

...
# open a connection to an https server
reader, writer = await asyncio.open_connection('www.google.com', 443, ssl=True)

3. 如何启动服务器

可以使用 asyncio.start_server() 函数打开 asyncio TCP 服务器套接字。这是一个必须等待的协程。

该函数返回一个代表正在运行的服务器的 asyncio.Server 对象。

...
# start a tcp server
server = await asyncio.start_server(...)

三个必需的参数是回调函数、主机和端口。回调函数是一个由名称指定的自定义函数，每次客户端连接到服务器时都会调用该函数。

主机是客户端将指定连接的域名或 IP 地址。端口是接收连接的套接字端口号，例如 21 用于 FTP 或 80 用于 HTTP。

# handle connections
async def handler(reader, writer):
	# ...
...
# start a server to receive http connections
server = await asyncio.start_server(handler, '127.0.0.1', 80)

4. 如何使用 StreamWriter 写入数据

我们可以使用 asyncio.StreamWriter 将数据写入套接字。数据以字节形式写入。可以使用 write() 方法将字节数据写入套接字。

...
# write byte data
writer.write(byte_data)

或者，可以使用 writelines() 方法写入组织成列表或可迭代的多“行”字节数据。

...
# write lines of byte data
writer.writelines(byte_lines)

写入数据块或挂起调用协程的方法都没有。写入字节数据后，最好通过 drain() 方法清空套接字。这是一个Coroutine，将暂停呼叫者，直到传输字节并准备好插座为止。

...
# write byte data
writer.write(byte_data)
# wait for data to be transmitted
await writer.drain()

5. 如何使用 StreamReader 读取数据

我们可以使用 asyncio.StreamReader 从套接字读取数据。数据以字节格式读取，因此字符串在使用前可能需要进行编码。所有读取方法都是必须等待的协程。

可以通过 read() 方法读取任意数量的字节，该方法将一直读取到文件末尾 (EOF)。

...
# read byte data
byte_data = await reader.read()

此外，可以通过“n”参数指定要读取的字节数。如果您知道下一个响应的预期字节数，这可能会有所帮助。

...
# read byte data
byte_data = await reader.read(n=100)

可以使用 readline() 方法读取单行数据。这将返回字节，直到遇到换行符“\n”或 EOF。

这在阅读使用文本行操作的标准协议时很有用。

...
# read a line data
byte_line = await reader.readline()

此外，还有一个 readexactly() 方法来读取确切数量的字节，否则会引发异常，还有一个 readuntil() 方法将读取字节，直到读取字节形式的指定字符。

6. 如何关闭连接

可以通过 asyncio.StreamWriter 关闭套接字。可以调用 close() 方法来关闭套接字。此方法不会阻塞。

...
# close the socket
writer.close()

虽然 close() 方法不会阻塞，但我们可以等待套接字完全关闭后再继续。这可以通过 wait_closed() 方法来实现。这是一个可以等待的协程。

...
# close the socket
writer.close()
# wait for the socket to close
await writer.wait_closed()

我们可以通过 is_closing() 方法检查套接字是否已经关闭或正在关闭。

...
# check if the socket is closed or closing
if writer.is_closing():
	# ...

以上就是Python 异步之非阻塞流使用示例详解的详细内容，更多关于Python 异步 非阻塞流的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • 如何使用Python异步之上下文管理器

    目录 正文 1. 什么是异步上下文管理器 1.1. Context Manager 1.2. Asynchronous Context Manager 2. 如何使用异步上下文管理器 2.1. 定义 2.2. 使用 3. 异步上下文管理器和“异步”示例 正文 上下文管理器是一种 Python 构造,它提供了一个类似 try-finally 的环境,具有一致的接口和方便的语法,例如通过“with”表达. 它通常与资源一起使用,确保在我们完成资源后始终关闭或释放资源,无论资源的使用是成功还是因异常而

  • Python 异步之在 Asyncio中如何运行阻塞任务详解

    目录 正文 1. 阻塞任务 2. 如何运行阻塞任务 3. 实例 正文 阻塞任务是阻止当前线程继续进行的任务. 如果在 asyncio 程序中执行阻塞任务,它会停止整个事件循环,从而阻止任何其他协程继续进行. 我们可以通过 asyncio.to_thread() 和 loop.run_in_executor() 函数在 asyncio 程序中异步运行阻塞调用. 1. 阻塞任务 asyncio的重点是异步编程和非阻塞IO.然而,我们经常需要在 asyncio 应用程序中执行阻塞函数调用. 这可能有很

  • Python 异步如何使用等待有时间限制协程

    目录 正文 1. 什么是 Asyncio wait_for() 2. 如何使用 Asyncio wait_for() 3. 带有超时的 Asyncio wait_for() 示例 正文 我们可以使用 asyncio.wait_for() 函数等待 asyncio 任务或协程超时完成.如果在任务完成之前超时已过,任务将被取消. 1. 什么是 Asyncio wait_for() asyncio.wait_for() 函数允许调用者等待 asyncio 任务或协程超时完成.如果没有指定超时,wait

  • Python异步之迭代器如何使用详解

    目录 正文 1. 什么是异步迭代器 1.1. Iterators 1.2. Asynchronous Iterators 2. 什么是“async for”循环? 3. 如何使用异步迭代器 4. 异步迭代器示例 正文 迭代是 Python 中的基本操作.我们可以迭代列表.字符串和所有其他结构. Asyncio 允许我们开发异步迭代器.我们可以通过定义一个实现 aiter() 和 anext() 方法的对象来在 asyncio 程序中创建和使用异步迭代器. 1. 什么是异步迭代器 异步迭代器是一个

  • Python 异步之推导式示例详解

    目录 引言 1. 什么是异步推导式 2. 推导式 3. 异步推导式 4. Await 推导式 引言 当我们想到“pythonic”时,理解,如列表和字典理解是 Python 的一个特性. 这是我们执行循环的一种方式,与许多其他语言不同. Asyncio 允许我们使用异步推导式. 我们可以通过“async for”表达式使用异步推导式来遍历异步生成器和异步迭代器. 1. 什么是异步推导式 异步推导式是经典推导式的异步版本.Asyncio 支持两种类型的异步推导式,它们是“async for”推导式

  • Python 异步之生成器示例详解

    目录 正文 1. 什么是异步生成器 1.1. Generators 1.2. Asynchronous Generators 2. 如何使用异步生成器 2.1. 定义 2.2. 创建 2.3. 一步 2.4. 遍历 3. 异步生成器示例 正文 生成器是 Python 的基本组成部分.生成器是一个至少有一个“yield”表达式的函数.它们是可以暂停和恢复的函数,就像协程一样. 实际上,Python 协程是 Python 生成器的扩展.Asyncio 允许我们开发异步生成器.我们可以通过定义一个使用

  • Python 异步之非阻塞流使用示例详解

    目录 1. 异步流 2. 如何打开连接 3. 如何启动服务器 4. 如何使用 StreamWriter 写入数据 5. 如何使用 StreamReader 读取数据 6. 如何关闭连接 1. 异步流 asyncio 的一个主要好处是能够使用非阻塞流. Asyncio 提供非阻塞 I/O 套接字编程.这是通过流提供的. 可以打开提供对流写入器和流写入器的访问的套接字.然后可以使用协同程序从流中写入和读取数据,并在适当的时候暂停.完成后,可以关闭套接字. 异步流功能是低级的,这意味着必须手动实现所需

  • Python异步爬虫多线程与线程池示例详解

    Python异步爬虫多线程与线程池示例详解

    目录 背景 异步爬虫方式 多线程,多进程(不建议) 线程池,进程池(适当使用) 单线程+异步协程(推荐) 多线程 线程池 背景 当对多个url发送请求时,只有请求完第一个url才会接着请求第二个url(requests是一个阻塞的操作),存在等待的时间,这样效率是很低的.那我们能不能在发送请求等待的时候,为其单独开启进程或者线程,继续请求下一个url,执行并行请求 异步爬虫方式 多线程,多进程(不建议) 好处:可以为相关阻塞的操作单独开启线程或者进程,阻塞操作就可以异步会执行 弊端:不能无限制开

  • Python 异步协程函数原理及实例详解

    Python 异步协程函数原理及实例详解

    这篇文章主要介绍了Python 异步协程函数原理及实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 一. asyncio 1.python3.4开始引入标准库之中,内置对异步io的支持 2.asyncio本身是一个消息循环 3.步骤: (1)创建消息循环 (2)把协程导入 (3)关闭 4.举例: import threading # 引入异步io包 import asyncio # 使用协程 @ asyncio.coroutine def

  • 对python GUI实现完美进度条的示例详解

    在用python做一个GUI界面时,想搞一个进度条实时显示下载进度,但查阅很多博客,最后的显示效果都类似下面这种: 这种效果在CMD界面看着还可以,但放到图形界面时就有点丑了,所以我用Canvas重新做了一个进度条,完美满足了我的要求,看着也比较舒服. import time import threading from tkinter import * def update_progress_bar(): for percent in range(1, 101): hour = int(perc

  • python中前缀运算符 *和 **的用法示例详解

    这篇主要探讨 ** 和 * 前缀运算符,**在变量之前使用的*and **运算符. 一个星(*):表示接收的参数作为元组来处理 两个星(**):表示接收的参数作为字典来处理 简单示例: >>> numbers = [2, 1, 3, 4, 7] >>> more_numbers = [*numbers, 11, 18] >>> print(*more_numbers, sep=', ') 2, 1, 3, 4, 7, 11, 18 用途: 使用 * 和

  • Python爬虫之爬取淘女郎照片示例详解

    本篇目标 抓取淘宝MM的姓名,头像,年龄 抓取每一个MM的资料简介以及写真图片 把每一个MM的写真图片按照文件夹保存到本地 熟悉文件保存的过程 1.URL的格式 在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1,问号前面是基地址,后面的参数page是代表第几页,可以随意更换地址.点击开之后,会发现有一些淘宝MM的简介,并附有超链接链接到个人详情页面. 我们需要抓取本页面的头像地址,MM姓名,MM年龄,MM居住地,

  • python爬虫使用requests发送post请求示例详解

    简介 HTTP协议规定post提交的数据必须放在消息主体中,但是协议并没有规定必须使用什么编码方式.服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码,再对消息主体进行解析.具体的编码方式包括: application/x-www-form-urlencoded 最常见post提交数据的方式,以form表单形式提交数据. application/json 以json串提交数据. multipart/form-data 一般使用来上传文件. 一. 以f

  • python编程普通及类和静态方法示例详解

    目录 前言 运行环境 普通方法 类方法 静态方法 前言 本文主要讲述了python类中的三类常用方法,普通方法.类方法和静态方法.  本文主要参考了https://youtu.be/rq8cL2XMM5M,强烈推荐一看这个系列的所有视频. 运行环境 import sys sys.version 结果为 '3.6.1 |Anaconda 4.4.0 (64-bit)| (default, May 11 2017, 13:25:24) [MSC v.1900 64 bit (AMD64)]' 普通方

  • Python数学建模PuLP库线性规划入门示例详解

    目录 1.什么是线性规划 2.PuLP 库求解线性规划 -(0)导入 PuLP库函数 -(1)定义一个规划问题 -(2)定义决策变量 -(3)添加目标函数 -(4)添加约束条件 -(5)求解 3.Python程序和运行结果 1.什么是线性规划 线性规划(Linear programming),在线性等式或不等式约束条件下求解线性目标函数的极值问题,常用于解决资源分配.生产调度和混合问题.例如: max fx = 2*x1 + 3*x2 - 5*x3 s.t. x1 + 3*x2 + x3 <=

  • Python黑魔法库安装及操作字典示例详解

    Python黑魔法库安装及操作字典示例详解

    目录 1. 安装方法 2. 简单示例 3. 兼容字典的所有操作 4. 设置返回默认值 5. 工厂函数自动创建key 6. 序列化的支持 7. 说说局限性 本篇文章收录于<Python黑魔法手册>v3.0 第七章,手册完整版在线阅读地址:Python黑魔法手册 3.0 文档 字典是 Python 中基础的数据结构之一,字典的使用,可以说是非常的简单粗暴,但即便是这样一个与世无争的数据结构,仍然有很多人 "用不惯它" . 也许你并不觉得,但我相信,你看了这篇文章后,一定会和我一

随机推荐