python迭代器,生成器详解

目录
  • 迭代器
  • 生成器
  • 总结

迭代器

聊迭代器前我们要先清楚迭代的概念:通常来讲从一个对象中依次取出数据,这个过程叫做遍历,这个手段称为迭代(重复执行某一段代码块,并将每一次迭代得到的结果作为下一次迭代的初始值)。

  • 可迭代对象(iterable):是指该对象可以被用于for…in…循环,例如:集合,列表,元祖,字典,字符串,迭代器等。

    • 在python中如果一个对象实现了 __iter__方法,我们就称之为可迭代对象,可以查看set\list\tuple…等源码内部均实现了__iter__方法
    • 如果一个对象未实现__iter__方法,但是对其使用for…in则会抛出TypeError: ‘xxx' object is not iterable
    • 可以通过isinstance(obj,Iterable)来判断对象是否为可迭代对象。如:
from collections.abc import Iterable
a: int = 1
print(isinstance(a, Iterable))  # False
b: str = "lalalalala"
print(isinstance(b, Iterable))  # True
c: set = set([1, 2])
print(isinstance(c, Iterable))  # True

我们也可以自己实现__iter__来将一个类实例对象变为可迭代对象:

class MyIterable:
	def __iter__(self):
		pass

print(isinstance(MyIterable(), Iterable)) # True
  • 迭代器:对可迭代对象进行迭代的方式或容器,并且需要记录当前迭代进行到的位置。

    • 在python中如果一个对象同时实现了__iter__和__next__(获取下一个值)方法,那么它就是一个迭代器对象。
    • 可以通过内置函数next(iterator),来获取当前迭代的值
    • 迭代器一定是可迭代对象,可迭代对象不一定是迭代器。
    • 如果可迭代对象遍历完后继续调用next(),则会抛出:StopIteration异常。
    • 自己实现一个迭代器对象:
from collections.abc import Iterator, Iterable
class MyIterator:
	def __init__(self, array_list):
		self.array_list = array_list
		self.index = 0
	def __iter__(self):
		return self
	def __next__(self):
		if self.index < len(self.array_list):
			val = self.array_list[self.index]
			self.index += 1
			return val
		else:
			raise StopIteration
# 父类如果是迭代器,子类也将是迭代器
class MySubIterator(MyIterator):
	def __init__(self):
		pass

myIterator = MyIterator([1, 2, 3, 4])
# 判断是否为可迭代对象
print(isinstance(myIterator, Iterable))  # True
# 判断是否为迭代器
print(isinstance(myIterator, Iterator))  # True
# 子类实例化
mySubIterator = MySubIterator()
print(isinstance(mySubIterator, Iterator))  # True
# 进行迭代
print(next(myIterator))  # 1
print(next(myIterator))  # 2
print(next(myIterator))  # 3
print(next(myIterator))  # 4
print(next(myIterator))  # raise StopIteration

迭代器优缺点:

 - 优点:迭代器对象表示的是一个数据流,可以在需要时才去调用next来获取一个值;因而本身在内存中始终只保留一个值,对于内存占用小可以存放无限数据流。优于其他容器需要一次将所有元素都存放进内存,如:列表、集合、字典...等
 - 缺点:1.无法获取存放的元素长度,除非取完计数。2.只能向后取值,next()永远返回的是下一个值。取值不灵活,无法取出指定值(无法像字典的key,或列表的下标),而且迭代器的生命周期是一次性的元素被迭代完则生命周期结束

生成器

义:在Python中,一边循环一边计算的机制,称为生成器:generator;同时生成器对象也是迭代器对象,所以他有迭代器的特性;例如支持for循环、next()方法…等

作用:对象中的元素是按照某种算法推算出来的,在循环的过程中不断推算出后续的元素,这样就不必创建完整的list,从而节省大量的空间。

  • 简单生成器:通过将列表生成式[]改成()即可得到一个生成器对象
# 列表生成式
_list = [i for i in range(10)]
print(type(_list))  # <class 'list'>
print(_list)  # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
# 生成器
_generator = (i for i in range(10))
print(type(_generator))  # <class 'generator'>
print(_generator)  # <generator object <genexpr> at 0x7fbcd92c9ba0>
# 生成器对象取值
print(_generator.__next__())  # 0
print(next(_generator)) # 1
# 注意从第三个元素开始了!
for x in _generator:
	print(x)  # 2,3,4,5,6,7,8,9

因为生成器对象也有迭代器的特性,所以元素迭代完后继续调用next()方法则会引发StopIteration。

  • 函数对象生成器:带yield语句的函数对象的返回值则是个生成器对象。
def gen_generator():
	yield 1

def generator():
	return 1

print(gen_generator(), type(gen_generator()))
# <generator object gen_generator at 0x7fe68b2c8b30> <class 'generator'>
print(generator(), type(generator()))
# 1 <class 'int'>

他与普通函数返回值有所不同,普通函数运行到return语句则直接返回代码不再执行;而生成器对象会运行到yield后返回,再下次调用时从yield语句后继续执行。如:

注意:yield 一次只会返回一个元素,即使返回的元素是个可迭代对象,也是一次性返回

def gen_generator2():
	yield [1, 2, 3]

s = gen_generator2()
print(next(s))  # [1, 2, 3]
  • yield生成器高级应用:
  • send()方法,传递yield的值

借助send我们可以实现一个简单的生产者-消费者模式如:

def consumer():
	r = ''
	while True:
		n = yield r
		if not n:
			return
		print(f'[CONSUMER] Consuming get params.. ({n})')
		if n == 3:
			r = '500 Error'
		else:
			r = '200 OK'

def produce(c):
	c.send(None)  # 启动生成器
	n = 0
	while n < 5:
		n = n + 1
		print(f'[PRODUCER] Producing with params.. ({n})')
		r = c.send(n)  # 一旦n有值,则切换到consumer执行
		print(f'[PRODUCER] Consumer return : [{r}]')
		if not r.startswith('200'):
			print("消费者返回服务异常,则结束生产,并关闭消费者")
			c.close()  # 关闭生成器
			break

consume = consumer()
produce(consume)
# [PRODUCER] Producing with params.. (1)
# [CONSUMER] Consuming get params.. (1)
# [PRODUCER] Consumer return : [200 OK]
# [PRODUCER] Producing with params.. (2)
# [CONSUMER] Consuming get params.. (2)
# [PRODUCER] Consumer return : [200 OK]
# [PRODUCER] Producing with params.. (3)
# [CONSUMER] Consuming get params.. (3)
# [PRODUCER] Consumer return : [500 Error]
# 消费者返回服务异常,则结束生产,并关闭消费者
  • yield from iterable 语法,基本作用为:返回一个生成器对象,提供一个“数据传输的管道”,yield from iterable 是 for item in iterable: yield item的缩写;并且内部帮我们实现了很多异常处理,简化了编码复杂度。
  • yield 无法获取生成器return的返回值:
def my_generator(n, end_case):
	for i in range(n):
		if i == end_case:
			return f'当 i==`{i}`时,中断程序。'
		else:
			yield i

g = my_generator(5, 2)  # 调用
for _i in g:  # for循环不会显式触发异常,故而无法获取到return的值
	print(_i)
# 输出:
# 0
# 1

从上面的例子可以看出,for迭代语句不会显式触发异常,故而无法获取到return的值,迭代到2的时候遇到return语句,隐式的触发了StopIteration异常,就终止迭代了,但是在程序中不会显示出来。

可以通过next()显示的触发StopIteration异常来获取返回值:

def my_generator2(n, end_case):
	for i in range(n):
		if i == end_case:
			return f'当 i==`{i}`时,中断程序。'
		else:
			yield i

g = my_generator2(5, 2)  # 调用
try:
	print(next(g))  # 0
	print(next(g))  # 1
	print(next(g))  # 此处要触发end_case了
except StopIteration as exc:
	print(exc.value)  # 当 i==`2`时,中断程序。

使用yield from 可以简化成:

def my_generator3(n, end_case):
	for i in range(n):
		if i == end_case:
			return f'当 i==`{i}`时,中断程序。'
		else:
			yield i

def wrap_my_generator(generator):  # 将my_generator的返回值包装成一个生成器
	result = yield from generator
	yield result

g = my_generator3(5, 2)  # 调用
for _ in wrap_my_generator(g):
	print(_)
# 输出:
# 0
# 1
# 当 i==`2`时,中断程序。

yield from 有以下几个概念名词:

1、调用方:调用委派生成器的客户端(调用方)代码(上文中的wrap_my_generator(g))

2、委托生成器:包含yield from表达式的生成器函数(包装),作用就是提供一个数据传输的管道(上文中的wrap_my_generator

3、子生成器:yield from后面加的生成器函数(上文中的my_generator

调用方是通过这个 “包装函数” 来与生成器进行交互的,即“调用方——>委托生成器——>生成器函数”
下面有个例子帮助大家理解

# 子生成器
def average_gen():
	total = 0
	count = 0
	average = 0
	while True:
		new_num = yield average
		if new_num is None:
			break
		count += 1
		total += new_num
		average = total / count
	# 每一次return,都意味着当前协程结束。
	return total, count, average

# 委托生成器
def proxy_gen():
	while True:
		# 只有子生成器要结束(return)了,yield from左边的变量才会被赋值,后面的代码才会执行。
		total, count, average = yield from average_gen()
		print("总共传入 {} 个数值, 总和:{},平均数:{}".format(count, total, average))

# 调用方
def main():
	calc_average = proxy_gen()
	next(calc_average)  # 激活协程
	calc_average.send(10)  # 传入:10
	calc_average.send(None)  # 结束协程
	print("================== 重开协程 ===================")
	calc_average.send(20)  # 传入:20
	calc_average.send(30)  # 传入:30
	calc_average.send(None)  # 结束协程

if __name__ == '__main__':
	main()
# 输出:
# 总共传入 1 个数值, 总和:10,平均数:10.0
# ================== 重开协程 ===================
# 总共传入 2 个数值, 总和:50,平均数:25.0

有兴趣的同学可以结合图和下方一起理解:

  • 迭代器(即可指子生成器)产生的值直接返还给调用者
  • 任何使用send()方法发给委派生产器(即外部生产器)的值被直接传递给迭代器。如果send值是None,则调用迭代器next()方法;如果不为None,则调用迭代器的send()方法。如果对迭代器的调用产生StopIteration异常,委派生产器恢复继续执行yield from后面的语句;若迭代器产生其他任何异常,则都传递给委派生产器。
  • 子生成器可能只是一个迭代器,并不是一个作为协程的生成器,所以它不支持.throw()和.close()方法,即可能会产生AttributeError 异常。
  • 除了GeneratorExit 异常外的其他抛给委派生产器的异常,将会被传递到迭代器的throw()方法。如果迭代器throw()调用产生了StopIteration异常,委派生产器恢复并继续执行,其他异常则传递给委派生产器。
  • 如果GeneratorExit异常被抛给委派生产器,或者委派生产器的close()方法被调用,如果迭代器有close()的话也将被调用。如果close()调用产生异常,异常将传递给委派生产器。否则,委派生产器将抛出GeneratorExit 异常。
  • 当迭代器结束并抛出异常时,yield from表达式的值是其StopIteration 异常中的第一个参数。
  • 一个生成器中的return expr语句将会从生成器退出并抛出 StopIteration(expr)异常。

总结

本篇文章就到这里了,希望能够给你带来帮助,也希望您能够多多关注我们的更多内容!

(0)

相关推荐

  • Python生成器与迭代器详情

    目录 1.生成器 2.迭代器与可迭代的生成器 1.生成器 现在可以通过生成器来直接创建一个列表,但是由于内存的限制,列表的容量肯定是有限的,如果我们需要一个包含几百个元素的列表,但是每次访问的时候只访问其中的几个,那剩下的元素不使用就很浪费内存空间. 这个时候生成器(Generator)就起到了作用,他是按照某种算法不断生成新的数据,直到满足某一个指定的条件结束 得到生成式的方式有如下几种: 通过列表生成式来得到生成器,示例代码如下: g = (x for x in range(10)) # 将

  • 正确理解python迭代器与生成器

    目录 一.迭代器 二.生成器 三.生成器函数 3.1.zip(可迭代对象1,可迭代对象2......) 3.2.enumerate(iterable[,start]) 一.迭代器 迭代器就是iter(可迭代对象函数)返回的对象,说人话.......可迭代对象由一个个迭代器组成 可以用next()函数获取可迭代对象的数据 迭代是访问集合元素的一种方式(因为集合是无序的,所以不能索引),naxt(集合), 迭代器对象从集合的第一个元素开始访问,直到所有元素被访问结束,迭代器只能往前不会往后退 迭代器

  • 浅谈Python中的生成器和迭代器

    迭代器 迭代器协议 对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么返回一个异常来终止本次迭代.(只能往前走,不能往后退!) 迭代器对象 遵循了(实现了)迭代器协议的对象.(对象内部实现了一个__next__方法,以实现迭代器协议)称为一个迭代器对象.他们的作用是逐个遍历容器中的对象.迭代器对象一定是可迭代对象 >>> from collections import Iterable, Iterator >>> l = list([1,2,3]) #

  • 稳扎稳打学Python之容器 可迭代对象 迭代器 生成器专题讲解

    目录 一.容器 1.什么是容器? 二.可迭代对象 1.什么是可迭代对象? 三.迭代器 四.序列 五.列表推导式 六.生成器 1.生成器的第一种创建方法:生成器表达式 2.生成器的第二种创建方法:yield 七.小结 今天就来给大家讲讲Python中的容器.可迭代对象.迭代器和生成器这些难理解的概念,让你的Python基础更上一层楼! 一.容器 1.什么是容器? 在Python中,容器是把多种元素组织在一起的数据结构,容器中的元素就可以逐个迭代获取.说白了,它的作用就像它的名字一样:用来存放东西(

  • Python元类与迭代器生成器案例详解

    1.__getattr__和__getattribute__魔法函数 __getattr__是当类调用一个不存在的属性时才会调用getattr魔法函数,他传入的值item就是你这个调用的不存在的值. __getattribute__则是无条件的优先执行,所以如果不是特殊情况最好不要用__getattribute__. class User(object): def __init__(self, name, info): self.name = name self.info = info def

  • 五分钟带你搞懂python 迭代器与生成器

    前言 大家周末好,今天给大家带来的是Python当中生成器和迭代器的使用. 我当初第一次学到迭代器和生成器的时候,并没有太在意,只是觉得这是一种新的获取数据的方法.对于获取数据的方法而言,我们会一种就足够了.但是在我后来Python的使用以及TensorFlow等学习使用当中,我发现很多地方都用到了迭代器和生成器,或者是直接使用,或者是借鉴了思路.今天就让我们仔细来看看,它们到底是怎么回事. 迭代器 我们先从迭代器开始入手,迭代器并不是Python独有的概念,在C++和Java当中都有itera

  • python学习之可迭代对象、迭代器、生成器

    Iterable – 可迭代对象 能够逐一返回其成员项的对象. 可迭代对象的例子包括所有序列类型 (例如 list, str 和 tuple) 以及某些非序列类型例如 dict, 文件对象以及定义了__iter__()方法或是实现了序列语义的__getitem__() 方法的任意自定义类对象. 可迭代对象可用于 for 循环以及许多其他需要一个序列的地方(zip().map() -).当一个可迭代对象作为参数传给内置函数 iter() 时,它会返回该对象的迭代器.这种迭代器适用于对值集合的一次性

  • 实例讲解Python 迭代器与生成器

    迭代器 迭代是Python最强大的功能之一,是访问集合元素的一种方式. 迭代器是一个可以记住遍历的位置的对象. 迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退. 迭代器有两个基本的方法:iter() 和 next(). 字符串,列表或元组对象都可用于创建迭代器: >>> list=[1,2,3,4] >>> it = iter(list) # 创建迭代器对象 >>> print (next(it)) # 输出迭

  • 一篇文章带你了解python迭代器和生成器

    目录 python迭代器和生成器 2.生成器 总结 python迭代器和生成器 1.迭代器 这里用字典示例 while True 属于无限循环,因字典元素有限,所以用try做异常处理 dict1 = { 'name':'laowang', 'age':18, 'high':180 } iterator = dict1.__iter__() while True: try: res = iterator.__next__() except: break else: print(res,dict1[

  • 彻底搞懂python 迭代器和生成器

    迭代器跟生成器,与上篇文章讲的装饰器一样,都是属于我的一个老大难问题. 通常就是遇到的时候就去搜一下,结果在一大坨各种介绍博客中看了看,回头又忘记了. 你是不是也是这样呢? 俗话说:好记性不如烂笔头,虽然现在基本不咋用笔写字了,但是还是要好好整理下,起码以后我就不用搜了. 如果现在给你一个列表list_a = [1, 2, 3, 4],让你去迭代它,相信大家都很熟悉,直接用for循环就完事儿, list_a = [1, 2, 3, 4] for i in list_a: print(i) 运行

随机推荐