学会迭代器设计模式，帮你大幅提升python性能

大家好，我们的git专题已经更新结束了，所以开始继续给大家写一点设计模式的内容。

今天给大家介绍的设计模式非常简单，叫做iterator，也就是迭代器模式。迭代器是Python语言当中一个非常重要的内容，借助迭代器我们可以很方便地实现很多复杂的功能。在深度学习当中，数据的获取往往也是通过迭代器实现的。因此这部分的内容非常重要，推荐大家一定要掌握。

简单案例

在开始介绍设计模式之前，我们先来看一个简单的需求。假设现在我们需要根据传入的变量获取每周的前几天，比如说我们传入3返回的就是[Mon, Tue, Wed]，我们传入5返回[Mon, Tue, Wed, Thu, Fri]。这个需求大家应该都能理解，非常非常简单。

如果用一个函数来实现的话，就是这样：

def return_days(n):
    week = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
    return week[:n]

你看三行代码就实现了，在这个问题场景当中这样写当然是没有问题。但假如我们把题目稍微变一变，这里的week不是一个固定的数据，而是从上游或者是某个文件当中读取的。这里的n也是一个很大的数，我们把这个函数改写成这样：

def get_data(n):
    data = []
    for i in range(n):
        data.append(get_from_upstream())
    return data

我们假设get_from_upstream这个函数当中实现了获取数据的具体逻辑，那么上面这一段函数有一个什么问题？

有些同学会说这没有问题啊，因为像是其他语言实现数据获取的时候也都是这么干的。的确，像是Java等语言可能都是这么干的。但是其他语言这么干没错，不代表Python这么干也没错。因为我们没有把Python的能力发挥到最大。

这里有两个问题，第一个问题是延迟，因为前面说了，n是一个很大的数。我们从上游获取数据，无论是通过网络还是文件读取，本质上都是IO操作，IO操作的延迟是非常大的。那么我们把这n条数据全部搜集完可能需要很长的时间，导致下游的漫长等待。第二个问题就是内存，因为我们存储了这n条数据一起返回的，如果n很大，对于内存的开销压力也很大，如果机器内存不够很有可能导致崩溃。

那怎么解决呢？

其实解决的方法很简单，如果对迭代器熟悉的话，会发现迭代器针对的恰恰是这两个问题。我们把上面的逻辑改写成迭代器实现即可，这也就是iterator模式。

iterator模式

iterator模式严格说起来其实只是迭代器的一种应用，它非常巧妙地将迭代器与匿名函数结合在一起，里面也没有太多的门道可以说，我们把刚才的代码改写一下，细节都在代码当中。

def get_data(n):
    for i in range(n):
  yield get_from_upstream()

data_10 = lambda: get_data(10)
data_100 = lambda: get_data(100)

# use
for d in data_10:
    print(d)

很简单吧，但可能你要问了，我们既然写出了get_data这个迭代器，那么我们使用的时候直接for d in get_data(10)这样用不就好了，为什么中间要用匿名函数包一层呢？

道理也很简单，如果这个数据是我们自己使用，当然是没必要中间包一层的。但如果我们是传给下游使用的话，对于下游来说它肯定是不希望考虑上游太多的细节的，越简单越好。所以我们直接丢一个包装好的迭代器过去，下游直接call即可。否则的话，下游还需要感知get_data这个函数传入的参数，显然是不够合理的。

以上就是学会迭代器设计模式，帮你大幅提升python性能的详细内容，更多关于python 迭代器设计模式的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • Python设计模式之迭代器模式原理与用法实例分析

    Python设计模式之迭代器模式原理与用法实例分析

    本文实例讲述了Python设计模式之迭代器模式原理与用法.分享给大家供大家参考,具体如下: 迭代器模式(Iterator Pattern):提供方法顺序访问一个聚合对象中各元素,而又不暴露该对象的内部表示. 下面是一个迭代器模式的demo: #!/usr/bin/env python # -*- coding:utf-8 -*- __author__ = 'Andy' """ 大话设计模式 设计模式--迭代器模式 迭代器模式(Iterator Pattern):提供方法顺序访

  • Python迭代器Iterable判断方法解析

    迭代器(Iterable):能直接作用于for循环的对象,统称可迭代对象.例如:list.tuple.set.str.generator都是可迭代对象. 1.如何判断一个对象是否可迭代: # 如何判断一个对象是可迭代对象 #导入collections.abc模块中的Iterable对象 import collections.abc # 判断str是否可迭代 a=isinstance('abc',collections.abc.Iterable) # 打印迭代结果 print(a) # 导入col

  • python迭代器常见用法实例分析

    本文实例讲述了python迭代器常见用法.分享给大家供大家参考,具体如下: 迭代器 迭代是访问集合元素的一种方式.迭代器是一个可以记住遍历的位置的对象.迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退. 1. 可迭代对象 我们已经知道可以对list.tuple.str等类型的数据使用for-in-的循环语法从其中依次拿到数据进行使用,我们把这样的过程称为遍历,也叫迭代. 但是,是否所有的数据类型都可以放到for-in-的语句中,然后让for-in-每次从中

  • 彻底搞懂python 迭代器和生成器

    迭代器跟生成器,与上篇文章讲的装饰器一样,都是属于我的一个老大难问题. 通常就是遇到的时候就去搜一下,结果在一大坨各种介绍博客中看了看,回头又忘记了. 你是不是也是这样呢? 俗话说:好记性不如烂笔头,虽然现在基本不咋用笔写字了,但是还是要好好整理下,起码以后我就不用搜了. 如果现在给你一个列表list_a = [1, 2, 3, 4],让你去迭代它,相信大家都很熟悉,直接用for循环就完事儿, list_a = [1, 2, 3, 4] for i in list_a: print(i) 运行

  • 五分钟带你搞懂python 迭代器与生成器

    前言 大家周末好,今天给大家带来的是Python当中生成器和迭代器的使用. 我当初第一次学到迭代器和生成器的时候,并没有太在意,只是觉得这是一种新的获取数据的方法.对于获取数据的方法而言,我们会一种就足够了.但是在我后来Python的使用以及TensorFlow等学习使用当中,我发现很多地方都用到了迭代器和生成器,或者是直接使用,或者是借鉴了思路.今天就让我们仔细来看看,它们到底是怎么回事. 迭代器 我们先从迭代器开始入手,迭代器并不是Python独有的概念,在C++和Java当中都有itera

  • python 使用cycle构造无限循环迭代器

    python 使用cycle构造无限循环迭代器

    一.引入方式 from itertools import cycle 二.使用方法 我们先来看看它的源码 cycle它接收一个可迭代对象,可以将一个可迭代对象转换为一个可以无限迭代的迭代器 源码里我们可以看到它实现了__iter__和__next__的魔术方法,说明它既是可迭代对象也是一个迭代器,我们可以使用for循环和next()方法去操作它 我们先来看看以普通的方式去遍历一个列表 li = ['python', 'java', 'c', 'ruby', 'php', 'javascript'

  • Python迭代器协议及for循环工作机制详解

    一.递归与迭代 二.什么是迭代器协议 1.迭代器协议是指:对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么就引起一个stopiteration异常,已终止迭代(只能往后走不能往前退) 2.可迭代对象:实现了迭代器协议的对象(如何实现:对象内部定义一个__iter__()方法) 3.协议是一种约定,可迭代对象实现了迭代器协议,python的内部工具(如for循环,sum,min,max函数等)使用迭代器协议访问对象. 三.python中强大的for循环机制 for循环的本质:循

  • next在python中返回迭代器的实例方法

    在python中有不少对于集合迭代的方法,我们把程序运行后的再一次循环叫做迭代,每一次都循环都可以看做是一次迭代.那么在迭代结束后,我们需要使用next函数来返回迭代器中.接下来我们就next的用法.参数.返回值.在python中返回迭代器的实例给大家进行展示. 1.next()用法 next(iterator[, default]) 2.参数说明 iterable -- 可迭代对象 default -- 可选,用于设置在没有下一个元素时返回该默认值,如果不设置,又没有下一个元素则会触发 Sto

  • 实例讲解Python 迭代器与生成器

    迭代器 迭代是Python最强大的功能之一,是访问集合元素的一种方式. 迭代器是一个可以记住遍历的位置的对象. 迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退. 迭代器有两个基本的方法:iter() 和 next(). 字符串,列表或元组对象都可用于创建迭代器: >>> list=[1,2,3,4] >>> it = iter(list) # 创建迭代器对象 >>> print (next(it)) # 输出迭

  • Python使用设计模式中的责任链模式与迭代器模式的示例

    Python使用设计模式中的责任链模式与迭代器模式的示例

    责任链模式 责任链模式:将能处理请求的对象连成一条链,并沿着这条链传递该请求,直到有一个对象处理请求为止,避免请求的发送者和接收者之间的耦合关系. #encoding=utf-8 # #by panda #职责连模式 def printInfo(info): print unicode(info, 'utf-8').encode('gbk') #抽象职责类 class Manager(): successor = None name = '' def __init__(self, name):

随机推荐