Python 的lru_cache装饰器使用简介

Python 的 lru_cache 装饰器是一个为自定义函数提供缓存功能的装饰器。其内部会在下次以相同参数调用该自定义函数时直接返回计算好的结果。通过缓存计算结果可以很好地提升性能。

1 从示例说起

假设我们有一个计算斐波那契数列的求和函数，其内部采用递归方式实现。

from xxx.clock_decorator import clock

@clock
def fibonacci(n):
 if n<2:
  return n
 return fibonacci(n-2)+fibonacci(n-1)

if __name__=='__main__':
 logging.info('fibonacci(6) -> %s',fibonacci(6))

运行结果：

其中的 clock_decorator 实现是一个可以输出某个函数运行时长的装饰器1。

从输出结果中可以看出，存在着严重的重复计算情况，比如 fibonacci(1) 就被计算了 5 次之多。这还只是计算 6 次的 fibonacci 函数。

2 优化

上面的示例代码加入 lru_cache 装饰器：

运行结果：

这次不存在重复计算现象，因此性能得到极大的提升。

3 比较

利用 cProfile 进行性能比较分析。它是一种确定性分析器，只测量 CPU 时间，并不包含内存消耗和其他与内存相关联的信息2。

假设我们需要计算 fibonacci(33) 求和值。

（1）不使用 lru_cache 装饰器

这个递归函数内部总共调用了 1000 多万次的 fibonacci() 函数！

（2）使用了 lru_cache 装饰器

使用了 lru_cache 装饰器之后，这个递归函数只需调用 100 多次fibonacci() 函数！性能有了质的提升。

4 lru_cache 装饰器

lru_cache 装饰器支持两个入参，它的完整定义格式为3： @functools.lru_cache(maxsize=128, typed=False)

参数  默认值  说明
maxsize  128  表示缓存大小。如果设置为 None，则不限大小；如果超过缓存大小，则使用 LRU 策略清理缓存。缓存的大小限制可确保缓存不会无限制增长。LRU（Least Recently Used），即删除最近最少使用的缓存数据。
typed  False  如果为true，不同类型的参数将会被分别缓存，比如区分浮点数与整型。

注意：由于使用了字典来存储缓存，所以所装饰的函数参数必须是可哈希的。

利用 cache_info() 函数，我们还可以看到命中次数 hits，未命中次数 misses ，最大缓存数量 maxsize 和 当前缓存大小 currsize。使用方式是直接调用被装饰函数的 cache_info()，形如：fibonacci.cache_info())。

只要某个函数递归调用并存在重复计算的情况，这时就要记着使用 lru_cache 这个性能加速器。

以上就是Python 的lru_cache 装饰器使用简介的详细内容，更多关于Python 的lru_cache 装饰器的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • python 装饰器的实际作用有哪些

    接上一篇 终于知道python的装饰器是怎么回事,那在工作中,到底能干吗用呢? 尤其对我这个只会写写脚本又不做python开发的小测试/手动无辜脸. 先说结论,肯定是有用处滴. 一.自动化测试中使用 就拿写的自动化测试来说吧,如果我想统一的输出点东西,比如:case的运行时长,case名称等等,那就可以用起来. 首先,看下最简单的case,没有装饰器: import pytest def test_01(): a = 1 b = 2 assert a < b def test_02(): a =

  • Python中lru_cache的使用和实现详解

    在计算机软件领域,缓存(Cache)指的是将部分数据存储在内存中,以便下次能够更快地访问这些数据,这也是一个典型的用空间换时间的例子.一般用于缓存的内存空间是固定的,当有更多的数据需要缓存的时候,需要将已缓存的部分数据清除后再将新的缓存数据放进去.需要清除哪些数据,就涉及到了缓存置换的策略,LRU(Least Recently Used,最近最少使用)是很常见的一个,也是 Python 中提供的缓存置换策略. 下面我们通过一个简单的示例来看 Python 中的 lru_cache 是如何使用的.

  • Python 中的函数装饰器和闭包详解

    Python 中的函数装饰器和闭包详解

    函数装饰器可以被用于增强方法的某些行为,如果想自己实现装饰器,则必须了解闭包的概念. 装饰器的基本概念 装饰器是一个可调用对象,它的参数是另一个函数,称为被装饰函数.装饰器可以修改这个函数再将其返回,也可以将其替换为另一个函数或者可调用对象. 例如:有个名为 decorate 的装饰器: @decorate def target(): print('running target()') 上述代码的写法和以下写法的效果是一样的: def target(): print('running targe

  • 详解Python模块化编程与装饰器

    我们首先以一个例子来介绍模块化编程的应用场景,有这样一个名为requirements.py的python3文件,其中两个函数的作用是分别以不同的顺序来打印一个字符串: # requirements.py def example1(): a = 'hello world!' print (a) print (a[::-1]) def example2(): b = 'hello again!' print (b) print (b[::-1]) if __name__ == '__main__':

  • Python实现的一个简单LRU cache

    起因:我的同事需要一个固定大小的cache,如果记录在cache中,直接从cache中读取,否则从数据库中读取.python的dict 是一个非常简单的cache,但是由于数据量很大,内存很可能增长的过大,因此需要限定记录数,并用LRU算法丢弃旧记录.key 是整型,value是10KB左右的python对象 分析: 1)可以想到,在对于cache,我们需要维护 key -> value 的关系 2)而为了实现LRU,我们又需要一个基于时间的优先级队列,来维护   timestamp  ->

  • Python classmethod装饰器原理及用法解析

    英文文档: classmethod(function) Return a class method for function. A class method receives the class as implicit first argument, just like an instance method receives the instance. To declare a class method, use this idiom: class C: @classmethod def f(c

  • python装饰器代码深入讲解

    python装饰器就是用于扩展原函数功能的一种函数,这个函数特殊的地方就是它的返回值也是一个函数,使用Python装饰器的一个好处就是:在不需要修改原函数代码的情况下,给函数增加新的功能. 先来看个例子: def say(): print('Nice day') say() # 这个函数的输出为: Nice day 现在,我想在输出Nice day的前面再打印一行****************,类似下面的效果: **************** Nice day 一般情况下,我可以修改上面的代

  • python 装饰器重要在哪

    1.什么是装饰器? 要理解什么是装饰器,您首先需要熟悉Python处理函数的方式.从它的观点来看,函数和对象没有什么不同.它们有属性,可以重新分配: def func(): print('hello from func') func() > hello from func new_func = func new_func() > hello from func print(new_func.__name__) > func 此外,你还可以将它们作为参数传递给其他函数: def func(

  • Python 的lru_cache装饰器使用简介

    Python 的lru_cache装饰器使用简介

    Python 的 lru_cache 装饰器是一个为自定义函数提供缓存功能的装饰器.其内部会在下次以相同参数调用该自定义函数时直接返回计算好的结果.通过缓存计算结果可以很好地提升性能. 1 从示例说起 假设我们有一个计算斐波那契数列的求和函数,其内部采用递归方式实现. from xxx.clock_decorator import clock @clock def fibonacci(n): if n<2: return n return fibonacci(n-2)+fibonacci(n-1

  • Python新手学习装饰器

    python函数式编程之装饰器 1.开放封闭原则 简单来说,就是对扩展开放,对修改封闭. 在面向对象的编程方式中,经常会定义各种函数.一个函数的使用分为定义阶段和使用阶段,一个函数定义完成以后,可能会在很多位置被调用.这意味着如果函数的定义阶段代码被修改,受到影响的地方就会有很多,此时很容易因为一个小地方的修改而影响整套系统的崩溃,所以对于现代程序开发行业来说,一套系统一旦上线,系统的源代码就一定不能够再改动了.然而一套系统上线以后,随着用户数量的不断增加,一定会为一套系统扩展添加新的功能. 此

  • Python中的装饰器用法详解

    本文实例讲述了Python中的装饰器用法.分享给大家供大家参考.具体分析如下: 这里还是先由stackoverflow上面的一个问题引起吧,如果使用如下的代码: 复制代码 代码如下: @makebold @makeitalic def say():    return "Hello" 打印出如下的输出: <b><i>Hello<i></b> 你会怎么做?最后给出的答案是: 复制代码 代码如下: def makebold(fn):    

  • 老生常谈Python进阶之装饰器

    函数也是对象 要理解Python装饰器,首先要明白在Python中,函数也是一种对象,因此可以把定义函数时的函数名看作是函数对象的一个引用.既然是引用,因此可以将函数赋值给一个变量,也可以把函数作为一个参数传递或返回.同时,函数体中也可以再定义函数. 装饰器本质 可以通过编写一个纯函数的例子来还原装饰器所要做的事. def decorator(func): def wrap(): print("Doing someting before executing func()") func(

  • 详解Python中的装饰器、闭包和functools的教程

    装饰器(Decorators) 装饰器是这样一种设计模式:如果一个类希望添加其他类的一些功能,而不希望通过继承或是直接修改源代码实现,那么可以使用装饰器模式.简单来说Python中的装饰器就是指某些函数或其他可调用对象,以函数或类作为可选输入参数,然后返回函数或类的形式.通过这个在Python2.6版本中被新加入的特性可以用来实现装饰器设计模式. 顺便提一句,在继续阅读之前,如果你对Python中的闭包(Closure)概念不清楚,请查看本文结尾后的附录,如果没有闭包的相关概念,很难恰当的理解P

  • 浅析Python编写函数装饰器

    编写函数装饰器 本节主要介绍编写函数装饰器的相关内容. 跟踪调用 如下代码定义并应用一个函数装饰器,来统计对装饰的函数的调用次数,并且针对每一次调用打印跟踪信息. class tracer: def __init__(self,func): self.calls = 0 self.func = func def __call__(self,*args): self.calls += 1 print('call %s to %s' %(self.calls, self.func.__name__)

  • 快速了解Python中的装饰器

    需要理解的一些概念 要理解Python中的装饰器,我觉得还是应该从最基本的概念开始: 装饰器模式:所谓的装饰器模式,可以简单地理解为"在不改变原有内部实现的情况下,为函数或者类添加某种特性".这样我们就可以将一些与业务无关.具有通用性的代码抽象出来,作为装饰器附加到需要这些代码的函数或者类之上.用面向切面编程的思想解释就是"装饰器应该是一个切面". 函数是一等公民:意思就是函数可以被当成普通变量一样使用.在Python中,可以把函数赋值给变量,可以将函数作为其它函数

  • python如何修改装饰器中参数

    本文实例为大家分享了python修改装饰器中参数的具体代码,供大家参考,具体内容如下 案例: 为分析程序内哪些函数执行时间开销较大,我们需定义一个带timeout参数的装饰器 需求: 统计被装饰函数的运行时间 时间大于timeout时,将此次函数调用记录到log日志中 运行时可以修改timeout的值 如何解决这个问题? 定义一个装饰器,计算函数执行时间,并与timeout比较,当大于timeout时候,通过logging模块打印出日志信息 在包裹函数中添加一个函数,通过这个函数来修改timeo

  • Python闭包和装饰器用法实例详解

    本文实例讲述了Python闭包和装饰器用法.分享给大家供大家参考,具体如下: Python的装饰器的英文名叫Decorator,作用是完成对一些模块的修饰.所谓修饰工作就是想给现有的模块加上一些小装饰(一些小功能,这些小功能可能好多模块都会用到),但又不让这个小装饰(小功能)侵入到原有的模块中的代码里去. 闭包 1.函数引用 #coding=utf-8 def test1(): print('This is test1!') #调用函数 test1() #引用函数 ret = test1 #打印

  • 对Python生成器、装饰器、递归的使用详解

    1.Python生成器表达式 1).Python生成器表达式 语法格式: (expr for iter_var in iterable) (expr for iter_var in iterable ifcond_expr) 2).自定义生成器 函数中使用yield,会返回一个生成器对象.yieldx 生成器使用示例: In [1]:list((i**2 for i in range(1,11))) Out[1]:[1, 4, 9, 16, 25, 36, 49, 64, 81, 100] In

随机推荐