提升Python运行速度的5个小技巧

目录
  • 1. 选择合适的数据结构
  • 2. 善用强大的内置函数和第三方库
  • 3. 少用循环
  • 4. 避免循环重复计算
  • 5. 少用内存、少用全局变量
  • 总结

官方原文,代码均可运行

Python 是世界上使用最广泛的编程语言之一。它是一种解释型高级通用编程语言,具有广泛的用途,几乎可以将其用于所有事物。其以简单的语法、优雅的代码和丰富的第三方库而闻名。python除了有很多优点外,但在速度上还有一个非常大的缺点。

虽然Python代码运行缓慢,但可以通过下面分享的5个小技巧提升Python运行速度!

首先,定义一个计时函数timeshow,通过简单的装饰,可以打印指定函数的运行时间。

这个函数在下面的例子中会被多次使用。

def timeshow(func):
    from time import time
    def newfunc(*arg, **kw):
        t1 = time()
        res = func(*arg, **kw)
        t2 = time()
        print(f"{func.__name__: >10} : {t2-t1:.6f} sec")
        return res
    return newfunc
@timeshow
def test_it():
    print("hello pytip")
test_it()

1. 选择合适的数据结构

使用正确的数据结构对python脚本的运行时间有显着影响。Python 有四种内置的数据结构:

  • 列表: List
  • 元组: Tuple
  • 集合: Set
  • 字典: Dictionary

但是,大多数开发人员在所有情况下都使用列表。这是不正确的做法,应该根据任务使用合适数据结构。

运行下面的代码,可以看到元组执行简单检索操作的速度比列表快。其中dis模块反汇编了一个函数的字节码,这有利于查看列表和元组之间的区别。

import dis
def a():
    data = [1, 2, 3, 4, 5,6,7,8,9,10]
    x =data[5]
    return x
def b():
    data = (1, 2, 3, 4, 5,6,7,8,9,10)
    x =data[5]
    return x
print("-----:使用列表的机器码:------")
dis.dis(a)
print("-----:使用元组的机器码:------")
dis.dis(b)

运行输出:

-----:使用列表的机器码:------
3 0 LOAD_CONST 1 (1)
2 LOAD_CONST 2 (2)
4 LOAD_CONST 3 (3)
6 LOAD_CONST 4 (4)
8 LOAD_CONST 5 (5)
10 LOAD_CONST 6 (6)
12 LOAD_CONST 7 (7)
14 LOAD_CONST 8 (8)
16 LOAD_CONST 9 (9)
18 LOAD_CONST 10 (10)
20 BUILD_LIST 10
22 STORE_FAST 0 (data)
4 24 LOAD_FAST 0 (data)
26 LOAD_CONST 5 (5)
28 BINARY_SUBSCR
30 STORE_FAST 1 (x)
5 32 LOAD_FAST 1 (x)
34 RETURN_VALUE
-----:使用元组的机器码:------
7 0 LOAD_CONST 1 ((1, 2, 3, 4, 5, 6, 7, 8, 9, 10))
2 STORE_FAST 0 (data)
8 4 LOAD_FAST 0 (data)
6 LOAD_CONST 2 (5)
8 BINARY_SUBSCR
10 STORE_FAST 1 (x)
9 12 LOAD_FAST 1 (x)
14 RETURN_VALUE

看下列表的机器码,冗长而多余!

2. 善用强大的内置函数和第三方库

如果你正在使用python并且仍在自己编写一些通用函数(比如加法、减法),那么是在侮辱python。 Python有大量的库和内置函数来帮助你不用编写这些函数。 如果研究下,那么你会惊奇地发现几乎90%的问题已经有第三方包或内置函数来解决。

可以通过访问官方文档查看所有内置函数。你也可以在wiki python上找到更多使用内置函数的场景。

比如,现在我们想合并列表中的所有单词为一个句子,比较法自己编写和调用库函数的区别:

#  正常人能想到的方法
@timeshow
def f1(list):
    s =""
    for substring in list:
        s += substring
    return s
#  pythonic 的方法
@timeshow
def f2(list):
    s = "".join(list)
    return s
l = ["I", "Love", "Python"] * 1000 # 为了看到差异,我们把这个列表放大了
f1(l)
f2(l)

运行输出:

f1 : 0.000227 sec
f2 : 0.000031 sec

3. 少用循环

  • 用 列表推导式 代替循环
  • 用 迭代器 代替循环
  • 用 filter() 代替循环
  • 减少循环次数,精确控制,不浪费CPU
## 返回n以内的可以被7整除的所有数字。
#  正常人能想到的方法:
@timeshow
def f_loop(n):
    L=[]
    for i in range(n):
        if i % 7 ==0:
            L.append(i)
    return L
#   列表推导式
@timeshow
def f_list(n):
    L = [i for i in range(n) if i % 7 == 0]
    return L
#   迭代器
@timeshow
def f_iter(n):
    L = (i for i in range(n) if i % 7 == 0)
    return L
#  过滤器
@timeshow
def f_filter(n):
    L = filter(lambda x: x % 7 == 0, range(n))
    return L
#  精确控制循环次数
@timeshow
def f_mind(n):
    L = (i*7 for i in range(n//7))
    return L
n = 1_000_000
f_loop(n)
f_list(n)
f_iter(n)
f_filter(n)
f_mind(n)

输出为:

f_loop : 0.083017 sec
f_list : 0.056110 sec
f_iter : 0.000015 sec
f_filter : 0.000003 sec
f_mind : 0.000002 sec

谁快谁慢,一眼便知!

filter 配合lambda大法就是屌!!!

4. 避免循环重复计算

如果你有一个迭代器,必须用它的元素做一些耗时计算,比如匹配正则表达式。你应该将正则表达式模式定义在循环之外,因为最好只编译一次模式,而不是在循环的每次迭代中一次又一次地编译它。

只要有可能,就应该尝试在循环外进行尽可能多的运算,比如将函数计算分配给局部变量,然后在函数中使用它。

#  应改避免的方式:
@timeshow
def f_more(s):
    import re
    for i in s:
        m = re.search(r'a*[a-z]?c', i)
#  更好的方式:
@timeshow
def f_less(s):
    import re
    regex = re.compile(r'a*[a-z]?c')
    for i in s:
        m = regex.search(i)
s = ["abctestabc"] * 1_000
f_more(s)
f_less(s)

输出为:

f_more : 0.001068 sec
f_less : 0.000365 sec

5. 少用内存、少用全局变量

内存占用是指程序运行时使用的内存量。为了让Python代码运行得更快,应该减少程序的内存使用量,即尽量减少变量或对象的数量。

Python 访问局部变量比全局变量更有效。在有必要之前,应该始终尝试忽略声明全局变量。一个在程序中定义过的全局变量会一直存在,直到整个程序编译完成,所以它一直占据着内存空间。另一方面,局部变量访问更快,且函数完成后即可回收。因此,使用多个局部变量比使用全局变量会更好。

#  应该避免的方式:
message = "Line1\n"
message += "Line2\n"
message += "Line3\n"
#  更好的方式:
l = ["Line1","Line2","Line3"]
message = '\n'.join(l)
#  应该避免的方式:
x = 5
y = 6
def add():
    return x+y
add()
#  更好的方式:
def add():
    x = 5
    y = 6
    return x+y
add()

总结

本篇文章就到这里了,希望能够给你带来帮助,也希望您能够多多关注我们的更多内容!

(0)

相关推荐

  • 利用Psyco提升Python运行速度

    Psyco 是严格地在 Python 运行时进行操作的.也就是说,Python 源代码是通过 python 命令编译成字节码的,所用的方式和以前完全相同(除了为调用 Psyco 而添加的几个 import 语句和函数调用).但是当 Python 解释器运行应用程序时,Psyco 会不时地检查,看是否能用一些专门的机器代码去替换常规的 Python 字节码操作.这种专门的编译和 Java 即时编译器所进行的操作非常类似(一般地说,至少是这样),并且是特定于体系结构的.到现在为止,Psyco 只可用

  • python使用Pandas库提升项目的运行速度过程详解

    前言 如果你从事大数据工作,用Python的Pandas库时会发现很多惊喜.Pandas在数据科学和分析领域扮演越来越重要的角色,尤其是对于从Excel和VBA转向Python的用户. 所以,对于数据科学家,数据分析师,数据工程师,Pandas是什么呢?Pandas文档里的对它的介绍是: "快速.灵活.和易于理解的数据结构,以此让处理关系型数据和带有标签的数据时更简单直观." 快速.灵活.简单和直观,这些都是很好的特性.当你构建复杂的数据模型时,不需要再花大量的开发时间在等待数据处理的

  • 如何让python的运行速度得到提升

    python一直被病垢运行速度太慢,但是实际上python的执行效率并不慢,慢的是python用的解释器Cpython运行效率太差. "一行代码让python的运行速度提高100倍"这绝不是哗众取宠的论调. 我们来看一下这个最简单的例子,从1一直累加到1亿. 最原始的代码: import time def foo(x,y):   tt = time.time()   s = 0   for i in range(x,y):     s += i   print('Time used: 

  • numba提升python运行速度的实例方法

    大家都知道Python运行速度很慢,但是轮子多,因此用户十分广泛,在各种领域上都能用到Python,但是最头疼的还是,解决运行速度问题,因此这里给大家介绍的是numba,是基本是等于再造语言.但是支持的numpy函数并不多.要让能jit的函数多起来才行.下面就详细介绍使用numba提升python运行速度方法. numba简介: 能够实现将python函数编译为机器代码,提高运行速度. 工作作用: 给python换一种编译器 使用numba: 1.导入numba及其编译器 import nump

  • 提升Python运行速度的5个小技巧

    目录 1. 选择合适的数据结构 2. 善用强大的内置函数和第三方库 3. 少用循环 4. 避免循环重复计算 5. 少用内存.少用全局变量 总结 官方原文,代码均可运行 Python 是世界上使用最广泛的编程语言之一.它是一种解释型高级通用编程语言,具有广泛的用途,几乎可以将其用于所有事物.其以简单的语法.优雅的代码和丰富的第三方库而闻名.python除了有很多优点外,但在速度上还有一个非常大的缺点. 虽然Python代码运行缓慢,但可以通过下面分享的5个小技巧提升Python运行速度! 首先,定

  • 分享python数据统计的一些小技巧

    最近在用python做数据统计,这里总结了一些最近使用时查找和总结的一些小技巧,希望能帮助在做这方面时的一些童鞋.有些技巧是很平常的用法,平时我们没有注意,但是在特定场景,这些小方法还是能带来很大的帮助. 1.在字典中将键映射到多个值上面 {'b': [4, 5, 6], 'a': [1, 2, 3]} 有时候我们在统计相同key值的时候,希望把所有相同key的条目添加到以key为键的一个字典中,然后再进行各种操作,这时候我们就可以使用下面的代码进行操作: from collections im

  • Python中最大最小赋值小技巧(分享)

    码代码时,有时候需要根据比较大小分别赋值: import random seq = [random.randint(0, 1000) for _ in range(100)] #方法1: xmax, xmin = max(seq), min(seq) #方法2: xmax, *_, xmin = sorted(seq) 从上面这个来看,看不出来方法2的优势来,不过我们常用的是比较两个数的大小,并选取: dx, dy = random.sample(seq, 2) #方法1: dx, dy = m

  • Python中Collection的使用小技巧

    本文所述实例来自独立软件开发者 Alex Marandon,在他的博客中曾介绍了数个关于 Python Collection 的实用小技巧,在此与大家分享.供大家学习借鉴之用.具体如下: 1.判断一个 list 是否为空 传统的方式: if len(mylist): # Do something with my list else: # The list is empty 由于一个空 list 本身等同于 False,所以可以直接: if mylist: # Do something with

  • Python字符串中查找子串小技巧

    惭愧啊,今天写了个查找子串的Python程序被BS了- 如果让你写一个程序检查字符串s2中是不是包含有s1.也许你会很直观的写下下面的代码: 复制代码 代码如下: #determine whether s1 is a substring of s2 def isSubstring1(s1,s2):     tag = False     len1 = len(s1)     len2 = len(s2)     for i in range(0,len2):         if s2[i] =

  • Python同步方法变为异步方法的小技巧分享

    目录 背景 怎么做? Asyncer awaitable aioify 总结 背景 在我们平时的FastApi工作中,经常会用到一些异步的操作,为了保持一致,我们一般会编写配套的异步代码. 但如果我们提供了类似jmeter BeanShell的可执行代码的功能给用户,那用户还能给你编写异步代码吗?那显然是不可能的事情. 还有一种情况,当我们引入第三方包,比如一些oss的库,里面天然是同步方法,有内置的requests请求,你想不阻塞整个fastapi服务,也是需要将他们异步化的. 怎么做? 这块

  • 解决android studio卡顿,提升studio运行速度的方法

    mac版本: 点击Finder,在应用程序中找到android studio----->Contents文件夹----->bin文件夹----->studio.vmoptions文件. 如图 以文本形式打开studio.vmoptions文件,会看到如下图 将前三个值改大一些,保存并退出文件,重启android studio即可. window版本: 找到android studio安装路径----->bin文件夹----->studio.exe.vmoptions,打开并修

  • 11个Python Pandas小技巧让你的工作更高效(附代码实例)

    本文为你介绍Pandas隐藏的炫酷小技巧,我相信这些会对你有所帮助. 或许本文中的某些命令你早已知晓,只是没意识到它还有这种打开方式. Pandas是一个在Python中广泛应用的数据分析包.市面上有很多关于Pandas的经典教程,但本文介绍几个隐藏的炫酷小技巧,我相信这些会对你有所帮助. 1. read_csv 这是读取数据的入门级命令.当要你所读取的数据量特别大时,试着加上这个参数nrows = 5,就可以在载入全部数据前先读取一小部分数据.如此一来,就可以避免选错分隔符这样的错误啦(数据不

随机推荐