盘点提高 Python 代码效率的方法
第一招：蛇打七寸：定位瓶颈
首先，第一步是定位瓶颈。举个简单的栗子，一个函数可以从1秒优化到到0.9秒，另一个函数可以从1分钟优化到30秒，如果要花的代价相同，而且时间限制只能搞定一个，搞哪个？根据短板原理，当然选第二个啦。
一个有经验的程序员在这里一定会迟疑一下，等等？函数？这么说，还要考虑调用次数？如果第一个函数在整个程序中需要被调用100000次，第二个函数在整个程序中被调用1次，这个就不一定了。举这个栗子，是想说明，程序的瓶颈有的时候不一定一眼能看出来。还是上面那个选择，程序员的你应该有感觉的，大多数情况下：一个「可以」从一分钟优化到30秒的函数会比一个「可以」从1秒优化到0.9秒的函数更容易捕获我们的注意，因为有很大的进步空间嘛。
所以，这么多废话讲完，献上第一招，profile。这是 python 自带的定位程序瓶颈的利器！虽然它提供了三种选项profile，cProfile，hotshot。还分为内置和外置。但是，个人觉得一种足矣，外置cProfile。心法如下：
python -m profile 逗比程序.py
这招的效果会输出一系列东西，比如函数被调用了几次，总时间多少，其中有多少是这个函数的子函数花费的，每次花多少时间，等等。嘛一图胜千言：
filename:lineno(function): 文件名：第几行（函数名）
ncalls: 这货一共调用了几次
tottime: 这货自己总共花了多少时间，也就是要除掉内部函数小弟们的花费
percall: 平均每次调用花的时间，tottime 除以 ncalls
cumtime: 这货还有它的所有内部函数小弟们的总花费
percall: 跟上面那个 percall 差不多，不过是 cumtime 除以 ncalls
找到最值得优化的点，然后干吧。
第二招：一蛇禅：只需一招
记得刚开始接触 Python 的时候，有一位学长告诉我，Python 有一个牛逼的理想，它希望每一个用它的人能写出一模一样的程序。Python 之禅有云：
There should be one-- and preferably only one --obvious way to do it
所以 Python 系专业的禅师提供了一些常用功能的 only one 的写法。本人看了一下传说中的PythonWiKi:PerformanceTips，总结了几个「不要酱紫」「要酱紫」。
合并字符串的时候不要酱紫：
s = "" for substring in list: s += substring
要酱紫：
s = "".join(slist)
格式化字符串的时候不要酱紫：
out = "<html>" + head + prologue + query + tail + "</html>"
要酱紫：
out = "<html>%s%s%s%s</html>" % (head, prologue, query, tail)
可以不用循环的时候就不要用循环，比如不要酱紫：
newlist = [] for word in oldlist: newlist.append(word.upper())
要酱紫：
newlist = map(str.upper, oldlist)
或者酱紫：
newlist = [s.upper() for s in oldlist]
字典初始化，比较常用的：
wdict = {} for word in words: if word not in wdict: wdict[word] = 0 wdict[word] += 1
如果重复的 word 太多了的话，可以考虑用酱紫的模式来省掉大量判断：
wdict = {} for word in words: try: wdict[word] += 1 except KeyError: wdict[word] = 1
尽量减少 function 调用次数，用内部循环代替，比如，不要酱紫：
x = 0 def doit1(i): global x x = x + i list = range(100000) t = time.time() for i in list: doit1(i)
要酱紫：
x = 0 def doit2(list): global x for i in list: x = x + i list = range(100000) t = time.time() doit2(list)
第三招：蛇之狙击：高速搜索
这一招部分来源于IBM:Python 代码性能优化技巧，搜索算法的最高境界是O(1)的算法复杂度。也就是 Hash Table。本人幸本科的时候学了点数据结构。知道 Python 的 list 使用类似链表的方法实现的。如过列表很大的话，在茫茫多的项里面用 if X in list_a 来做搜索和判断效率是非常低的。
Python 的 tuple 我用得非常少，不评论。另两个我用得非常多的是 set 和 dict。这两个就是用的类似 Hash Table 的实现方法。
所以尽量不要酱紫：
k = [10,20,30,40,50,60,70,80,90] for i in xrange(10000): if i in k: #Do something continue
要酱紫：
``` k = [10,20,30,40,50,60,70,80,90] k_dict = {i:0 for i in k}
先把 list 转换成 dictionary
for i in xrange(10000): if i in k_dict: #Do something continue ```
找 list 的交集，不要酱紫：
list_a = [1,2,3,4,5] list_b = [4,5,6,7,8] list_common = [a for a in list_a if a in list_b]
要酱紫：
list_a = [1,2,3,4,5] list_b = [4,5,6,7,8] list_common = set(list_a)&set(list_b)
第四招：小蛇蛇……：想不出来名字了，就是各种小 Tips
变量交换不需要中间变量：a,b = b,a (这里有个神坑，至今记忆深刻：True,False = False,True)
如果使用 Python2.x，用 xrange 代替 range，如果用 Python3.x，range 已经是 xrange 了，xrange 已经木有了。xrange 不会像 range 一样生成一个列表，而是生成一个迭代器，省内存。
可以用 x>y>z 代替 x>y and y>z。效率更高，可读性也更好。当然理论上 x>y
add(x,y) 一般会比 a+b 要快？这个本人有所怀疑，实验了一下，首先 add 不能直接用，要 import operator，第二，我的实验结果表示 add(x,y) 完全没有 a+b 快，更何况还要牺牲可读性。
while 1 确实比 while True 要快那么一点点。做了两次实验，大概快了15%左右。
第五招：无蛇胜有蛇：代码之外的性能
代码之外嘛，除了硬件之外，就是编译器了，这里隆重推荐 pypy。pypy是一种叫做 just-in-time 的即时编译器。这个编译器的特点就是编译一句跑一句，和静态的编译器的区别嘛，我在知乎上看到一个非常形象的比喻：
假定你是一个导演，静态编译就是让演员把整个剧本背下来吃透，然后连续表演一个小时。动态编译就是让演员表演两分钟，然后思考一下，再看一下剧本，再表演两分钟……
动态编译和静态编译各有所长，看你演的是电影还是话剧了。
此外还有一个 Cython 可以在 python 里内置一些 C 的代码。我用的非常少，但是关键时刻确实有效。
相关推荐
-
Python while、for、生成器、列表推导等语句的执行效率测试
一个功能的实现,可以用多种语句来实现,比如说:while语句.for语句.生成器.列表推导.内置函数等实现,然而他们的效率并不一样.写了一个小程序来测试它们执行的效率. 测试内容: 将一个数字大小为20万的数字,依次取绝对值,放到列表中,测试重复1千次. 测试程序: 复制代码 代码如下: import time,sys reps = 1000 #测试重复次数 nums = 200000 #测试时数字大小 def tester(
-
教你用Type Hint提高Python程序开发效率
简介 Type Hint(或者叫做PEP-484)提供了一种针对Python程序的类型标注标准. 为什么使用Type Hint?对于动态语言而言,常常出现的情况是当你写了一段代码后,隔段时间你可能忘记这个方法的原型是什么样子的了,你也不清楚具体应该传入什么类型的参数,这样往往需要你去阅读代码才能定义每个类型具体是什么.或者当你使用一个文档并不是特别完全的第三方库,你不知道这个库应该如何使用,这都会很痛苦. 现在,借助Type Hint,你可以实现: 1.实现类型检查,防止运行时出现的类型不符合情
-
六个窍门助你提高Python运行效率
不喜欢Python的人经常会吐嘈Python运行太慢.但是,事实并非如此.尝试以下六个窍门,来为你的Python应用提速. 窍门一:关键代码使用外部功能包 Python简化了许多编程任务,但是对于一些时间敏感的任务,它的表现经常不尽人意.使用C/C++或机器语言的外部功能包处理时间敏感任务,可以有效提高应用的运行效率.这些功能包往往依附于特定的平台,因此你要根据自己所用的平台选择合适的功能包.简而言之,这个窍门要你牺牲应用的可移植性以换取只有通过对底层主机的直接编程才能获得的运行效率.以下是一些
-
Python 多线程抓取图片效率对比
目的: 是学习python 多线程的工作原理,及通过抓取400张图片这种IO密集型应用来查看多线程效率对比 import requests import urlparse import os import time import threading import Queue path = '/home/lidongwei/scrapy/owan_img_urls.txt' #path = '/home/lidongwei/scrapy/cc.txt' fetch_img_save_path =
-
Python中map和列表推导效率比较实例分析
本文实例讲述了Python中map和列表推导效率比较.分享给大家供大家参考.具体分析如下: 直接来测试代码吧: #!/usr/bin/env python # -*- coding: utf-8 -*- # list comprehension and map import time def test(f, name): st = time.time() f() print '%s %ss'%(name, time.time()-st) TIMES = 1000 ARR = range(1000
-
提升Python程序运行效率的6个方法
Python是一个很酷的语言,因为你可以在很短的时间内利用很少的代码做很多事情.不仅如此,它还能轻松地支持多任务,比如多进程等.Python批评者有时会说Python执行缓慢.本文将尝试介绍6个技巧,可加速你的Python应用程序. 1.让关键代码依赖于外部包 虽然Python让许多编程任务变得容易,但它可能并不总能为紧急的任务提供最佳性能.你可以为紧急的任务使用C.C++或机器语言编写的外部包,这样可以提高应用程序的性能.这些包都是不能跨平台的,这意味着你需要根据你正在使用的平台,寻找合适的包
-
分享Python开发中要注意的十个小贴士
大家请注意:这篇文中假设我们都用的是Python 3 1. 列表推导式 你有一个list:bag = [1, 2, 3, 4, 5] 现在你想让所有元素翻倍,让它看起来是这个样子: [2, 4, 6, 8, 10] 大多初学者,根据之前语言的经验会大概这样来做 bag = [1, 2, 3, 4, 5] for i in range(len(bag)): bag[i] = bag[i] * 2 但是有更好的方法: bag = [elem * 2 for elem in bag] 很简洁对不对?这
-
Python利用IPython提高开发效率
一.IPython 简介 IPython 是一个交互式的 Python 解释器,而且它更加高效. 它和大多传统工作模式(编辑 -> 编译 -> 运行)不同的是, 它采用的工作模式是:执行 -> 探索 ,而大部分和数据分析相关的代 码都含有探索式操作(比如试误法和迭代法),所以 IPython 能大大提高编码效率. IPython 发展到现在,它不仅仅只是一个加强版的 Python shell 了, 它集成了 GUI 控制台,这可以让你直接进行绘图操作:它还有一个基于 Web 的交互式笔记
-
几个提升Python运行效率的方法之间的对比
在我看来,python社区分为了三个流派,分别是python 2.x组织,3.x组织和PyPy组织.这个分类基本上可以归根于类库的兼容性和速度.这篇文章将聚焦于一些通用代码的优化技巧以及编译成C后性能的显著提升,当然我也会给出三大主要python流派运行时间.我的目的不是为了证明一个比另一个强,只是为了让你知道如何在不同的环境下使用这些具体例子作比较. 使用生成器 一个普遍被忽略的内存优化是生成器的使用.生成器让我们创建一个函数一次只返回一条记录,而不是一次返回所有的记录,如果你正在使用pyth
-
在Python3中初学者应会的一些基本的提升效率的小技巧
有时候我反问我自己,怎么不知道在Python 3中用更简单的方式做"这样"的事,当我寻求答案时,随着时间的推移,我当然发现更简洁.有效并且bug更少的代码.总的来说(不仅仅是这篇文章),"那些"事情总共数量是超过我想象的,但这里是第一批不明显的特性,后来我寻求到了更有效的/简单的/可维护的代码. 字典 字典中的keys()和items() 你能在字典的keys和items中做很多有意思的操作,它们类似于集合(set): aa = {'mike': 'male', '