Cython 三分钟入门教程

作者:perrygeo
译者:赖勇浩(http://laiyonghao.com
原文:http://www.perrygeo.net/wordpress/?p=116

我最喜欢的是Python,它的代码优雅而实用,可惜纯粹从速度上来看它比大多数语言都要慢。大多数人也认为的速度和易于使用是两极对立的——编写C代码的确非常痛苦。而 Cython 试图消除这种两重性,并让你同时拥有 Python 的语法和 C 数据类型和函数——它们两个都是世界上最好的。请记住,我绝不是我在这方面的专家,这是我的第一次Cython真实体验的笔记:

编辑:根据一些我收到的反馈,大家似乎有点混淆——Cython是用来生成 C 扩展到而不是独立的程序的。所有的加速都是针对一个已经存在的 Python 应用的一个函数进行的。没有使用 C 或 Lisp 重写整个应用程序,也没有手写C扩展 。只是用一个简单的方法来整合C的速度和C数据类型到 Python 函数中去。

现在可以说,我们能使下文的 great_circle 函数更快。所谓 great_circle 是计算沿地球表面两点之间的距离的问题:

p1.py

import math

def great_circle(lon1,lat1,lon2,lat2):

radius = 3956 #miles

x = math.pi/180.0

a = (90.0-lat1)*(x)

b = (90.0-lat2)*(x)

theta = (lon2-lon1)*(x)

c = math.acos((math.cos(a)*math.cos(b)) +

(math.sin(a)*math.sin(b)*math.cos(theta)))

return radius*c

让我们调用它 50 万次并测定它的时间 :

import timeit

lon1, lat1, lon2, lat2 = -72.345, 34.323, -61.823, 54.826

num = 500000

t = timeit.Timer("p1.great_circle(%f,%f,%f,%f)" % (lon1,lat1,lon2,lat2),

"import p1")

print "Pure python function", t.timeit(num), "sec"

约2.2秒 。它太慢了!

让我们试着快速地用Cython改写它,然后看看是否有差别:
c1.pyx

import math

def great_circle(float lon1,float lat1,float lon2,float lat2):

cdef float radius = 3956.0

cdef float pi = 3.14159265

cdef float x = pi/180.0

cdef float a,b,theta,c

a = (90.0-lat1)*(x)

b = (90.0-lat2)*(x)

theta = (lon2-lon1)*(x)

c = math.acos((math.cos(a)*math.cos(b)) + (math.sin(a)*math.sin(b)*math.cos(theta)))

return radius*c

请注意,我们仍然import math——cython让您在一定程度上混搭Python和C数据类型在。转换是自动的,但并非没有代价。在这个例子中我们所做的就是定义一个Python函数,声明它的输入参数是浮点数类型,并为所有变量声明类型为C浮点数据类型。计算部分它仍然使用了Python的 math 模块。

现在我们需要将其转换为C代码再编译为Python扩展。完成这一部的最好的办法是编写一个名为setup.py发布脚本。但是,现在我们用手工方式 ,以了解其中的巫术:

# this will create a c1.c file - the C source code to build a python extension

cython c1.pyx

# Compile the object file

gcc -c -fPIC -I/usr/include/python2.5/ c1.c

# Link it into a shared library

gcc -shared c1.o -o c1.so

现在你应该有一个c1.so(或.dll)文件,它可以被Python import。现在运行一下:

t = timeit.Timer("c1.great_circle(%f,%f,%f,%f)" % (lon1,lat1,lon2,lat2),

"import c1")

print "Cython function (still using python math)", t.timeit(num), "s

约1.8秒 。并没有我们一开始期望的那种大大的性能提升。使用 python 的 match 模块应该是瓶颈。现在让我们使用C标准库替代之:

c2.pyx

cdef extern from "math.h":

float cosf(float theta)

float sinf(float theta)

float acosf(float theta)

def great_circle(float lon1,float lat1,float lon2,float lat2):

cdef float radius = 3956.0

cdef float pi = 3.14159265

cdef float x = pi/180.0

cdef float a,b,theta,c

a = (90.0-lat1)*(x)

b = (90.0-lat2)*(x)

theta = (lon2-lon1)*(x)

c = acosf((cosf(a)*cosf(b)) + (sinf(a)*sinf(b)*cosf(theta)))

return radius*cec"

与 import math 相应,我们使用cdef extern 的方式使用从指定头文件声明函数(在此就是使用C标准库的math.h)。我们替代了代价高昂的的Python函数,然后建立新的共享库,并重新测试:

t = timeit.Timer("c2.great_circle(%f,%f,%f,%f)" % (lon1,lat1,lon2,lat2),

"import c2")

print "Cython function (using trig function from math.h)", t.timeit(num), "sec"

现在有点喜欢它了吧?0.4秒 -比纯Python函数有5倍的速度增长。我们还有什么方法可以再提高速度?c2.great_circle()仍是一个Python函数调用,这意味着它产生Python的API的开销(构建参数元组等),如果我们可以写一个纯粹的C函数的话,我们也许能够加快速度。

c3.pyx

cdef extern from "math.h":

float cosf(float theta)

float sinf(float theta)

float acosf(float theta)

cdef float _great_circle(float lon1,float lat1,float lon2,float lat2):

cdef float radius = 3956.0

cdef float pi = 3.14159265

cdef float x = pi/180.0

cdef float a,b,theta,c

a = (90.0-lat1)*(x)

b = (90.0-lat2)*(x)

theta = (lon2-lon1)*(x)

c = acosf((cosf(a)*cosf(b)) + (sinf(a)*sinf(b)*cosf(theta)))

return radius*c

def great_circle(float lon1,float lat1,float lon2,float lat2,int num):

cdef int i

cdef float x

for i from 0 < = i < num:

x = _great_circle(lon1,lat1,lon2,lat2)

return x

请注意,我们仍然有一个Python函数( def ),它接受一个额外的参数 num。这个函数里的循环使用for i from 0 < = i < num: ,而不是更Pythonic,但慢得多的for i in range(num):。真正的计算工作是在C函数(cdef)中进行的,它返回float类型。这个版本只要0.2秒——比原先的Python函数速度提高10倍。

为了证明我们所做的已经足够优化,可以用纯C写一个小应用,然后测定时间:

#include <math .h>

#include <stdio .h>

#define NUM 500000

float great_circle(float lon1, float lat1, float lon2, float lat2){

float radius = 3956.0;

float pi = 3.14159265;

float x = pi/180.0;

float a,b,theta,c;

a = (90.0-lat1)*(x);

b = (90.0-lat2)*(x);

theta = (lon2-lon1)*(x);

c = acos((cos(a)*cos(b)) + (sin(a)*sin(b)*cos(theta)));

return radius*c;

}

int main() {

int i;

float x;

for (i=0; i < = NUM; i++)

x = great_circle(-72.345, 34.323, -61.823, 54.826);

printf("%f", x);

}

用gcc -lm -o ctest ctest.c编译它,测试用time ./ctest ...大约0.2秒 。这使我有信心,我Cython扩展相对于我的C代码也极有效率(这并不是说我的C编程能力很弱)。

能够用 cython 优化多少性能通常取决于有多少循环,数字运算和Python函数调用,这些都会让程序变慢。已经有一些人报告说在某些案例上 100 至 1000 倍的速度提升。至于其他的任务,可能不会那么有用。在疯狂地用 Cython 重写 Python 代码之前,记住这一点:

"我们应该忘记小的效率,过早的优化是一切罪恶的根源,有 97% 的案例如此。"——Donald Knuth

换句话说,先用 Python 编写程序,然后看它是否能够满足需要。大多数情况下,它的性能已经足够好了……但有时候真的觉得慢了,那就使用分析器找到瓶颈函数,然后用cython重写,很快就能够得到更高的性能。

外部链接
WorldMill(http://trac.gispython.org/projects/PCL/wiki/WorldMill)——由Sean Gillies 用 Cython 编写的一个快速的,提供简洁的 python 接口的模块,封装了用以处理矢量地理空间数据的 libgdal 库。

编写更快的 Pyrex 代码(http://www.sagemath.org:9001/WritingFastPyrexCode)——Pyrex,是 Cython 的前身,它们有类似的目标和语法。

(0)

相关推荐

  • Cython 三分钟入门教程

    作者:perrygeo译者:赖勇浩(http://laiyonghao.com)原文:http://www.perrygeo.net/wordpress/?p=116 我最喜欢的是Python,它的代码优雅而实用,可惜纯粹从速度上来看它比大多数语言都要慢.大多数人也认为的速度和易于使用是两极对立的--编写C代码的确非常痛苦.而 Cython 试图消除这种两重性,并让你同时拥有 Python 的语法和 C 数据类型和函数--它们两个都是世界上最好的.请记住,我绝不是我在这方面的专家,这是我的第一次

  • HTML 30分钟入门教程

    运行下面的代码就可以了 HTML 30分钟入门教程 h1 {text-align:center} p {text-indent:2em; line-height:140%; margin:auto 10px} span {margin:3px} .code { border:solid 1px gray; background-color:#eee} .name { font-weight:bold } dl {margin-left:20px} dt {font-weight:bold} .t

  • 正则表达式30分钟入门教程 v2.1版

    运行下面的代码就可以看到 正则表达式30分钟入门教程 h1 {text-align:center} p {text-indent:2em; line-height:140%; margin:auto 10px} span {margin:3px} table {margin:auto; border-style:solid; border-width:1px 1px 0 0; border-color:gray} td, th {border-style:solid; border-width:

  • Spring Security十分钟入门教程

    目录 写在前面 目标 开始 不引入Spring Security访问接口 引入Spring Security访问接口 退出登录 后记 写在前面 我们在学习技术的过程中,学习的渠道大概有以下几种:看书,视频,博客.我们会发现,一种技术开始流行的时候,各种形式的讲述也就出现了.那么,出书,录视频,写博客的人,在他们之前,是没有什么现成的东西让他们学习的,他们是怎么上手的呢?换句话说,怎么才能有效的快速的上手一门技术呢? 这篇文章,我们一起从零开始学习SpringSecurity,技术点不重要,重要的

  • mongodb三分钟入门大全

    目录 一.MongoDB是什么 1.维基百科 2.简而言之 二.MongoDB 的应用场景 1.MongoDB事务 2.多引擎支持各种强大的索引需求 3.具体的应用场景 4.以下是几个实际的应用案例: 5.选择MongoDB的场景总结: 三.MongoDB对比MySQL 1.关键字对比 四.SpringBoot整合MongoDB实现增删改查 1.引入pom 2.启动类Application 3.实体类 4.UserRepository 5.业务层service 6.测试类 7.插入 8.更新 9

  • 学习正则表达式30分钟入门教程(第二版)

    由于本人内容过多排版比较乱,推荐大家浏览单独网页版 http://www.jb51.net/tools/zhengze.html 本文目标 30分钟内让你明白正则表达式是什么,并对它有一些基本的了解,让你可以在自己的程序或网页里使用它. 如何使用本教程 最重要的是--请给我30分钟,如果你没有使用正则表达式的经验,请不要试图在30秒内入门--除非你是超人 :) 别被下面那些复杂的表达式吓倒,只要跟着我一步一步来,你会发现正则表达式其实并没有你想像中的那么困难.当然,如果你看完了这篇教程之后,发现

  • webpack学习--webpack经典7分钟入门教程

    一.什么是 Webpack Webpack 是一个模块打包器.它将根据模块的依赖关系进行静态分析,然后将这些模块按照指定的规则生成对应的静态资源. webpack模式图 二.为什么使用webpack 市面上已经存在的模块管理和打包工具并不适合大型的项目,尤其单页面 Web 应用程序.最紧迫的原因是如何在一个大规模的代码库中,维护各种模块资源的分割和存放,维护它们之间的依赖关系,并且无缝的将它们整合到一起生成适合浏览器端请求加载的静态资源.而webpack有以下几个优点: 1.将依赖树拆分成按需加

  • Kotlin 编程三分钟入门

    为什么使用Kotlin 项目一期在收尾了终于有时间折腾了,一个多月以来Kotlin从入门到现在,坚持用来开发的切身感受.因为语法与Java的区别挺大的一开始很想放弃,如果不是因为项目在使用,想必很少人会尝试这样一门小众语言,但是习惯后会发现这些年究竟浪费多少时间在写无用的Java代码了,Kotlin在兼容Java的基础上还能大大提升开发效率.Kotlin有许多特性但对于开发来说,快速适应和学习更为重要,很多时候我们都是在不明白其原因就开始使用的,正如我们不可能把Retrofit原理研究透才使用它

  • Symfony学习十分钟入门经典教程

    Symfony是一个强大的基于PHP的Web开发框架,在这里我们用十分钟的时间来做一个简单的增删改查的程序, 任何不熟悉Symfony的人都可以通过这个教程完成自己的第一个Symfony程序. 如果需要这个样例程序的全部源代码,可以访问 这里 ,或者通过下面的方式获取源代码: $git clone https://github.com/saharabear/symfony-sample.git 项目初始化 首先,需要你在自己的电脑中安装PHP环境并安装git.这方面的内容属于基础内容,网络上有大

  • 21分钟 MySQL 入门教程

    21分钟 MySQL 入门教程 目录 一.MySQL的相关概念介绍 二.Windows下MySQL的配置 配置步骤 MySQL服务的启动.停止与卸载 三.MySQL脚本的基本组成 四.MySQL中的数据类型 五.使用MySQL数据库 登录到MySQL 创建一个数据库 选择所要操作的数据库 创建数据库表 六.操作MySQL数据库 向表中插入数据 查询表中的数据 更新表中的数据 删除表中的数据 七.创建后的修改 添加列 修改列 删除列 重命名表 删除整张表 删除整个数据库 八.附录 修改 root

随机推荐