利用Numba与Cython结合提升python运行效率详解

目录
  • Numba
    • Numba 模式
    • 什么是LLVM？
      • Numba的优势：
      • Numba的劣势：
  • Cython
    • Cython的优势：
    • Cython的劣势：
  • Numba 对 Cython

Numba

Numba是一个即时（JIT）编译器，它将Python代码转换为用于CPU和GPU的本地机器指令。代码可以在导入时、运行时或提前编译。

通过使用jit装饰器，使用Numba非常容易：

正如你所知道的，在Python中，所有代码块都被编译成字节码：

代码优化

为了优化Python代码，Numba从提供的函数中提取一个字节码，并在其上运行一组分析器。Python字节码包含一系列小而简单的指令，因此不必从Python实现中使用源代码就可以从字节码中重构函数的逻辑。转换的过程涉及多个阶段，但Numba将Python字节码转换为LLVM中间表示 (IR)。

请注意，LLVM IR是一种低级编程语言，它类似于汇编语法，与Python无关。

Numba 模式

Numba中有两种模式：nopython 和 object。前者不使用Python运行时并且在没有Python依赖项的情况下生成本机代码。 本机代码是静态类型的，运行非常快。而对象模式使用Python对象和Python C API，这通常不会带来显著的速度改进。在这两种情况下，Python代码都是使用LLVM编译的。

什么是LLVM？

LLVM是一种编译器，它采用代码的特殊中间表示（IR），并将其编译成本机代码。编译过程涉及许多额外的传递，其中编译器优化IR。LLVM工具链很好地优化了IR，不仅为Numba编译代码，而且优化Numba。整个系统大致如下：

Python numba 体系结构

Numba的优势：

  • 易用性
  • 自动并行化
  • 支持numpy操作和对象
  • GPU支持

Numba的劣势：

多层的抽象使得调试和优化变得非常困难

在nopython模式下无法与Python及其模块进行交互

有限的类支持

Cython

取代分析字节码和生成IR，Cython使用Python语法的超集，它后来转换成C代码。在使用Cython时，基本上是用高级Python语法编写C代码。

在Cython中，通常不必担心Python包装器和低级API调用，因为所有交互都会自动扩展到合适的C代码。

与Numba不同，所有的Cython代码应该在专门文件中与常规Python代码分开。Cython将这些文件解析并转换成C代码，然后使用提供的C编译器 (例如， gcc)编译它。

Python代码已经是有效的Cython代码。

但是，类型版本工作得更快。

编写快速Cython代码需要理解C和Python内部结构。如果你熟悉C，你的Cython代码可以运行得和C代码一样快。

Cython的优势：

  • 通过Python API的使用控制
  • 与C/C++库和C/C++代码的简单接口
  • 并行执行支持
  • 支持Python类，在C中提供面向对象的特性

Cython的劣势：

  • 学习曲线
  • 需要C和Python内部专业技术
  • 模块的组织不方便

Numba 对 Cython

就个人而言，我更喜欢小项目和ETL实验用Numba。你可以将其插入现有项目中。如果我需要启动一个大项目或为C库编写包装器，我将使用Cython，因为它提供更多的控制和更容易调试。

此外，Cython是许多库的标准，如pandas、scikit-learn、scipy、Spacy、gensim和lxml。

以上就是利用Numba与Cython结合提升python运行效率详解的详细内容，更多关于提升python运行效率的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • 几个提升Python运行效率的方法之间的对比

    几个提升Python运行效率的方法之间的对比

    在我看来,python社区分为了三个流派,分别是python 2.x组织,3.x组织和PyPy组织.这个分类基本上可以归根于类库的兼容性和速度.这篇文章将聚焦于一些通用代码的优化技巧以及编译成C后性能的显著提升,当然我也会给出三大主要python流派运行时间.我的目的不是为了证明一个比另一个强,只是为了让你知道如何在不同的环境下使用这些具体例子作比较. 使用生成器 一个普遍被忽略的内存优化是生成器的使用.生成器让我们创建一个函数一次只返回一条记录,而不是一次返回所有的记录,如果你正在使用pyth

  • 使用numba对Python运算加速的方法

    有时候需要比较大的计算量,这个时候Python的效率就很让人捉急了,此时可以考虑使用numba 进行加速,效果提升明显~ (numba 安装貌似很是繁琐,建议安装Anaconda,里面自带安装好各种常用科学计算库) from numba import jit @jit def t(count=1000): total = 0 for i in range(int(count)): total += i return total 测试效果: (关于__wrapped__ 见我的博文: 浅谈解除装饰

  • 让Python代码更快运行的5种方法

    不论什么语言,我们都需要注意性能优化问题,提高执行效率.选择了脚本语言就要忍受其速度,这句话在某种程度上说明了Python作为脚本语言的不足之处,那就是执行效率和性能不够亮.尽管Python从未如C和Java一般快速,但是不少Python项目都处于开发语言领先位置. Python很简单易用,但大多数人使用Python都知道在处理密集型cpu工作时,它的数量级依然低于C.Java和JavaScript.但不少第三方不愿赘述Python的优点,而是决定自内而外提高其性能.如果你想让Python在同一

  • 详解如何利用Cython为Python代码加速

    引言 通常,在 Python 中写循环(特别是多重循环)非常的慢,在文章 //www.jb51.net/article/133807.htm中,我们的元胞自动机的状态更新函数 update_state 使用了两重循环,所以我们尝试用 Cython 重构该方法. 代码 我们在同文件夹下新建一个 update.pyx 文件,写入如下内容 import numpy as np cimport numpy as np cimport cython DTYPE = np.float ctypedef np

  • 六个窍门助你提高Python运行效率

    不喜欢Python的人经常会吐嘈Python运行太慢.但是,事实并非如此.尝试以下六个窍门,来为你的Python应用提速. 窍门一:关键代码使用外部功能包 Python简化了许多编程任务,但是对于一些时间敏感的任务,它的表现经常不尽人意.使用C/C++或机器语言的外部功能包处理时间敏感任务,可以有效提高应用的运行效率.这些功能包往往依附于特定的平台,因此你要根据自己所用的平台选择合适的功能包.简而言之,这个窍门要你牺牲应用的可移植性以换取只有通过对底层主机的直接编程才能获得的运行效率.以下是一些

  • 基于Numba提高python运行效率过程解析

    Numba是Python的即时编译器,在使用NumPy数组和函数以及循环的代码上效果最佳.使用Numba的最常见方法是通过其装饰器集合,这些装饰器可应用于您的函数以指示Numba对其进行编译.调用Numba装饰函数时,它会被"即时"编译为机器代码以执行,并且您的全部或部分代码随后可以本机机器速度运行! 安装numba(我在这里加了--default-timeout=10000,防止安装时出现timeout的错误) pip --default-timeout=10000 install

  • 能让Python提速超40倍的神器Cython详解

    能让Python提速超40倍的神器Cython详解

    让Python提速超过40倍的神器:Cython 人工智能最火的语言,自然是被誉为迄今为止最容易使用的代码之一的Python.Python代码素来以直观.高可读性著称. 然而,易用的背后,是Python无法逾越的障碍:慢.尤其是C程序员,这群快枪手简直无法忍受Python的慢. 所以有人就想了各种方法去解决这个问题,本文就介绍其中的一种.如果你的代码是纯Python,或者你必须用一个大的for循环却无法放入矩阵因为数据必须按顺序处理,那么就可以使用Cython来加速Python. 1.什么是Cy

  • 利用Numba与Cython结合提升python运行效率详解

    利用Numba与Cython结合提升python运行效率详解

    目录 Numba Numba 模式 什么是LLVM? Numba的优势: Numba的劣势: Cython Cython的优势: Cython的劣势: Numba 对 Cython Numba Numba是一个即时(JIT)编译器,它将Python代码转换为用于CPU和GPU的本地机器指令.代码可以在导入时.运行时或提前编译. 通过使用jit装饰器,使用Numba非常容易: 正如你所知道的,在Python中,所有代码块都被编译成字节码: 代码优化 为了优化Python代码,Numba从提供的函数

  • Python利用三层神经网络实现手写数字分类详解

    Python利用三层神经网络实现手写数字分类详解

    目录 前言 一.神经网络组成 二.代码实现 1.引入库 2.导入数据集 3.全连接层 4.ReLU激活函数层 5.Softmax损失层 6.网络训练与推断模块 三.代码debug 四.结果展示 补充 前言 本文做的是基于三层神经网络实现手写数字分类,神经网络设计是设计复杂深度学习算法应用的基础,本文将介绍如何设计一个三层神经网络模型来实现手写数字分类.首先介绍如何利用高级编程语言Python搭建神经网络训练和推断框架来实现手写数字分类的训练和使用. 本文实验文档下载 一.神经网络组成 一个完整的

  • 最小二乘法及其python实现详解

    最小二乘法Least Square Method,做为分类回归算法的基础,有着悠久的历史(由马里·勒让德于1806年提出).它通过最小化误差的平方和寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小.最小二乘法还可用于曲线拟合.其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达. 那什么是最小二乘法呢?别着急,我们先从几个简单的概念说起. 假设我们现在有一系列的数据点 ,那么由我们给出的拟合函数h(x)得到的估计量就是

  • Python基础详解之描述符

    一.描述符定义 描述符是一种类,我们把实现了__get__().__set__()和__delete__()中的其中任意一种方法的类称之为描述符. 描述符的作用是用来代理一个类的属性,需要注意的是描述符不能定义在被使用类的构造函数中,只能定义为类的属性,它只属于类的,不属于实例,我们可以通过查看实例和类的字典来确认这一点. 描述符是实现大部分Python类特性中最底层的数据结构的实现手段,我们常使用的@classmethod.@staticmethd.@property.甚至是__slots__

  • Python基础详解之邮件处理

    Python基础详解之邮件处理

    一.发送电子邮件 Python标准库提供了smtplib,用于实现SMTP协议发送邮件.标准库还提供email模块帮助我们构建邮件格式.SMTP(Simple Mail Transfer Protocol,即简单邮件传输协议),是一组有源地址到目的地址传送邮件的规则,用来控制信件的中转方式. 获取QQ邮箱密码(授权码) 二.发送纯文本格式的邮件 import smtplib from email.mime.text import MIMEText from email.header import

  • python2利用wxpython生成投影界面工具的图文详解

    python2利用wxpython生成投影界面工具的图文详解

    本投影界面工具的功能: 准备好.prj投影文件,将输入文件夹内的WGS84经纬度坐标shp文件,投影为平面文件,成果自动命名为prj_***并新建在输入文件夹同一路径下. 下一步目标: 利用pyinstaller或其他打包库生成exe文件,目前停滞在python2语法.arcpy打包出错相关问题上. 参考文献: <Using Py2exe with Arcpy- It can be done easily!> <如何使用py2exe打包arcpy脚本?> GUI界面示意图 投影文件

  • php安全攻防利用文件上传漏洞与绕过技巧详解

    目录 前言 文件上传漏洞的一些场景 场景一:前端js代码白名单判断.jpg|.png|.gif后缀 场景二:后端PHP代码检查Content-type字段 场景三:代码黑名单判断.asp|.aspx|.php|.jsp后缀 场景四:代码扩大黑名单判断 绕过方式--htaccsess: 绕过方式--大小写绕过: 场景五:一些复合判断 空格.点绕过(windows) ::$DATA绕过(windows) 双写绕过 %00截断 %0a绕过 图片马绕过 二次渲染绕过 条件竞争 /.绕过 前言 文件上传漏

  • 利用Pytorch实现获取特征图的方法详解

    目录 简单加载官方预训练模型 图片预处理 提取单个特征图 提取多个特征图 简单加载官方预训练模型 torchvision.models预定义了很多公开的模型结构 如果pretrained参数设置为False,那么仅仅设定模型结构:如果设置为True,那么会启动一个下载流程,下载预训练参数 如果只想调用模型,不想训练,那么设置model.eval()和model.requires_grad_(False) 想查看模型参数可以使用modules和named_modules,其中named_modul

  • Golang与python线程详解及简单实例

    Golang与python线程详解及简单实例 在GO中,开启15个线程,每个线程把全局变量遍历增加100000次,因此预测结果是 15*100000=1500000. var sum int var cccc int var m *sync.Mutex func Count1(i int, ch chan int) { for j := 0; j < 100000; j++ { cccc = cccc + 1 } ch <- cccc } func main() { m = new(sync.

  • python getopt详解及简单实例

     python getopt详解 函数原型: getopt.getopt(args, shortopts, longopts=[]) 参数解释: args:args为需要解析的参数列表.一般使用sys.argv[1:],这样可以过滤掉第一个参数(ps:第一个参数是脚本的名称,它不应该作为参数进行解析) shortopts:简写参数列表 longopts:长参数列表 返回值: opts:分析出的(option, value)列表对. args:不属于格式信息的剩余命令行参数列表. 源码分析 在An

随机推荐