Pandas加速代码之避免使用for循环

前言

使用Pandas dataframe执行数千甚至数百万次计算仍然是一项挑战。你不能简单的将数据丢进去，编写Python for循环，然后希望在合理的时间内处理数据。

Pandas是为一次性处理整个行或列的矢量化操作而设计的，循环遍历每个单元格、行或列并不是它的设计用途。所以，在使用Pandas时，你应该考虑高度可并行化的矩阵运算。

本文将教你如何使用Pandas设计使用的方式，并根据矩阵运算进行思考。在此过程中，我们将向你展示一些实用的节省时间的技巧和窍门，这些技巧和技巧将使你的Pandas代码比那些可怕的Python for循环更快地运行！

数据准备

在本文中，我们将使用经典的鸢尾花数据集。

现在让我们建立一个标准线，用Python for循环来测量我们的速度。我们将通过循环遍历每一行来设置要在数据集上执行的计算，然后测量整个操作的速度。这将为我们提供一个基准，以了解我们的新优化对我们有多大帮助。

在上面的代码中，我们创建了一个基本函数，它使用If-Else语句根据花瓣的长度选择花的类。我们编写了一个for循环，通过循环dataframe对每一行应用函数，然后测量循环的总时间。

在i7-8700k计算机上，循环运行5次平均需要0.01345秒。

使用.iterrows()

我们可以做的最简单但非常有价值的加速是使用Pandas的内置 .iterrows() 函数。

在上一节中编写for循环时，我们使用了 range() 函数。然而，当我们在Python中对大范围的值进行循环时，生成器往往要快得多。

Pandas的 .iterrows() 函数在内部实现了一个生成器函数，该函数将在每次迭代中生成一行Dataframe。更准确地说，.iterrows() 为DataFrame中的每一行生成(index, Series)的对（元组）。这实际上与在原始Python中使用 enumerate() 之类的东西是一样的，但运行速度要快得多！

生成器（Generators）

生成器函数允许你声明一个行为类似迭代器的函数，也就是说，它可以在for循环中使用。这大大简化了代码，并且比简单的for循环更节省内存。

考虑这样一个例子，我们想把1到1000之间的所有数字加起来。下面代码的第一部分说明了如何使用for循环来实现这一点。

如果列表很小，比如长度为1000，那就很好了。当你想要处理一个庞大的列表时，比如10亿个浮点数，问题就出现了。使用for循环，在内存中创建了大量的内存huge列表，并不是每个人都有无限的RAM来存储这样的东西！Python中的range()函数也做同样的事情，它在内存中构建列表

代码的第(2)节演示了使用Python生成器对数字列表求和。生成器将创建元素并仅在需要时将它们存储在内存中。一次一个。这意味着，如果必须创建10亿个浮点数，那么只能一次将它们存储在内存中。Python中的xrange()函数使用生成器来构建列表。

也就是说，如果你想多次迭代列表并且它足够小以适应内存，那么使用for循环和range函数会更好。这是因为每次访问list值时，生成器和xrange都会重新生成它们，而range是一个静态列表，并且内存中已存在整数以便快速访问。

下面我们修改了代码，使用.iterrows()代替常规的for循环。在我上一节测试所用的同一台机器上，平均运行时间为0.005892秒，速度提高了2.28倍！

使用.apply()

iterrows()函数极大地提高了速度，但我们还远远没有完成。请始终记住，当使用为向量操作设计的库时，可能有一种方法可以在完全没有for循环的情况下最高效地完成任务。

为我们提供此功能的Pandas功能是 .apply() 函数。apply()函数接受另一个函数作为输入，并沿着DataFrame的轴（行、列等）应用它。在传递函数的这种情况下，lambda通常可以方便地将所有内容打包在一起。

在下面的代码中，我们已经完全用.apply()和lambda函数替换了for循环，打包所需的计算。这段代码的平均运行时间是0.0020897秒，比原来的for循环快6.44倍。

apply()之所以快得多，是因为它在内部尝试遍历Cython迭代器。如果你的函数针对Cython进行了优化，.apply()将使你的速度更快。额外的好处是，使用内置函数可以生成更干净、更可读的代码！

最后

前面我们提到过，如果你正在使用一个为向量化操作设计的库，你应该总是在没有for循环的情况下寻找一种方法来进行任何计算。

类似地，以这种方式设计的许多库，包括Pandas，都将具有方便的内置函数，可以执行你正在寻找的精确计算，但速度更快。

Pandas的 .cut() 函数将一组bin定义为输入，这些bin定义了If-Else的每个范围和一组标签。这与我们用 compute_class() 函数手动编写有完全相同的操作。

看下面的代码，看看.cut()是如何工作的。我们又一次得到了更干净、更可读的代码。最后，.cut()函数平均运行0.001423秒，比原来的for循环快了9.39倍!

好了，到此这篇关于Pandas加速代码之避免使用for循环的文章就介绍到这了,更多相关Pandas for循环内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • pandas中apply和transform方法的性能比较及区别介绍

    1. apply与transform 首先讲一下apply() 与transform()的相同点与不同点 相同点: 都能针对dataframe完成特征的计算,并且常常与groupby()方法一起使用. 不同点: apply()里面可以跟自定义的函数,包括简单的求和函数以及复杂的特征间的差值函数等(注:apply不能直接使用agg()方法 / transform()中的python内置函数,例如sum.max.min.'count'等方法) transform() 里面不能跟自定义的特征交互函数,

  • Pandas对DataFrame单列/多列进行运算(map, apply, transform, agg)

    1.单列运算 在Pandas中,DataFrame的一列就是一个Series, 可以通过map来对一列进行操作: df['col2'] = df['col1'].map(lambda x: x**2) 其中lambda函数中的x代表当前元素.可以使用另外的函数来代替lambda函数,例如: define square(x): return (x ** 2) df['col2'] = df['col1'].map(square) 2.多列运算 apply()会将待处理的对象拆分成多个片段,然后对各

  • Pandas加速代码之避免使用for循环

    Pandas加速代码之避免使用for循环

    前言 使用Pandas dataframe执行数千甚至数百万次计算仍然是一项挑战.你不能简单的将数据丢进去,编写Python for循环,然后希望在合理的时间内处理数据. Pandas是为一次性处理整个行或列的矢量化操作而设计的,循环遍历每个单元格.行或列并不是它的设计用途.所以,在使用Pandas时,你应该考虑高度可并行化的矩阵运算. 本文将教你如何使用Pandas设计使用的方式,并根据矩阵运算进行思考.在此过程中,我们将向你展示一些实用的节省时间的技巧和窍门,这些技巧和技巧将使你的Panda

  • python3 通过 pybind11 使用Eigen加速代码的步骤详解

    python3 通过 pybind11 使用Eigen加速代码的步骤详解

    python是很容易上手的编程语言,但是有些时候使用python编写的程序并不能保证其运行速度(例如:while 和 for),这个时候我们就需要借助c++等为我们的代码提速.下面是我使用pybind11调用c++的Eigen库的简单介绍: 第一步:准备系统和IDE: Windows 10 vs2015 (用于调试c++代码) vscode (调试python代码) 第二步:python虚拟环境: 1.创建虚拟python虚拟环境: 在vscode的terminal中执行 python -m v

  • python 通过 pybind11 使用Eigen加速代码的步骤

    python 通过 pybind11 使用Eigen加速代码的步骤

    python是很容易上手的编程语言,但是有些时候使用python编写的程序并不能保证其运行速度(例如:while 和 for),这个时候我们就需要借助c++等为我们的代码提速.下面是我使用pybind11调用c++的Eigen库的简单介绍: 第一步:准备系统和IDE: Windows 10  vs2015 (用于调试c++代码) vscode (调试python代码) 第二步:python虚拟环境: 1.创建虚拟python虚拟环境: 在vscode的terminal中执行 python -m

  • 六个实用Pandas数据处理代码

    目录 选取有空值的行 快速替换列值 对列进行分区 将一列分为多列 中文筛选 更改列的位置 前言: 今天和大家分享自己总结的6个常用的Pandas数据处理代码,对于经常处理数据的coder最好熟练掌握. 选取有空值的行 在观察数据结构时,该方法可以快速定位存在缺失值的行. df = pd.DataFrame({'A': [0, 1, 2], 'B': [0, 1, None], 'C': [0, None, 2]}) df[df.isnull().T.any()] 输出: A   B   C  

  • Pandas数据处理加速技巧汇总

    Pandas数据处理加速技巧汇总

    目录 数据准备 日期时间数据优化 数据的简单循环 循环 .itertuples() 和 .iterrows() 方法 .apply() 方法 .isin() 数据选择 .cut() 数据分箱 Numpy 方法处理 处理效率比较 HDFStore 防止重新处理 Pandas 处理数据的效率还是很优秀的,相对于大规模的数据集只要掌握好正确的方法,就能让在数据处理时间上节省很多很多的时间. Pandas 是建立在 NumPy 数组结构之上的,许多操作都是在 C 中执行的,要么通过 NumPy,要么通过

  • js循环map 获取所有的key和value的实现代码(json)

    下面的方法一语方法二都是经过我们小编测试并运行的 方法一: json格式定义 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head

  • Java Iterator迭代器与foreach循环代码解析

    Java Iterator迭代器与foreach循环代码解析

    目录 一. Iterator迭代器接口 1. 使用 Iterator 接口遍历集合元素 2. Iterator接口的方法 3. 迭代器的执行原理 3.1 代码演示 3.2 代码执行过程解析 4. Iterator接口remove()方法 4.1 代码演示 4.2 注意 5. 代码演示 二.foreach 循环 1. 概述 2. 语法解析 3. 代码演示 4. 易错题 一. Iterator迭代器接口 1. 使用 Iterator 接口遍历集合元素 Iterator对象称为迭代器(设计模式的一种)

  • 使用Pyrex来扩展和加速Python程序的教程

    Pyrex 是一种专门设计用来编写 Python 扩展模块的语言.根据 Pyrex Web 站点的介绍,"它被设计用来在友好易用的高级 Python 世界和凌乱的低级 C 世界之间搭建一个桥梁."虽然几乎所有的 Python 代码都可以作为有效的 Pyrex 代码使用,但是您可以在 Pyrex 代码中添加可选的静态类型声明,从而使得这些声明过的对象以 C 语言的速度运行. 加速 Python 从某种意义上来说,Pyrex 只是不断发展的 Python 类语言系列的一个部分:Jython

  • 几个加速Ruby on Rails的编程技巧

    Ruby 语言常以其灵活性为人所称道.正如 Dick Sites 所言,您可以 "为了编程而编程".Ruby on Rails 扩展了核心 Ruby 语言,但正是 Ruby 本身使得这种扩展成为了可能.Ruby on Rails 使用了该语言的灵活性,这样一来,无需太多样板或额外的代码就可以轻松编写高度结构化的程序:无需额外工作,就可以获得大量标准的行为.虽然这种轻松自由的行为并不总是完美的,但毕竟您可以无需太多工作就可以获得很多好的架构. 例如,Ruby on Rails 基于模型-

  • 一些让Python代码简洁的实用技巧总结

    目录 前言 1. 使用Lambda来修改Pandas数据框中的值 2. 使用f-string来连接字符串 3. 用Zip()函数对多个列表进行迭代 4. 使用列表理解法 5. 对文件对象使用with语句 6. 停止使用方括号来获取字典项, 利用.get()代替 7. 多重赋值 总结 前言 众所周知,编写Python代码在开始时十分容易,但随着你在工具包中添加更多的库,你的脚本可能会有不必要的代码行,变得冗长而混乱.可能短期内能够应付工作,但长期来看,麻烦不小. 在这篇文章中,我将与你分享7个技巧

随机推荐