NumPy 与 Python 内置列表计算标准差区别详析

目录
  • 1 什么是 Numpy
  • 2 NumPy 数组和 Python 内置计算对比
  • 3 函数计算时间装饰器
  • 4 标准差计算公式
  • 5 总结

1 什么是 Numpy

NumPy，是 Numerical Python 的简称，用于高性能科学计算和数据分析的基础包，像数学科学工具（pandas）和框架（Scikit-learn）中都使用到了 NumPy 这个包。

NumPy 中的基本数据结构是ndarray或者 N 维数值数组，在形式上来说，它的结构有点像 Python 的基础类型——Python列表。

但本质上，这两者并不同，可以看到一个简单的对比。

我们创建两个列表，当我们创建好了之后，可以使用 +运算符进行连接:

list1 = [i for i in range(1,11)]
list2 = [i**2 for i in range(1,11)]
print(list1+list2)
# [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

列表中元素的处理感觉像对象，不是很数字，不是吗？ 如果这些是数字向量而不是简单的数字列表，您会期望 + 运算符的行为略有不同，并将第一个列表中的数字按元素添加到第二个列表中的相应数字中。

接下来看一下 Nympy 的数组版本：

import numpy as np
arr1 = np.array(list1)
arr2 = np.array(list2)
arr1 + arr2
# array([ 2, 6, 12, 20, 30, 42, 56, 72, 90, 110])

通过 numpy 的np.array数组方法实现了两个列表内的逐个值进行相加。

我们通过dir 函数来看两者的区别，先看 Python 内置列表 list1的内置方法：

再用同样的方法看一下 arr1中的方法：

NumPy 数组对象还有更多可用的函数和属性。 特别要注意诸如mean、std和sum之类的方法，因为它们清楚地表明重点关注使用这种数组对象的数值/统计计算。 而且这些操作也很快。

2 NumPy 数组和 Python 内置计算对比

NumPy 的速度要快得多，因为它的矢量化实现以及它的许多核心例程最初是用 C 语言（基于 CPython 框架）编写的。 NumPy 数组是同构类型的密集排列的数组。 相比之下，Python 列表是指向对象的指针数组，即使它们都属于同一类型。 因此，我们得到了参考局部性的好处。

许多 NumPy 操作是用 C 语言实现的，避免了 Python 中的循环、指针间接和逐元素动态类型检查的一般成本。 特别是，速度的提升取决于您正在执行的操作。 对于数据科学和 ML 任务，这是一个无价的优势，因为它避免了长和多维数组中的循环。

让我们使用 @timing计时装饰器来说明这一点。 这是一个围绕两个函数 std_dev和std_dev_python包装装饰器的代码，分别使用 NumPy 和本机 Python 代码实现列表/数组的标准差计算。

3 函数计算时间装饰器

我们可以使用 Python 装饰器和functools模块的wrapping来写一个 时间装饰器timing:

def timing(func):
@wraps(func)
def wrap(*args, **kw):
begin_time = time()
result = func(*args, **kw)
end_time = time()
print(f"Function '{func.__name__}' took {end_time-begin_time} seconds to run")
return result
return wrap

4 标准差计算公式

然后利用这个时间装饰器来看 Numpy 数组和 Python 内置的列表，然后计算他们的标准差，

公式如图：

  • 定义 Numpy 计算标准差的函数std_dev()，numpy 模块中内置了标准差公式的函数 a.std()，我们可以直接调用
  • 列表计算公式方法需要按照公式一步一步计算：
  • 先求求出宗和s
  • 然后求出平均值average
  • 计算每个数值与平均值的差的平方，再求和sumsq
  • 再求出sumsq 的平均值 sumsq_average
  • 得到最终的标准差结果result

代码如下：

from functools import wraps
from time import time
import numpy as np
from math import sqrt
def timing(func):
@wraps(func)
def wrap(*args, **kw):
begin_time = time()
result = func(*args, **kw)
end_time = time()
# print(f"Function '{func.__name__}' with arguments {args},keywords {kw} took {end_time-begin_time} seconds to run")
print(f"Function '{func.__name__}' took {end_time-begin_time} seconds to run")
return result
return wrap

@timing
def std_dev(a):
if isinstance(a, list):
a = np.array(a)
s = a.std()
return s

@timing
def std_dev_python(lst):

length = len(lst)
s = sum(lst)
average = s / length
sumsq = 0
for i in lst:
sumsq += (i-average)**2
sumsq_average = sumsq/length
result = sqrt(sumsq_average)
return result

运行结果，最终可以看到 1000000 个值得标准差的值为 288675.13459，而 Numpy 计算时间为 0.0080 s，而 Python 原生计算方式为 0.2499 s：

由此可见，Numpy 的方式明显更快。

5 总结

NumPy 是专门针对数组的操作和运算进行了设计，所以数组的存储效率和输入输出性能远优于Python中的嵌套列表，数组越大，NumPy的优势就越明显。

到此这篇关于NumPy 与 Python 内置列表计算标准差区别详析的文章就介绍到这了,更多相关Python 内置列表内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Python的numpy库中将矩阵转换为列表等函数的方法

    这篇文章主要介绍Python的numpy库中的一些函数,做备份,以便查找. (1)将矩阵转换为列表的函数:numpy.matrix.tolist() 返回list列表 Examples >>> >>> x = np.matrix(np.arange(12).reshape((3,4))); x matrix([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) >>> x.tolist() [[0, 1, 2

  • Python使用numpy模块实现矩阵和列表的连接操作方法

    Numpy模块被广泛用于科学和数值计算,自然有它的强大之处,之前对于特征处理中需要进行数据列表或者矩阵拼接的时候都是自己写的函数来完成的,今天发现一个好玩的函数,不仅好玩,关键性能强大,那就是Numpy模块自带的矩阵.列表连接函数,实践一下. #!usr/bin/env python #encoding:utf-8 from __future__ import division ''' __Author__:沂水寒城 使用numpy模块实现矩阵的连接操作 ''' import numpy as

  • python中利用numpy.array()实现俩个数值列表的对应相加方法

    小编想把用python将列表[1,1,1,1,1,1,1,1,1,1] 和 列表 [2,2,2,2,2,2,2,2,2,2]对应相加成[3,3,3,3,3,3,3,3,3,3]. 代码如下: import numpy a = numpy.array([1,1,1,1,1,1,1,1,1,1]) b = numpy.array([2,2,2,2,2,2,2,2,2,2]) c = a + b print(type(c)) print(list(c)) 输出结果为: <class 'numpy.nd

  • python实现将一维列表转换为多维列表(numpy+reshape)

    如题,我们直接使用numpy #!D:/workplace/python # -*- coding: utf-8 -*- # @File : numpy_reshape.py # @Author: WangYe # @Date : 2018/7/23 # @Software: PyCharm import numpy a=[1,2,3,1,4,5,5846,464,64,456,456,4] print(a) b=numpy.array(a).reshape(len(a),1) # reshap

  • 详谈Python中列表list,元祖tuple和numpy中的array区别

    1.列表 list是处理一组有序项目的数据结构,即你可以在一个列表中存储一个序列的项目.列表中的项目.列表中的项目应该包括在方括号中,这样python就知道你是在指明一个列表.一旦你创建了一个列表,你就可以添加,删除,或者是搜索列表中的项目.由于你可以增加或删除项目,我们说列表是可变的数据类型,即这种类型是可以被改变的,并且列表是可以嵌套的. 列表是可以改变的,能够增加或减少,(append和del函数) 2.元组 元祖和列表十分相似,不过元组是不可变的.即你不能修改元组.元组通过圆括号中用逗号

  • NumPy 与 Python 内置列表计算标准差区别详析

    NumPy 与 Python 内置列表计算标准差区别详析

    目录 1 什么是 Numpy 2 NumPy 数组和 Python 内置计算对比 3 函数计算时间装饰器 4 标准差计算公式 5 总结 1 什么是 Numpy NumPy,是 Numerical Python 的简称,用于高性能科学计算和数据分析的基础包,像数学科学工具(pandas)和框架(Scikit-learn)中都使用到了 NumPy 这个包. NumPy 中的基本数据结构是ndarray或者 N 维数值数组,在形式上来说,它的结构有点像 Python 的基础类型——Python列表.

  • 基于python内置函数与匿名函数详解

    基于python内置函数与匿名函数详解

    内置函数 Built-in Functions abs() dict() help() min() setattr() all() dir() hex() next() slice() any() divmod() id() object() sorted() ascii() enumerate() input() oct() staticmethod() bin() eval() int() open() str() bool() exec() isinstance() pow() super

  • 表格梳理python内置数学模块math分析详解

    表格梳理python内置数学模块math分析详解

    python内置数学模块math 提供了一些基础的计算功能,下列表达式默认 from math import * 默认输入输出均为一个数字.大部分函数都很直观,望文生义即可. 其他函数 isclose(a, b, *, rel_tol=1e-09, abs_tol=0.0) 若 a 和 b 的值比较接近则返回True,否则False. rel_tol 是相对容差,表示a, b之间允许的最大差值.例如,要设置5%的容差,rel_tol=0.05.rel_tol 必须大于0. abs_tol 是最小

  • python内置函数之slice案例详解

    英文文档: class slice(stop) class slice(start, stop[, step]) Return a slice object representing the set of indices specified by range(start, stop, step). The start and step arguments default to None. Slice objects have read-only data attributes start, st

  • python内置函数之eval函数详解

    目录 一.简介 二.语法 三.举例 1.计算str表达式的值 2.将str转换成list 3.将str转换成dict 四.Reference 总结 一.简介 eval()函数用来执行一个字符表达式的值,并返回表达式的值 二.语法 具体语法:eval(expression[, globals[, locals]]) 参数: expression – 表达式. globals – 变量作用域,全局命名空间,如果被提供,则必须是一个字典对象. locals– 变量作用域,局部命名空间,如果被提供,可以

  • Python内置random模块生成随机数的方法

    本文我们详细地介绍下两个模块关于生成随机序列的其他使用方法. 随机数参与的应用场景大家一定不会陌生,比如密码加盐时会在原密码上关联一串随机数,蒙特卡洛算法会通过随机数采样等等.Python内置的random模块提供了生成随机数的方法,使用这些方法时需要导入random模块. import random 下面介绍下Python内置的random模块的几种生成随机数的方法. 1.random.random()随机生成 0 到 1 之间的浮点数[0.0, 1.0).注意的是返回的随机数可能会是 0 但

  • 详解python内置常用高阶函数(列出了5个常用的)

    高阶函数是在Python中一个非常有用的功能函数,所谓高阶函数就是一个函数可以用来接收另一个函数作为参数,这样的函数叫做高阶函数. python内置常用高阶函数: 一.函数式编程 •函数本身可以赋值给变量,赋值后变量为函数: •允许将函数本身作为参数传入另一个函数: •允许返回一个函数. 1.map()函数 是 Python 内置的高阶函数,它接收一个函数 f 和一个 list, 并通过把函数 f 依次作用在 list 的每个元素上,得到一个新的 list 并返回 def add(x): ret

  • 关于Python 内置库 itertools

    目录 1.itertools库 2.使用itertools 3.itertools.accumulate 4.itertools.chain 5.itertools.combinations_with_replacement 6.itertools.compress 7.itertools.count 8.itertools.cycle 9.itertools.dropwhile 10.itertools.filterfalse 11.itertools.groupby 12.itertools

  • Python 内置高阶函数详细

    目录 1.Python的内置高阶函数 1.1 map() 1.2 reduce() 函数 1.3 reduce() 函数 1.4 sorted() 函数 1.Python的内置高阶函数 1.1 map() map()会根据提供的函数对指定序列做映射 语法格式: map(function, iterable, ...) 第一个参数function以参数序列中的每一个元素调用function函数, 第二个参数iterable一个或多个序列 返回包含每次 function 函数返回值的新列表. 示例代

  • Python内置函数详细解析

    目录 1.abs 2.all 3.any 4.callable 5.dir 6.id 7.locals 和 globals 8.hash 9.sum 10.getattr.setattr.delattr 前言: Python 自带了很多的内置函数,极大地方便了我们的开发,下面就来挑几个内置函数,看看底层是怎么实现的.内置函数位于 Python/bitlinmodule.c 中. 1.abs abs 的功能是取一个整数的绝对值,或者取一个复数的模. static PyObject * builti

随机推荐