numpy中np.nanmax和np.max的区别及坑

目录
  • np.nanmax和np.array([1,2,3,np.nan]).max()的区别
    • 原理
    • 速度区别
  • numpy中nan和常用方法

np.nanmax和np.array([1,2,3,np.nan]).max()的区别

numpy中numpy.nanmax的官方文档

原理

在计算dataframe最大值时，最先用到的一定是Series对象的max()方法()，最终结果是4。

s1 = pd.Series([1,2,3,4,np.nan])
s1_max = s1.max()

但是笔者由于数据量巨大，列数较多，于是为了加快计算速度，采用numpy进行最大值的计算，但正如以下代码，最终结果得到的是nan，而非4。发现，采用这种方式计算最大值，nan也会包含进去，并最终结果为nan。

s1 = pd.Series([1,2,3,4,np.nan])
s1_max = s1.values.max()
>>>nan

通过阅读numpy的文档发现，存在np.nanmax的函数，可以将np.nan排除进行最大值的计算，并得到想要的正确结果。

当然不止是max，min 、std、mean 均会存在列中含有np.nan时，s1.values.min /std/mean ()返回nan的情况。

速度区别

速度由快到慢依次:

s1 = pd.Series([1,2,3,4,5,np.nan])
#速度由快至慢
np.nanmax(s1.values) > np.nanmax(s1) > s1.max() 

numpy中nan和常用方法

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Author: Jia ShiLin

import numpy as np

a = np.arange(9, dtype=float).reshape(3, 3)
a[[[1], [2]]] = np.nan
print(a)
# isnan函数
print(np.isnan(a))
a[np.isnan(a)] = 0  # 把nan替换成中值或者均值
print(a)

print(np.count_nonzero(a))

# sum()统计求和
b = np.arange(12, dtype=int).reshape(2, 6)
print(b)
print(np.sum(b, axis=0))  # 得到结果和行的形状一样
print(np.sum(b, axis=1))
# .mean()
print(b.mean())
print(b.mean(axis=0))
print(b.mean(axis=1))
# np.median()中位数
print(np.median(b, axis=0))
# .min() .max()
# .ptp()机值
print(np.ptp(b))
# .std()标注差
print(np.std(b, axis=0))

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 详解numpy的argmax的具体使用

    从最简单的例子出发 假定现在有一个数组a = [3, 1, 2, 4, 6, 1]现在要算数组a中最大数的索引是多少.这个问题对于刚学编程的同学就能解决.最直接的思路,先假定第0个数最大,然后拿这个和后面的数比,找到大的就更新索引.代码如下 a = [3, 1, 2, 4, 6, 1] maxindex = 0 i = 0 for tmp in a: if tmp > a[maxindex]: maxindex = i i += 1 print(maxindex) 这个问题虽然简单.但是可以帮助

  • Numpy中np.max的用法及np.maximum区别

    Numpy中np.max(即np.amax)的用法 >>> import numpy as np >>> help(np.max) 当遇到一个不认识的函数,我们就需要查看一下帮助文档 np.max与np.amax是同名函数 amax(a, axis=None, out=None, keepdims=<no value>, initial=<no value>, where=<no value>) Return the maximum

  • Python中的np.argmin()和np.argmax()函数用法

    Python np.argmin()和np.argmax()函数 按照axis的要求返回最小的数/最大的数的下标 numpy.argmin(a, axis=None, out=None) numpy.argmax(a, axis=None, out=None) a:传入一个数组, axis:默认将输入数组展平,否则,按照axis方向 out:可选 import numpy as np a = np.arange(6).reshape(2, 3) a array([[0, 1, 2], [3, 4

  • numpy中np.nanmax和np.max的区别及坑

    numpy中np.nanmax和np.max的区别及坑

    目录 np.nanmax和np.array([1,2,3,np.nan]).max()的区别 原理 速度区别 numpy中nan和常用方法 np.nanmax和np.array([1,2,3,np.nan]).max()的区别 numpy中numpy.nanmax的官方文档 原理 在计算dataframe最大值时,最先用到的一定是Series对象的max()方法(),最终结果是4. s1 = pd.Series([1,2,3,4,np.nan]) s1_max = s1.max() 但是笔者由于

  • Numpy中的shape、reshape函数的区别

    Numpy中的shape、reshape函数的区别

    目录 1 shape()函数 2 reshape()函数 1 shape()函数 读取矩阵的长度,比如shape[0]就是读取矩阵第一维度的长度,相当于行数.它的输入参数可以是一个整数表示维度,也可以是一个矩阵.shape函数返回的是一个元组tuple,表示数组(矩阵)的维度/ 形状,例子如下: w.shape[0]返回的是w的行数 w.shape[1]返回的是w的列数 df.shape():查看行数和列数 1. 数组(矩阵)只有一个维度时,shape只有shape[0],返回的是该一维数组(矩

  • 详解将Pandas中的DataFrame类型转换成Numpy中array类型的三种方法

    详解将Pandas中的DataFrame类型转换成Numpy中array类型的三种方法

    在用pandas包和numpy包对数据进行分析和计算时,经常用到DataFrame和array类型的数据.在对DataFrame类型的数据进行处理时,需要将其转换成array类型,是以下列出了三种转换方法. 首先导入numpy模块.pandas模块.创建一个DataFrame类型数据df import numpy as np import pandas as pd df=pd.DataFrame({'A':[1,2,3],'B':[4,5,6],'C':[7,8,9]}) 1.使用DataFra

  • 基于python解线性矩阵方程(numpy中的matrix类)

    这学期有一门运筹学,讲的两大块儿:线性优化和非线性优化问题.在非线性优化问题这里涉及到拉格朗日乘子法,经常要算一些非常变态的线性方程,于是我就想用python求解线性方程.查阅资料的过程中找到了一个极其简单的解决方式,也学到了不少东西.先把代码给出. import numpy as np # A = np.mat('1 2 3;2 -1 1;3 0 -1') A = np.array([[1, 2, 3], [2, -1, 1], [3, 0, -1]]) b = np.array([9, 8,

  • python numpy中array与pandas的DataFrame转换方式

    python numpy中array与pandas的DataFrame转换方式

    目录 numpy array与pandas的DataFrame转换 1.numpy的array转换为pandas的DataFrame 2.pandas的DataFrame转换为numpy的array Pandas DataFrame转换成Numpy中array的三种方法 1.使用DataFrame中的values方法 2.使用DataFrame中的as_matrix()方法 3.使用Numpy中的array方法 numpy array与pandas的DataFrame转换 1.numpy的arr

  • 关于numpy中np.nonzero()函数用法的详解

    np.nonzero函数是numpy中用于得到数组array中非零元素的位置(数组索引)的函数.一般来说,通过help(np.nonzero)能够查看到该函数的解析与例程.但是,由于例程为英文缩写,阅读起来还是很费劲,因此,本文将其英文解释翻译成中文,便于理解. 解释 nonzero(a) 返回数组a中非零元素的索引值数组. (1)只有a中非零元素才会有索引值,那些零值元素没有索引值: (2)返回的索引值数组是一个2维tuple数组,该tuple数组中包含一维的array数组.其中,一维arra

  • 浅谈numpy中np.array()与np.asarray的区别以及.tolist

    array和asarray都可以将结构数据转化为ndarray,但是主要区别就是当数据源是ndarray时,array仍然会copy出一个副本,占用新的内存,但asarray不会. 1.输入为列表时 a=[[1,2,3],[4,5,6],[7,8,9]] b=np.array(a) c=np.asarray(a) a[2]=1 print(a) print(b) print(c) 从中我们可以看出np.array与np.asarray功能是一样的,都是将输入转为矩阵格式.当输入是列表的时候,更改

  • Numpy中np.random.rand()和np.random.randn() 用法和区别详解

    numpy.random.rand(d0, d1, -, dn)的随机样本位于[0, 1)中:本函数可以返回一个或一组服从**"0~1"均匀分布**的随机样本值. numpy.random.randn(d0, d1, -, dn)是从标准正态分布中返回一个或多个样本值. 1. np.random.rand() 语法: np.random.rand(d0,d1,d2--dn) 注:使用方法与np.random.randn()函数相同 作用: 通过本函数可以返回一个或一组服从"0

  • Numpy中的数组搜索中np.where方法详细介绍

    numpy.where (condition[, x, y]) numpy.where() 有两种用法: 1. np.where(condition, x, y) 满足条件(condition),输出x,不满足输出y. 如果是一维数组,相当于[xv if c else yv for (c,xv,yv) in zip(condition,x,y)] >>> aa = np.arange(10) >>> np.where(aa,1,-1) array([-1, 1, 1,

随机推荐