Python实战基础之Pandas统计某个数据列的空值个数

目录
  • 一、实战场景
  • 二、主要知识点
  • 三、菜鸟实战
    • 1、创建 python 文件
    • 2、运行结果
  • 补充:Pandas检查是否有空值、处理空值
  • 总结

一、实战场景

实战场景:Pandas 如何统计某个数据列的空值个数

二、主要知识点

  • 文件读写
  • 基础语法
  • Pandas
  • numpy

三、菜鸟实战

马上安排!

1、创建 python 文件

"""
对如下DF,设置两个单元格的值
·使用iloc 设置(3,B)的值是nan
·使用loc设置(8,D)的值是nan
"""
import numpy as np
import pandas as pd

np.random.seed(66)
df = pd.DataFrame(np.random.rand(10, 4), columns=list('ABCD'))
df.iloc[3, 1] = np.nan
df.loc[8, 'D'] = np.nan
print(df)

print(df.isnull().sum())

2、运行结果

A         B         C         D
0  0.154288  0.133700  0.362685  0.679109
1  0.194450  0.251210  0.758416  0.557619
2  0.514803  0.467800  0.087176  0.829095
3  0.298641       NaN  0.678006  0.903489
4  0.514451  0.539105  0.664328  0.634057
5  0.353419  0.026643  0.165290  0.879319
6  0.067820  0.369086  0.115501  0.096294
7  0.083770  0.086927  0.022256  0.771043
8  0.049213  0.465223  0.941233       NaN
9  0.361318  0.031319  0.304045  0.188268
A    0
B    1
C    0
D    1
dtype: int64

补充:Pandas检查是否有空值、处理空值

1.创建有空值的DataFrame

import numpy as np
import pandas as pd

dates = pd.date_range("20200307", periods=4)
df1 = pd.DataFrame(np.arange(12).reshape(4, 3), index=dates, columns=["A", "B", "C"])
df2 = pd.DataFrame(df1, index=dates, columns=["A", "B", "C", "D"])  # 新增D列,却不赋值,NaN表示空值
print(df2)
# 打印输出:
#             A   B   C   D
# 2020-03-07  0   1   2 NaN
# 2020-03-08  3   4   5 NaN
# 2020-03-09  6   7   8 NaN
# 2020-03-10  9  10  11 NaN

2.检查是否有空值

print(df2.isnull())  # 是空值返回True,否则返回False
print(np.any(df2.isnull()))  # 只要有一个空值便会返回True,否则返回False
print(np.all(df2.isnull()))  # 全部值都是空值便会返回True,否则返回False
# 输出结果:
#                 A      B      C     D
# 2020-03-07  False  False  False  True
# 2020-03-08  False  False  False  True
# 2020-03-09  False  False  False  True
# 2020-03-10  False  False  False  True
# True
# False

3.给NaN赋值

df2.iloc[0, 3] = 10  # 直接给某个位置赋值
print(df2)
# 打印输出:
#            A   B   C     D
# 2020-03-07  0   1   2  10.0
# 2020-03-08  3   4   5   NaN
# 2020-03-09  6   7   8   NaN
# 2020-03-10  9  10  11   NaN

series = pd.Series([11, 12, 13], index=dates[1:4])
df2["D"] = series  # 同时给D列赋多个值
print(df2)
# 打印输出:
#             A   B   C     D
# 2020-03-07  0   1   2   NaN
# 2020-03-08  3   4   5  11.0
# 2020-03-09  6   7   8  12.0
# 2020-03-10  9  10  11  13.0

4.去除有空值的行或列

df2.loc["2020-03-10", ["A", "B", "C"]] = [11, 12, 15]
df2.fillna("null")  # 把空值填充成null

# dropna(axis,how,subset)方法会删除有空值的行或列,
# axis为0是行,axis为1是列,
# how为any时该行或列只要有一个空值就会删除,all是全都是空值才删除
# subset是一个列表,指定某些列
df2.dropna(axis=0, how="any", subset=["A", "D"])

总结

到此这篇关于Python实战基础之Pandas统计某个数据列空值个数的文章就介绍到这了,更多相关Pandas统计数据列空值个数内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • pandas 添加空列并赋空值案例

    创建测试dataframe: >>> import pandas as pd >>> df = pd.DataFrame([{'a':1, 'b':2}, {'a':3, 'b':4}]) >>> df a b 0 1 2 1 3 4 添加两个空列 >>> df[['c','d']]=df.apply(lambda x:('',''),axis=1,result_type='expand') >>> df a b c

  • Python pandas之求和运算和非空值个数统计

    目录 准备工作 1.非空值计数 1.1对全表进行操作 1.1.1求取每列的非空值个数 1.1.2 求取每行的非空值个数 1.2 对单独的一行或者一列进行操作 1.2.1 求取单独某一列的非空值个数 1.2.2 求取单独某一行的非空值个数 1.3 对多行或者多列进行操作 1.3.1 求取多列的非空值个数 1.3.2 求取多行的非空值个数 2 sum求和 2.1对全表进行操作 2.1.1对每一列进行求和 2.1.2 对每一行进行求和 2.2 对单独的一行或者一列进行操作 2.2.1 对某一列进行求和

  • 浅谈pandas中对nan空值的判断和陷阱

    pandas基于numpy,所以其中的空值nan和numpy.nan是等价的.numpy中的nan并不是空对象,其实际上是numpy.float64对象,所以我们不能误认为其是空对象,从而用bool(np.nan)去判断是否为空值,这是不对的. 对于pandas中的空值,我们该如何判断,并且有哪些我们容易掉进去的陷阱,即不能用怎么样的方式去判断呢? 可以判断pandas中单个空值对象的方式: 1.利用pd.isnull(),pd.isna(); 2.利用np.isnan(); 3.利用is表达式

  • Python pandas.DataFrame 找出有空值的行

    0.摘要 pandas中DataFrame类型中,找出所有有空值的行,可以使用.isnull()方法和.any()方法. 1.找出含有空值的行 方法:DataFrame[DataFrame.isnull().T.any()] 其中,isnull()能够判断数据中元素是否为空值:T为转置:any()判断该行是否有空值. import pandas as pd import numpy as np n = np.arange(20, dtype=float).reshape(5,4) n[2,3]

  • pandas 缺失值与空值处理的实现方法

    1.相关函数 df.dropna() df.fillna() df.isnull() df.isna() 2.相关概念 空值:在pandas中的空值是"" 缺失值:在dataframe中为nan或者naT(缺失时间),在series中为none或者nan即可 3.函数具体解释 DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False) 函数作用:删除含有空值的行或列 axis:维度,axis=

  • python pandas消除空值和空格以及 Nan数据替换方法

    在人工采集数据时,经常有可能把空值和空格混在一起,一般也注意不到在本来为空的单元格里加入了空格.这就给做数据处理的人带来了麻烦,因为空值和空格都是代表的无数据,而pandas中Series的方法notnull()会把有空格的数据也纳入进来,这样就不能完整地得到我们想要的数据了,这里给出一个简单的方法处理该问题. 方法1: 既然我们认为空值和空格都代表无数据,那么可以先得到这两种情况下的布尔数组. 这里,我们的DataFrame类型的数据集为df,其中有一个变量VIN,那么取得空值和空格的布尔数组

  • Python实战基础之Pandas统计某个数据列的空值个数

    目录 一.实战场景 二.主要知识点 三.菜鸟实战 1.创建 python 文件 2.运行结果 补充:Pandas检查是否有空值.处理空值 总结 一.实战场景 实战场景:Pandas 如何统计某个数据列的空值个数 二.主要知识点 文件读写 基础语法 Pandas numpy 三.菜鸟实战 马上安排! 1.创建 python 文件 """ 对如下DF,设置两个单元格的值 ·使用iloc 设置(3,B)的值是nan ·使用loc设置(8,D)的值是nan ""&

  • Python实战基础之绘制饼状图分析商品库存

    目录 一.实战场景 二.主要知识点 三.菜鸟实战 1.创建 python 文件 2.运行结果 补充:其中pie()函数中的参数: 总结 一.实战场景 实战场景:如何绘制饼状图分析商品库存 二.主要知识点 文件读写 基础语法 字符串处理 文件生成 数据构建 三.菜鸟实战 马上安排! 1.创建 python 文件 """ Author: 菜鸟实战 实战场景: 如何绘制饼状图分析商品库存 """ # 导入系统包 import platform from

  • Python Pandas list列表数据列拆分成多行的方法实现

    1.实现的效果 示例代码: df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]}) df Out[458]: A B 0 1 [1, 2] 1 2 [1, 2] 拆分成多行的效果: A  B 0  1  1 1  1  2 3  2  1 4  2  2 2.拆分成多行的方法 1)通过apply和pd.Series实现 容易理解,但在性能方面不推荐. df.set_index('A').B.apply(pd.Series).stack().reset_ind

  • Pandas统计重复的列里面的值方法

    pandas 代码如下: import pandas as pd import numpy as np salaries = pd.DataFrame({ 'name': ['BOSS', 'Lilei', 'Lilei', 'Han', 'BOSS', 'BOSS', 'Han', 'BOSS'], 'Year': [2016, 2016, 2016, 2016, 2017, 2017, 2017, 2017], 'Salary': [1, 2, 3, 4, 5, 6, 7, 8], 'Bon

  • Python入门之使用pandas分析excel数据

    1.问题 在python中,读写excel数据方法很多,比如xlrd.xlwt和openpyxl,实际上限制比较多,不是很方便.比如openpyxl也不支持csv格式.有没有更好的方法? 2.方案 更好的方法可以使用pandas,虽然pandas不是专门处理excel数据,但处理excel数据确实很方便. 本文使用excel的数据来自网络,数据内容如下: 2.1.安装 使用pip进行安装. pip3 install pandas 导入pandas: import pandas as pd 下文使

  • pandas将list数据拆分成行或列的实现

    数据 import numpy as np import pandas as pd data = [{'Name': '小明', 'Chinese': [70, 80], 'Math': [90, 80]}, {'Name': '小红', 'Chinese': [70, 80, 90], 'Math': [90, 80, 70]}] data = pd.DataFrame(data) data 拆分成行 def split_row(data, column): '''拆分成行 :param da

  • Python基础之pandas数据合并

    一.concat concat函数是在pandas底下的方法,可以将数据根据不同的轴作简单的融合 pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False) axis: 需要合并链接的轴,0是行,1是列join:连接的方式 inner,或者outer 二.相同字段的表首尾相接 #现将表构成l

  • python实战之实现excel读取、统计、写入的示例讲解

    背景 图像领域内的一个国内会议快要召开了,要发各种邀请邮件,之后要录入.统计邮件回复(参会还是不参会等).如此重要的任务,老师就托付给我了.ps: 统计回复邮件的时候,能知道谁参会或谁不参会. 而我主要的任务,除了录入邮件回复,就是统计理事和普通会员的参会情况了(参会的.不参会的.没回复的).录入邮件回复信息没办法只能人工操作,但如果统计也要人工的话,那工作量就太大了(比如在上百人的列表中搜索另外上百人在不在此列表中!!),于是就想到了用python来帮忙,花两天时间不断修改,写了6个版本...

  • Python实战实现爬取天气数据并完成可视化分析详解

    1.实现需求: 从网上(随便一个网址,我爬的网址会在评论区告诉大家,dddd)获取某一年的历史天气信息,包括每天最高气温.最低气温.天气状况.风向等,完成以下功能: (1)将获取的数据信息存储到csv格式的文件中,文件命名为”城市名称.csv”,其中每行数据格式为“日期,最高温,最低温,天气,风向”: (2)在数据中增加“平均温度”一列,其中:平均温度=(最高温+最低温)/2,在同一张图中绘制两个城市一年平均气温走势折线图: (3)统计两个城市各类天气的天数,并绘制条形图进行对比,假设适合旅游的

随机推荐