pandas如何统计某一列或某一行的缺失值数目
目录
- 统计某一列或某一行的缺失值数目
- 1.使用isnull()
- 2.使用count
- 利用pandas处理缺失值
- 处理缺失值
统计某一列或某一行的缺失值数目
1.使用isnull()
import pandas as pd # 首先导入数据 df = pd.read_csv('123.csv' , encoding='gbk') # 计算data每一行有多少个缺失值的值,即按行统计缺失值 rows_null = df.isnull().sum(axis=1) # 下面则是按列统计缺失值 col_null = df.isnull().sum(axis=0) #统计整个df的缺失值 all_null = df.isnull().sum().sum() # 统计某一列的缺失值 idx_null = df['列名'].isnull().sum(axis=0)
2.使用count
import pandas as pd # 首先导入数据 df = pd.read_csv('123.csv' , encoding='gbk') # 计算data每一行有多少个非空的值,即按行统计非空值 rows_not_null = df.count(axis=1) # 下面则是按列统计非空值 cols_not_null = df.count(axis=0) cols_null = df.shape[1] - cols_not_null # 统计某一列的非空值 col_not_null = df['列名'].count(axis=0)
利用pandas处理缺失值
处理缺失值
def missing_values(dataframe): missing_ratio = (dataframe.isnull().sum() / len(dataframe))*100 missing_ratio = missing_ratio.drop(missing_ratio[missing_ratio == 0].index).sort_values(ascending=False) missing_count = dataframe.isnull().sum() missing_count = missing_count.drop(missing_count[missing_count == 0].index).sort_values(ascending=False) info = pd.DataFrame({'Missing Ratio': missing_ratio, 'Missing Count': missing_count}) return info
以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。
相关推荐
-
Python Pandas知识点之缺失值处理详解
前言 数据处理过程中,经常会遇到数据有缺失值的情况,本文介绍如何用Pandas处理数据中的缺失值. 一.什么是缺失值 对数据而言,缺失值分为两种,一种是Pandas中的空值,另一种是自定义的缺失值. 1. Pandas中的空值有三个:np.nan (Not a Number) . None 和 pd.NaT(时间格式的空值,注意大小写不能错),这三个值可以用Pandas中的函数isnull(),notnull(),isna()进行判断. isnull()和notnull()的结果互为取反,isn
-
Pandas之缺失数据的实现
前言 本章介绍pandas中的缺失数据,主要内容有: pandas中对np.nan的操作: 统计 . 删除 . 填充 . 插值 pandas中的Nullable类型及相关操作 在无特殊说明时,本章主要采用的df数据如下,不再重复说明: df = pd.read_csv('./data/learn_pandas.csv',usecols=['Grade','Name','Gender','Height','Weight','Transfer']) df 一.缺失值的统计和删除 1.缺失值的统计 我
-
详解pandas中缺失数据处理的函数
目录 一.缺失值类型 1.np.nan 2.None 3.NA标量 二.缺失值判断 1.对整个dataframe判断缺失 2.对某个列判断缺失 三.缺失值统计 1.列缺失 2.行缺失 3.缺失率 四.缺失值筛选 五.缺失值填充 六.缺失值删除 1.全部直接删除 2.行缺失删除 3.列缺失删除 4.按缺失率删除 七.缺失值参与计算 1.加法 2.累加 3.计数 4.聚合分组 五.源码 今天分享一篇pandas缺失值处理的操作指南! 一.缺失值类型 在pandas中,缺失数据显示为NaN.缺失值有3
-
详解Pandas 处理缺失值指令大全
前言 运用pandas 库对所得到的数据进行数据清洗,复习一下相关的知识. 1 数据清洗 1.1 处理缺失数据 对于数值型数据,分为缺失值(NAN)和非缺失值,对于缺失值的检测,可以通过Python中pandas库的Series类对象的isnull方法进行检测. import pandas as pd import numpy as np string_data = pd.Series(['Benzema', 'Messi', np.nan, 'Ronaldo']) string_data.is
-
pandas如何统计某一列或某一行的缺失值数目
目录 统计某一列或某一行的缺失值数目 1.使用isnull() 2.使用count 利用pandas处理缺失值 处理缺失值 统计某一列或某一行的缺失值数目 1.使用isnull() import pandas as pd # 首先导入数据 df = pd.read_csv('123.csv' , encoding='gbk') # 计算data每一行有多少个缺失值的值,即按行统计缺失值 rows_null = df.isnull().sum(axis=1) # 下面则是按列统计缺失值 col_
-
Python实战基础之Pandas统计某个数据列的空值个数
目录 一.实战场景 二.主要知识点 三.菜鸟实战 1.创建 python 文件 2.运行结果 补充:Pandas检查是否有空值.处理空值 总结 一.实战场景 实战场景:Pandas 如何统计某个数据列的空值个数 二.主要知识点 文件读写 基础语法 Pandas numpy 三.菜鸟实战 马上安排! 1.创建 python 文件 """ 对如下DF,设置两个单元格的值 ·使用iloc 设置(3,B)的值是nan ·使用loc设置(8,D)的值是nan ""&
-
Python Pandas 修改表格数据类型 DataFrame 列的顺序案例
目录 一.修改表格数据类型 DataFrame 列的顺序 1.1主要知识点 1.2创建 python 文件 1.3运行结果 二.Pandas 如何统计某个数据列的空值个数 2.1主要知识点 2.2创建 python 文件 2.3运行结果 三.Pandas如何移除包含空值的行 3.1主要知识点 3.2创建 python 文件 3.3运行结果 四.Pandas如何精确设置表格数据的单元格的值 4.1主要知识点 4.2创建 python 文件 4.3运行结果 一.修改表格数据类型 DataFrame
-
Pandas统计重复的列里面的值方法
pandas 代码如下: import pandas as pd import numpy as np salaries = pd.DataFrame({ 'name': ['BOSS', 'Lilei', 'Lilei', 'Han', 'BOSS', 'BOSS', 'Han', 'BOSS'], 'Year': [2016, 2016, 2016, 2016, 2017, 2017, 2017, 2017], 'Salary': [1, 2, 3, 4, 5, 6, 7, 8], 'Bon
-
详解python pandas 分组统计的方法
首先,看看本文所面向的应用场景:我们有一个数据集df,现在想统计数据中某一列每个元素的出现次数.这个在我们前面文章<如何画直方图>中已经介绍了方法,利用value_counts()就可以实现(具体回看文章) 但是,现在,我们考虑另外一个场景,我们假如要想统计其中两列元素出现次数呢?举个栗子: 在df数据集中,如果我们想统计A.B两列的元素的出现情况,也就是说,得到如下表. 从上面的最后一列可以看到,在A.B两列中,1 2 出现了2次,1 4 出现1次 ,1 6出现1次,2 3出现了2次, 2
-
Python pandas按行、按列遍历DataFrame的几种方式
目录 前言 一.按行遍历 1. 使用loc或iloc方法 2. 使用iterrows()方法 二.按列遍历 1. 使用列索引方式 2. 使用iteritems()方法 补充:遍历dataframe每一行的每一个元素 总结 前言 在对DataFrame数据进行处理时,存在需要对数据内容进行遍历的场景.因此记录一下按照行,列遍历的几种方式. 一.按行遍历 1. 使用loc或iloc方法 loc:表示location,填写内容为行的值或者列表,若填写内容为值,则返回对应行的内容(Series类型):若
-
python中pandas.DataFrame对行与列求和及添加新行与列示例
本文介绍的是python中pandas.DataFrame对行与列求和及添加新行与列的相关资料,下面话不多说,来看看详细的介绍吧. 方法如下: 导入模块: from pandas import DataFrame import pandas as pd import numpy as np 生成DataFrame数据 df = DataFrame(np.random.randn(4, 5), columns=['A', 'B', 'C', 'D', 'E']) DataFrame数据预览: A
-
pandas.DataFrame 根据条件新建列并赋值的方法
实例如下所示: import numpy as np import pandas as pd data = {'city': ['Beijing', 'Shanghai', 'Guangzhou', 'Shenzhen', 'Hangzhou', 'Chongqing'], 'year': [2016,2016,2015,2017,2016, 2016], 'population': [2100, 2300, 1000, 700, 500, 500]} frame = pd.DataFrame(
-
pandas 取出表中一列数据所有的值并转换为array类型的方法
如下所示: # -*-coding: utf-8 -*- import pandas as pd #读取csv文件 df=pd.read_csv('A_2+20+DoW+VC.csv') #求'ave_time'的平均值 aveTime=df['ave_time'].mean() #把ave_time这列的缺失值进进行填充,填充的方法是按这一列的平均值进行填充 df2=df.fillna(aveTime) #取表中的第3列的所有值 col=df2.iloc[:,2] #取表中的第3列的所有值 a
-
python pandas获取csv指定行 列的操作方法
pandas获取csv指定行,列 house_info = pd.read_csv('house_info.csv') 1:取行的操作: house_info.loc[3:6]类似于python的切片操作 2:取列操作: house_info['price'] 这是读取csv文件时默认的第一行索引 3:取两列 house_info[['price',tradetypename']] 取多个列也是同理的,注意里面是一个list的列表,不然会报错误: 4:增加列: house_Info['adre
随机推荐
- AR28/AR46系列路由器用地址池方式做nat的典型配置方法
- iOS中的UIKeyboard键盘视图使用方法小结
- CentOS 设置默认JDK步骤详解及命令
- Python中字符串的格式化方法小结
- nginx cache不缓存问题的原因与解决方案
- Asp.Net获取网站截图的实例代码
- PHP中的排序函数sort、asort、rsort、krsort、ksort区别分析
- php上传excel表格并获取数据
- Android Toast通知用法实例详解
- C++中strstr函数的实现方法总结
- VC++中HTControl的CHTButton按钮控件类用法实例解析
- 简略分析Android的Retrofit应用开发框架源码
- Mysql 导入导出csv 中文乱码问题的解决方法
- Android中 service组件详解
- JavaScript实现网页头部进度条刷新
- 字符不会撑大表格的常见css样式
- jquery浏览器滚动加载技术实现方案
- Java设计模式编程中简单工厂与抽象工厂模式的使用实例
- Mybatis查不到数据查询返回Null问题
- java 文件锁的简单实现