Python数据分析的八种处理缺失值方法详解

2024-11-27 07:09:26

1. 删除有缺失值的行或列

一种选择是删除包含缺失值的行或列。

使用默认参数值，dropna 函数会删除包含任何缺失值的行。数据框中只有一行没有任何缺失值。同时我们还可以选择使用轴参数删除至少有一个缺失值的列。

2. 删除只有缺失值的行或列

另一种情况是有一列或一行充满缺失值。这样的列或行是无用的，所以我们可以删除它们。

dropna 函数也可以用于此目的。我们只需要改变 how 参数的值。

3. 根据阈值删除行或列

基于“any”或“all”的删除并不总是最好的选择。我们有时需要删除具有“大量”或“一些”缺失值的行或列。

我们不能将这样的表达式分配给 how 参数，但 Pandas 为我们提供了一种更准确的方法，即 thresh 参数。

例如，“thresh=4”意味着至少有 4 个非缺失值的行将被保留。其他的将被丢弃。

我们的数据框有 6 列，因此将删除具有 3 个或更多缺失值的行。

只有第三行有 2 个以上的缺失值，所以它是唯一一个被丢弃的。

4. 基于特定的列子集删除

在删除列时，我们可以只考虑部分列。

dropna 函数的子集参数用于此任务。例如，我们可以删除在度量 1 或度量 2 列中有缺失值的行，如下所示：

到目前为止，我们已经看到了根据缺失值删除行或列的不同方法。放弃并不是唯一的选择。在某些情况下，我们可能会选择填充缺失值而不是删除它们。

事实上，填充可能是更好的选择，因为数据意味着价值。如何填补缺失值，当然取决于数据的结构和任务。

fillna 函数用于填充缺失值。

5. 填充一个常数值

我们可以选择一个常量值来替代缺失值。如果我们只给 fillna 函数一个常量值，它将用该值替换数据框中的所有缺失值。

更合理的方法是为不同的列确定单独的常量值。我们可以将它们写入字典并将其传递给 values 参数。

item 列中的缺失值替换为 1014，而 measure 1 列中的缺失值替换为 0。

6. 填充聚合值

另一种选择是使用聚合值，例如平均值、中位数或众数。

下面这行代码用该列的平均值替换了第 2 列中的缺失值。

7. 替换为上一个或下一个值

可以用该列中的前一个或下一个值替换该列中的缺失值。在处理时间序列数据时，此方法可能会派上用场。假设您有一个包含每日温度测量值的数据框，但缺少一天的温带。最佳解决方案是使用第二天或前一天的温度。

fillna 函数的方法参数用于执行此任务。

“bfill”向后填充缺失值，以便将它们替换为下一个值。看看最后一栏。缺失值被替换到第一行。这可能不适合某些情况。

值得庆幸的是，我们可以限制用这种方法替换的缺失值的数量。如果我们将 limit 参数设置为 1，那么一个缺失值只能用它的下一个值替换。后面的第二个或第三个值将不会用于替换。

8. 使用另一个数据框填充

我们还可以将另一个数据帧传递给 fillna 函数。新数据框中的值将用于替换当前数据框中的缺失值。

将根据行索引和列名称选择值。例如，如果 item 列的第二行中存在缺失值，则将使用新数据框中相同位置的值。

以上是具有相同列的两个数据框。第一个没有任何缺失值。

我们可以使用 fillna 函数如下：

df 中的值将替换为 df2 中关于列名和行索引的值。

总结

缺失将永远存在于我们的生活中。没有最好的方法来处理它们，但我们可以通过应用准确合理的方法来降低它们的影响。我们已经介绍了 8 种不同的处理缺失值的方法，使用哪一个取决于数据和任务。

技术交流

欢迎转载、收藏、有所收获点赞支持一下！

到此这篇关于Python数据分析的八种处理缺失值方法详解的文章就介绍到这了,更多相关Python 数据分析内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

Python数据分析JupyterNotebook3魔法命令详解及示例

目录 1.魔法命令介绍 %lsmagic:列出所有magics命令 %quickref:输出所有魔法指令的简单版帮助文档 %Magics_Name?:输出某个魔法命令详细帮助文档 2.Line magics:Line魔法指令 3.Cell magics:Cell魔法指令写bash程序写perl程序 1.魔法命令介绍 %lsmagic:列出所有magics命令 Available line magics:[对当前行使用共计93个] %alias %alias_magic %autoawait
Python数据分析之Numpy库的使用详解

目录前言
Python Pandas数据分析之iloc和loc的用法详解

Pandas 是一套用于 Python 的快速.高效的数据分析工具.它可以用于数据挖掘和数据分析,同时也提供数据清洗功能.本篇目录如下: 一.iloc 1.定义 iloc索引器用于按位置进行基于整数位置的索引或者选择. 2.语法 df.iloc [row selection, column selection] 3.代码示例 (1)导入数据 (2)选择单行或单列 (3)选择多行或多列 (4)注意 iloc选择一行时返回Series,选择多行返回DataFrame,通过传递列表可转为DataFra
Python Sweetviz轻松实现探索性数据分析

Sweetviz 是一个开源 Python 库,它只需三行代码就可以生成漂亮的高精度可视化效果来启动EDA(探索性数据分析).输出一个HTML.文末提供技术交流群,喜欢点赞支持,收藏. 如上图所示,它不仅能根据性别.年龄等不同栏目纵向分析数据,还能对每个栏目做众数.最大值.最小值等横向对比. 所有输入的数值.文本信息都会被自动检测,并进行数据分析.可视化和对比,最后自动帮你进行总结,是一个探索性数据分析的好帮手. 1.准备请选择以下任一种方式输入命令安装依赖: 1. Windows 环境打开
Python 更快进行探索性数据分析的四个方法

大家好,常用探索性数据分析方法很多,比如常用的 Pandas DataFrame 方法有 .head()..tail()..info()..describe()..plot() 和 .value_counts(). import pandas as pd import numpy as np df = pd.DataFrame( { "Student" : ["Mike", "Jack", "Diana", "Cha
Python 数据分析之Beautiful Soup 提取页面信息

概述数据分析 (Data Analyze) 可以在工作中的各个方面帮助我们. 本专栏为量化交易专栏下的子专栏, 主要讲解一些数据分析的基础知识. Beautiful Soup Beautiful 是一个可以从 HTML 或 XML 文件中提取数据的 Pyhton 库. 简单来说, 它能将 HTML 的标签文件解析成树形结构, 然后方便的获取到指定标签的对应属性. 安装: pip install beautifulsoup4 例子: from bs4 import BeautifulSoup #
Python数据分析的八种处理缺失值方法详解

目录 1. 删除有缺失值的行或列 2. 删除只有缺失值的行或列 3. 根据阈值删除行或列 4. 基于特定的列子集删除 5. 填充一个常数值 6. 填充聚合值 7. 替换为上一个或下一个值 8. 使用另一个数据框填充总结技术交流在本文中,我们将介绍 8 种不同的方法来解决缺失值问题,哪种方法最适合特定情况取决于数据和任务.欢迎收藏学习,喜欢点赞支持,技术交流可以文末加群,尽情畅聊. 让我们首先创建一个示例数据框并向其中添加一些缺失值. 我们有一个 10 行 6 列的数据框. 下一步是添加缺失
Python生成图文并茂的PDF报告的方法详解

目录安装第三方库模块导入封装不同内容对应的函数生成报告 reportlab是Python的一个标准库,可以画图.画表格.编辑文字,最后可以输出PDF格式.它的逻辑和编辑一个word文档或者PPT很像.有两种方法: 1)建立一个空白文档,然后在上面写文字.画图等: 2)建立一个空白list,以填充表格的形式插入各种文本框.图片等,最后生成PDF文档. 因为需要产生一份给用户看的报告,里面需要插入图片.表格等,所以采用的是第二种方法. 安装第三方库 reportlab输入Python的第三方
对python numpy数组中冒号的使用方法详解

python中冒号实际上有两个意思:1.默认全部选择:2. 指定范围. 下面看例子定义数组 X=array([[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16],[17,18,19,20]]) 输出为5x4二维数组第一种意思,默认全部选择: 如,X[:,0]就是取矩阵X的所有行的第0列的元素,X[:,1] 就是取所有行的第1列的元素第二种意思,指定范围,注意这里含左不含右如,X[:, m:n]即取矩阵X的所有行中的的第m到n-1列数据,含左不含右
对python xlrd读取datetime类型数据的方法详解

使用xlrd读取出来的时间字段是类似41410.5083333的浮点数,在使用时需要转换成对应的datetime类型,下面代码是转换的方法: 首先需要引入xldate_as_tuple函数 from xlrd import xldate_as_tuple 使用方法如下: #d是从excel中读取出来的浮点数 xldate_as_tuple(d,0) xldate_as_tuple第二个参数有两种取值,0或者1,0是以1900-01-01为基准的日期,而1是1904-01-01为基准的日期.该函数
对python中Json与object转化的方法详解

python提供了json包来进行json处理,json与python中数据类型对应关系如下: 一个python object无法直接与json转化,只能先将对象转化成dictionary,再转化成json:对json,也只能先转换成dictionary,再转化成object,通过实践,源码如下: import json class user: def __init__(self, name, pwd): self.name = name self.pwd = pwd def __str__(s
python为QT程序添加图标的方法详解

Qt是一种基于C++的跨平台图形用户界面应用程序开发框架.如何跨平台?上到服务器上位机,下到嵌入式GUI,上天入地无所不能.Qt最早是由1991年由Qt Company开发,但是到2008年,Qt Company科技被诺基亚公司收购,是的,就是拥有着我们很多情怀的诺基亚.但在2012年,Qt又被Digia收购.等到了2014年,跨平台集成开发环境Qt Creator 3.1.0正式发布出来,至此,全面支持iOS.Android.WP,QT的时代开始逐步展开. 本文重点给大家介绍python为QT
Python实现8个概率分布公式的方法详解

目录前言 1.均匀分布 2.高斯分布 3.对数正态分布 4.泊松分布 5.指数分布 6.二项分布 7.学生 t 分布 8.卡方分布前言在本文中,我们将介绍一些常见的分布并通过Python 代码进行可视化以直观地显示它们. 概率和统计知识是数据科学和机器学习的核心: 我们需要统计和概率知识来有效地收集.审查.分析数据. 现实世界中有几个现象实例被认为是统计性质的(即天气数据.销售数据.财务数据等).这意味着在某些情况下,我们已经能够开发出方法来帮助我们通过可以描述数据特征的数学函数来模拟自然
python 中Mixin混入类的使用方法详解

目录前言 Mixin 与继承的区别总结前言最近在看sanic的源码,发现有很多Mixin的类,大概长成这个样子 class BaseSanic( RouteMixin, MiddlewareMixin, ListenerMixin, ExceptionMixin, SignalMixin, metaclass=SanicMeta, ): 于是对于这种 Mixin 研究了一下,其实也没什么新的东西,Mixin 又称混入,只是一种编程思想的体现,但是在使用
Python+Opencv实现物体尺寸测量的方法详解

目录 1.效果展示 2.项目介绍 3.项目搭建 4.utils.py文件代码展示与讲解 5.项目代码展示与讲解 6.项目资源 7.项目总结 1.效果展示我们将以两种方式来展示我们这个项目的效果. 下面这是视频的实时检测,我分别用了盒子和盖子来检测,按理来说效果不应该怎么差的,但我实在没有找到合适的背景与物体.且我的摄像头使用的是外设,我不得不手持,所以存在一点点的抖动,但我可以保证,它是缺少了适合检测物体与背景. 我使用手机拍了一张照片并经过了ps修改了背景,效果不错. 2.项目介绍本项目中
Python使用Dash开发网页应用的方法详解

目录 Python Dash开发Web应用的控件基础一.Dash的布局Layout 1.Dash的HTML组件 2.Dash的Core组件二.Dash Core中的Checklist Python Dash开发Web应用的控件基础本文主要是通过Dash的Checklist组件,简单介绍使用Dash开发的Web应用展示效果如下: python dash简单基础 Dash应用程序由两部分组成: 第一部分是应用程序的布局(Layout),它描述了应用程序的外观. 第二部分描述了应用程序的交互性