python数据分析必会的Pandas技巧汇总

2024-11-26 22:02:47

一、Pandas两大数据结构的创建

序号	方法	说明
1	pd.Series(对象,index=[ ])	创建Series。对象可以是列表\ndarray、字典以及DataFrame中的某一行或某一列
2	pd.DataFrame(data,columns = [ ],index = [ ])	创建DataFrame。columns和index为指定的列、行索引，并按照顺序排列

举例：用pandas创建数据表：

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],
 "date":pd.date_range('20130102', periods=6),
  "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
 "age":[23,44,54,32,34,32],
 "category":['100-A','100-B','110-A','110-C','210-A','130-F'],
  "price":[1200,np.nan,2133,5433,np.nan,4432]},
  columns =['id','date','city','category','age','price'])

二、DataFrame常见方法

序号	方法	说明
1	df.head()	查询数据的前五行
2	df.tail()	查询数据的末尾5行
3	pandas.qcut()	基于秩或基于样本分位数将变量离散化为等大小桶
4	pandas.cut()	基于分位数的离散化函数
5	pandas.date_range()	返回一个时间索引
6	df.apply()	沿相应轴应用函数
7	Series.value_counts()	返回不同数据的计数值
8	df.reset_index()	重新设置index，参数drop = True时会丢弃原来的索引，设置新的从0开始的索引，常与groupby()一起用

举例：重新索引

df_inner.reset_index()

三、数据索引

序号	方法	说明
1	.values	将DataFrame转换为ndarray二维数组
2	.append(idx)	连接另一个Index对象，产生新的Index对象
3	.insert(loc,e)	在loc位置增加一个元素
4	.delete(loc)	删除loc位置处的元素
5	.union(idx)	计算并集
6	.intersection(idx)	计算交集
7	.diff(idx)	计算差集，产生新的Index对象
8	.reindex(index, columns ,fill_value, method, limit, copy )	改变、重排Series和DataFrame索引，会创建一个新对象，如果某个索引值当前不存在，就引入缺失值。
9	.drop()	删除Series和DataFrame指定行或列索引。
10	.loc[行标签，列标签]	通过标签查询指定的数据，第一个值为行标签，第二值为列标签。
11	df.iloc[行位置，列位置]	通过默认生成的数字索引查询指定的数据。

举例：按索引提取单行的数值

df_inner.loc[3]

四、DataFrame选取和重新组合数据的方法

序号	方法	说明
1	df[val]	从DataFrame选取单列或一组列；在特殊情况下比较便利：布尔型数组（过滤行）、切片（行切片）、或布尔型DataFrame（根据条件设置值）
2	df.loc[val]	通过标签，选取DataFrame的单个行或一组行
3	df.loc[：,val]	通过标签，选取单列或列子集
4	df.1oc[val1,val2]	通过标签，同时选取行和列
5	df.iloc[where]	通过整数位置，从DataFrame选取单个行或行子集
6	df.iloc[:,where]	通过整数位置，从DataFrame选取单个列或列子集
7	df.iloc[where_i,where_j]	通过整数位置，同时选取行和列
8	df.at[1abel_i,1abel_j]	通过行和列标签，选取单一的标量
9	df.iat[i,j]	通过行和列的位置（整数），选取单一的标量
10	reindex	通过标签选取行或列
11	get_value	通过行和列标签选取单一值
12	set_value	通过行和列标签选取单一值

举例：使用iloc按位置区域提取数据

df_inner.iloc[:3,:2]

#冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。

五、排序

序号	函数	说明
1	.sort_index(axis=0, ascending=True)	根据指定轴索引的值进行排序
2	Series.sort_values(axis=0, ascending=True)	只能根据0轴的值排序。
3	DataFrame.sort_values(by, axis=0, ascending=True)	参数by为axis轴上的某个索引或索引列表。

举例：按照索引列排序

df_inner.sort_index()

六、相关分析和统计分析

序号	方法	说明
1	.idxmin()	计算数据最小值所在位置的索引（自定义索引）
2	.idxmax()	计算数据最大值所在位置的索引（自定义索引）
3	.argmin()	计算数据最小值所在位置的索引位置（自动索引）
4	.argmax()	计算数据最大值所在位置的索引位置（自动索引）
5	.describe()	针对各列的多个统计汇总，用统计学指标快速描述数据的概要
6	.sum()	计算各列数据的和
7	.count()	非NaN值的数量
8	.mean( )	计算数据的算术平均值
9	.median()	计算算术中位数
10	.var()	计算数据的方差
11	.std()	计算数据的标准差
12	.corr()	计算相关系数矩阵
13	.cov()	计算协方差矩阵
14	.corrwith()	利用DataFrame的corrwith方法，可以计算其列或行跟另一个Series或DataFrame之间的相关系数。
15	.min()	计算数据的最小值
16	.max()	计算数据的最大值
17	.diff()	计算一阶差分，对时间序列很有效
18	.mode()	计算众数，返回频数最高的那（几）个
19	.mean()	计算均值
20	.quantile()	计算分位数（0到1）
21	.isin()	用于判断矢量化集合的成员资格，可用于过滤Series中或DataFrame列中数据的子集
22	.unique()	返回一个Series中的唯一值组成的数组。
23	.value_counts()	计算一个Series中各值出现的频率。

举例：判断city列的值是否为北京

df_inner['city'].isin(['beijing'])

七、分组的方法

序号	方法	说明
1	DataFrame.groupby()	分组函数
2	pandas.cut()	根据数据分析对象的特征，按照一定的数值指标，把数据分析对象划分为不同的区间部分来进行研究，以揭示其内在的联系和规律性。

举例：.groupby用法

group_by_name=salaries.groupby('name')
print(type(group_by_name))

输出结果为：

class 'pandas.core.groupby.DataFrameGroupBy'

八、读写文本格式数据的方法

序号	方法	说明
1	read_csv	从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号
2	read_table	从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符（t）
3	read_ fwf	读取定宽列格式数据（也就是说，没有分隔符）
4	read_clipboard	读取剪贴板中的数据，可以看做read_table的剪贴板版。再将网页转换为表格时很有用
5	read_excel	从ExcelXLS或XLSXfile 读取表格数据
6	read_hdf	读取pandas写的HDF5文件
7	read_html	读取HTML文档中的所有表格
8	read_json	读取JSON字符串中的数据
9	read_msgpack	二进制格式编码的pandas数据
10	read_pickle	读取Python pickle格式中存储的任意对象
11	read_sas	读取存储于SAS系统自定义存储格式的SAS数据集
12	read_sql	读取SQL 查询结果为pandas的DataFrame
13	read_stata	读取Stata文件格式的数据集
14	read_feather	读取 Feather二进制文件格式

举例：导入CSV或者xlsx文件

df = pd.DataFrame(pd.read_csv('name.csv',header=1))
df = pd.DataFrame(pd.read_excel('name.xlsx'))

九、处理缺失数据

序号	方法	说明
1	.fillna(value,method,limit,inplace)	填充缺失值
2	.dropna()	删除缺失数据
3	.info()	查看数据的信息，包括每个字段的名称、非空数量、字段的数据类型
4	.isnull()	返回一个同样长度的值为布尔型的对象（Series或DataFrame），表示哪些值是缺失的

举例：查看数据表基本信息（维度、列名称、数据格式等等）

df.info()

十、数据转换

序号	方法	说明
1	.replace(old, new)	用新的数据替换老的数据，如果希望一次性替换多个值，old和new可以是列表。默认会返回一个新的对象，传入inplace=True可以对现有对象进行就地修改。
2	.duplicated()	判断各行是否是重复行，返回一个布尔型Series。
3	.drop_duplicates()	删除重复行，返回删除后的DataFrame对象。

举例：删除后出现的重复值：

df['city'].drop_duplicates()

本文总结的是都是一些Pandas常用的方法，至于一些基础的概念还需要你学到Pandas的时候去理解，例如Series是什么？DataFrame是什么？如果你已经清楚了Pandas的这些基础东西之后，搭配上文章中的这些方法，那你用Pandas去做数据处理和分析必然会游刃有余。

python数据分析之DataFrame内存优化

目录 1. pandas查看数据占用大小 2. 对数据进行压缩 3. 参考资料
Python数据分析JupyterNotebook3魔法命令详解及示例

目录 1.魔法命令介绍 %lsmagic:列出所有magics命令 %quickref:输出所有魔法指令的简单版帮助文档 %Magics_Name?:输出某个魔法命令详细帮助文档 2.Line magics:Line魔法指令 3.Cell magics:Cell魔法指令写bash程序写perl程序 1.魔法命令介绍 %lsmagic:列出所有magics命令 Available line magics:[对当前行使用共计93个] %alias %alias_magic %autoawait
利用python数据分析处理进行炒股实战行情

作为一个新手,你需要以下3个步骤: 1.用户注册 > 2.获取token > 3.调取数据数据内容: 包含股票.基金.期货.债券.外汇.行业大数据, 同时包括了数字货币行情等区块链数据的全数据品类的金融大数据平台, 为各类金融投资和研究人员提供适用的数据和工具. 1.数据采集我们进行本地化计算,首先要做的,就是将所需的基础数据采集到本地数据库里本篇的示例源码采用的数据库是MySQL5.5,数据源是xxx pro接口. 我们现在要取一批特定股票的日线行情部分代码如下: # 设置xxxxx
简单且有用的Python数据分析和机器学习代码

为什么选择Python进行数据分析? Python是一门动态的.面向对象的脚本语言,同时也是一门简约,通俗易懂的编程语言.Python入门简单,代码可读性强,一段好的Python代码,阅读起来像是在读一篇外语文章.Python这种特性称为"伪代码",它可以使你只关心完成什么样的工作任务,而不是纠结于Python的语法. 另外,Python是开源的,它拥有非常多优秀的库,可以用于数据分析及其他领域.更重要的是,Python与最受欢迎的开源大数据平台Hadoop具有很好的兼容性.因此,学习
Python数据分析之绘图和可视化详解

一.前言 matplotlib是一个用于创建出版质量图表的桌面绘图包(主要是2D方面).该项目是由John Hunter于2002年启动的,其目的是为Python构建一个MATLAB式的绘图接口.matplotlib和IPython社区进行合作,简化了从IPython shell(包括现在的Jupyter notebook)进行交互式绘图.matplotlib支持各种操作系统上许多不同的GUI后端,而且还能将图片导出为各种常见的矢量(vector)和光栅(raster)图:PDF.SVG.JPG
手把手带你了解Python数据分析--matplotlib

目录柱形图条形图折线图饼图和圆环图分离饼图块圆环图总结柱形图 bar()函数绘制柱形图 import matplotlib.pyplot as pl x = [1,2,3,4,5,6,7] y = [15,69,85,12,36,95,11] pl.bar(x,y) pl.show() bar()函数的参数width和color设置每根柱子的宽度和颜色有中文时要添加 pl.rcParams['font.sans-serif'] = ['FangSong'] 有负号时要添加 pl
Python 数据分析之Beautiful Soup 提取页面信息

概述数据分析 (Data Analyze) 可以在工作中的各个方面帮助我们. 本专栏为量化交易专栏下的子专栏, 主要讲解一些数据分析的基础知识. Beautiful Soup Beautiful 是一个可以从 HTML 或 XML 文件中提取数据的 Pyhton 库. 简单来说, 它能将 HTML 的标签文件解析成树形结构, 然后方便的获取到指定标签的对应属性. 安装: pip install beautifulsoup4 例子: from bs4 import BeautifulSoup #
Python Sweetviz轻松实现探索性数据分析

Sweetviz 是一个开源 Python 库,它只需三行代码就可以生成漂亮的高精度可视化效果来启动EDA(探索性数据分析).输出一个HTML.文末提供技术交流群,喜欢点赞支持,收藏. 如上图所示,它不仅能根据性别.年龄等不同栏目纵向分析数据,还能对每个栏目做众数.最大值.最小值等横向对比. 所有输入的数值.文本信息都会被自动检测,并进行数据分析.可视化和对比,最后自动帮你进行总结,是一个探索性数据分析的好帮手. 1.准备请选择以下任一种方式输入命令安装依赖: 1. Windows 环境打开
python数据分析必会的Pandas技巧汇总

目录一.Pandas两大数据结构的创建二.DataFrame常见方法三.数据索引四.DataFrame选取和重新组合数据的方法五.排序六.相关分析和统计分析七.分组的方法八.读写文本格式数据的方法九.处理缺失数据十.数据转换一.Pandas两大数据结构的创建序号方法说明 1 pd.Series(对象,index=[ ]) 创建Series.对象可以是列表\ndarray.字典以及DataFrame中的某一行或某一列 2 pd.DataFrame(data,column
Pandas提高数据分析效率的13个技巧汇总

目录 1.计算变量缺失率 2.获取分组里最大值所在的行方法 3.多列合并为一行 4.删除包含特定字符串所在的行 5.组内排序 6.选择特定类型的列 7.字符串转换为数值 8.优化 DataFrame 对内存的占用 9.根据最大的类别筛选 DataFrame 10.把字符串分割为多列 11.把 Series 里的列表转换为 DataFrame 12.用多个函数聚合 13.分组聚合 1.计算变量缺失率 df=pd.read_csv('titanic_train.csv') def missing_c
Python数据分析之如何利用pandas查询数据示例代码

前言在数据分析领域,最热门的莫过于Python和R语言,本文将详细给大家介绍关于Python利用pandas查询数据的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 示例代码这里的查询数据相当于R语言里的subset功能,可以通过布尔索引有针对的选取原数据的子集.指定行.指定列等.我们先导入一个student数据集: student = pd.io.parsers.read_csv('C:\\Users\\admin\\Desktop\\student.csv')
Python数据分析之双色球统计两个红和蓝球哪组合比例高的方法

本文实例讲述了Python数据分析之双色球统计两个红和蓝球哪组合比例高的方法.分享给大家供大家参考,具体如下: 统计两个红球和蓝球,哪个组合最多,显示前19组数据 #!/usr/bin/python # -*- coding:UTF-8 -*- import pandas as pd import numpy as np import matplotlib.pyplot as plt import operator #导入数据 df = pd.read_table('newdata.txt',h
Python数据分析之双色球统计单个红和蓝球哪个比例高的方法

本文实例讲述了Python数据分析之双色球统计单个红和蓝球哪个比例高的方法.分享给大家供大家参考,具体如下: 统计单个红球和蓝球,哪个组合最多,显示前19组数据 #!/usr/bin/python # -*- coding:UTF-8 -*- import pandas as pd import numpy as np import matplotlib.pyplot as plt import operator df = pd.read_table('newdata.txt',header=N
Python数据分析之获取双色球历史信息的方法示例

本文实例讲述了Python数据分析之获取双色球历史信息的方法.分享给大家供大家参考,具体如下: 每个人都有一颗中双色球大奖的心,对于技术人员来说,通过技术分析,可以增加中奖几率,现使用python语言收集历史双色球中奖信息,之后进行预测分析. 说明:采用2016年5月15日获取的双色球数据为基础进行分析,总抽奖数1940次. 初级代码,有些内容比较繁琐,有更好的代码,大家可以分享. #!/usr/bin/python # -*- coding:UTF-8 -*- #coding:utf-8 #a
python数据分析数据标准化及离散化详解

本文为大家分享了python数据分析数据标准化及离散化的具体内容,供大家参考,具体内容如下标准化 1.离差标准化是对原始数据的线性变换,使结果映射到[0,1]区间.方便数据的处理.消除单位影响及变异大小因素影响. 基本公式为: x'=(x-min)/(max-min) 代码: #!/user/bin/env python #-*- coding:utf-8 -*- #author:M10 import numpy as np import pandas as pd import matplo
Python数据分析模块pandas用法详解

本文实例讲述了Python数据分析模块pandas用法.分享给大家供大家参考,具体如下: 一介绍 pandas(Python Data Analysis Library)是基于numpy的数据分析模块,提供了大量标准数据模型和高效操作大型数据集所需要的工具,可以说pandas是使得Python能够成为高效且强大的数据分析环境的重要因素之一. pandas主要提供了3种数据结构: 1)Series,带标签的一维数组. 2)DataFrame,带标签且大小可变的二维表格结构. 3)Panel,带标
Python数据分析pandas模块用法实例详解

本文实例讲述了Python数据分析pandas模块用法.分享给大家供大家参考,具体如下: pandas pandas10分钟入门,可以查看官网:10 minutes to pandas 也可以查看更复杂的cookbook pandas是非常强大的数据分析包,pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包.就好比 Numpy的核心是 ndarray,pandas 围绕着 Series 和 DataFrame 两个核心数据结构展开 .Series和DataFrame 分
Pandas实现数据类型转换的一些小技巧汇总

前言 Pandas是Python当中重要的数据分析工具,利用Pandas进行数据分析时,确保使用正确的数据类型是非常重要的,否则可能会导致一些不可预知的错误发生. Pandas 的数据类型:数据类型本质上是编程语言用来理解如何存储和操作数据的内部结构.例如,一个程序需要理解你可以将两个数字加起来,比如 5 + 10 得到 15.或者,如果是两个字符串,比如「cat」和「hat」,你可以将它们连接(加)起来得到「cathat」.尚学堂•百战程序员陈老师指出有关 Pandas 数据类型的一个可能令人