Pandas使用stack和pivot实现数据透视的方法

目录
  • 前言
  • 一、经过统计得到多维度指标数据
  • 二、使用unstack实现数据的二维透视
  • 三、使用pivot简化透视
  • 四、stack、unstack、pivot的语法
    • 1.stack
    • 2.unstack
    • 3.pivot
  • 总结

前言

笔者最近正在学习Pandas数据分析，将自己的学习笔记做成一套系列文章。本节主要记录Pandas中使用stack和pivot实现数据透视。

一、经过统计得到多维度指标数据

非常场景的统计场景，指定多个维度，计算聚合后的指标
实例：统计得到“电影评分数据集”，每个月份的每个分数被评分多少次:(月份、分数1-5、次数)

import pandas as pd
import numpy as np
%matplotlib inline
df=pd.read_csv(
        "./datas/ml-1m/ratings.dat",
    sep="::",
    engine='python',
    names='UserID::MovieID::Rating::Timestamp'.split("::"),
    header=None
)
df.head()

#将时间戳转换为具体的时间
df['padate']=pd.to_datetime(df["Timestamp"],unit='s')
df.head()

df.dtypes

#实现数据统计
# 对于这样格式的数据，我想查看按月份，不同评分的次数趋势，是没有办法进行实现的，需要将数据转换为每个评分是一列才可以实现。
df_group=df.groupby([df["padate"].dt.month,"Rating"])["UserID"].agg(pv=np.sum)
df_group.head(20)

二、使用unstack实现数据的二维透视

目的： 想要画图对比按照月份的不同评分的数量趋势

df_stack=df_group.unstack()
df_stack

df_stack.plot()

#unstack和stack是互逆的操作
df_stack.stack().head(20)

三、使用pivot简化透视

pivot方法相当于对df使用set_index创建分层索引，然后调用unstack

df_group.head(20)

df_reset=df_group.reset_index()
df_reset.head()

df_pivot=df_reset.pivot("padate","Rating","pv")
df_pivot.head()

df_pivot.plot()

四、stack、unstack、pivot的语法

1.stack

stack:DataFrame.stack(level=-1,dropna=True),将column变成index，类似把横放的书籍变成竖放
level=-1代表多层索引的最内层，可以通过==0,1,2指定多层索引的对应层

2.unstack

unstack:DataFrame.unstack(level=-1,fill_value=None)，将index变成column，类似把竖放的书变成横放

3.pivot

pivot:DataFrame.pivot(index=None,columns=None,values=None)，指定index,columns,values实现二维透视

总结

到此这篇关于Pandas使用stack和pivot实现数据透视的方法的文章就介绍到这了,更多相关Pandas stack和pivot数据透视内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Pandas 重塑(stack)和轴向旋转(pivot)的实现

    import numpy as np import pandas as pd from pandas import Series,DataFrame 一.重塑 stack:将数据的列索引旋转为行索引 unstack:将数据的行索引旋转为列索引 df = DataFrame({'水果':['苹果','梨','草莓'], '数量':[3,4,5], '价格':[4,5,6]}) print(df) 价格  数量  水果 0   4   3  苹果 1   5   4   梨 2   6   5  草

  • pandas.DataFrame的pivot()和unstack()实现行转列

    示例:有如下表需要进行行转列: 代码如下: # -*- coding:utf-8 -*- import pandas as pd import MySQLdb from warnings import filterwarnings # 由于create table if not exists总会抛出warning,因此使用filterwarnings消除 filterwarnings('ignore', category = MySQLdb.Warning) from sqlalchemy im

  • Pandas使用stack和pivot实现数据透视的方法

    Pandas使用stack和pivot实现数据透视的方法

    目录 前言 一.经过统计得到多维度指标数据 二.使用unstack实现数据的二维透视 三.使用pivot简化透视 四.stack.unstack.pivot的语法 1.stack 2.unstack 3.pivot 总结 前言 笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章.本节主要记录Pandas中使用stack和pivot实现数据透视. 一.经过统计得到多维度指标数据 非常场景的统计场景,指定多个维度,计算聚合后的指标 实例:统计得到"电影评分数据集",每个

  • Pandas之Dropna滤除缺失数据的实现方法

    约定: import pandas as pd import numpy as np from numpy import nan as NaN 滤除缺失数据 pandas的设计目标之一就是使得处理缺失数据的任务更加轻松些.pandas使用NaN作为缺失数据的标记. 使用dropna使得滤除缺失数据更加得心应手. 一.处理Series对象 通过**dropna()**滤除缺失数据: se1=pd.Series([4,NaN,8,NaN,5]) print(se1) se1.dropna() 代码结

  • Pandas数据分析之pandas数据透视表和交叉表

    Pandas数据分析之pandas数据透视表和交叉表

    目录 前言 整理透视 pivot 聚合透视 Pivot Table 聚合透视高级操作 交叉表crosstab() 数据融合melt() 数据堆叠 stack 前言 pandas对数据框也可以像excel一样进行数据透视表整合之类的操作.主要是针对分类数据进行操作,还可以计算数值型数据,去满足复杂的分类数据整理的逻辑. 首先还是导入包: import numpy as np import pandas as pd 整理透视 pivot 首先介绍的是最简单的整理透视函数pivot,其原理如图: pi

  • 一文搞懂Pandas数据透视的4个函数的使用

    一文搞懂Pandas数据透视的4个函数的使用

    目录 pandas.melt() pandas.pivot() pandas.pivot_table() pandas.crosstab() 大家好,我是丁小杰! 今天和大家分享Pandas中四种有关数据透视的通用函数,在数据处理中遇到这类需求时,能够很好地应对. pandas.melt() melt函数的主要作用是将DataFrame从宽格式转换成长格式. “ pandas.melt(frame,id_vars=None, value_vars=None, var_name=None, val

  • pandas实现excel中的数据透视表和Vlookup函数功能代码

    在孩子王实习中做的一个小工作,方便整理数据. 目前这几行代码是实现了一个数据透视表和匹配的功能,但是将做好的结果写入了不同的excel中, 如何实现将结果连续保存到同一个Excel的同一个工作表中? 还需要探索. import pandas as pd import numpy as np a = [1601,1602,1603,1604,1605,1606,1607,1608,1609,1610,1611,1612,1701,1702,1703,1704] for i in a: b = st

  • python 用pandas实现数据透视表功能

    python 用pandas实现数据透视表功能

    透视表是一种可以对数据动态排布并且分类汇总的表格格式.对于熟练使用 excel 的伙伴来说,一定很是亲切! pd.pivot_table() 语法: pivot_table(data, # DataFrame values=None, # 值 index=None, # 分类汇总依据 columns=None, # 列 aggfunc='mean', # 聚合函数 fill_value=None, # 对缺失值的填充 margins=False, # 是否启用总计行/列 dropna=True,

  • Python+Pandas实现数据透视表

    Python+Pandas实现数据透视表

    目录 导入示例数据 参数说明 常用操作 大家好,我是丁小杰. 对于数据透视表,相信对于 Excel 比较熟悉的小伙伴都知道如何使用它,并了解它的强大之处,而在pandas中要实现数据透视就要用到pivot_table了. 导入示例数据 首先导入演示的数据集. import pandas as pd df = pd.read_csv('销售目标.csv') df.head() 参数说明 主要参数: data:待操作的 DataFrame values:被聚合操作的列,可选项 index:行分组键,

  • pandas 对日期类型数据的处理方法详解

    pandas 对日期类型数据的处理方法详解

    pandas 的日期/时间类型有如下几种: Concept Scalar Class Array Class pandas Data Type Primary Creation Method Date times Timestamp DatetimeIndex datetime64[ns] or datetime64[ns, tz] to_datetime or date_range Time deltas Timedelta TimedeltaIndex timedelta64[ns] to_

  • Python实现数据透视表详解

    Python实现数据透视表详解

    目录 1.groupby + agg 2. crosstab 3.groupby + pivot pivot_table 总结 用Python里的Pandas可以实现,虽然感觉Excel更方便 1.groupby + agg 不够直观,不好看 对贷款年份,贷款种类创建数据透视 train_data.groupby(['year_of_loan', 'class']).agg(d_roat =('isDefault', 'mean')) 2. crosstab pandas.crosstab(in

  • pandas应用实例之pivot函数详解

    pandas应用实例之pivot函数详解

    目录 1.pivot函数的定义 2.pivot函数的说明 3.pivo函数的参数 4.pivot函数实例 5.pivot函数在实际工作中解决的案例 总结 1.pivot函数的定义 pivot(index=None,columns=None,values=None) -> DataFrame 2.pivot函数的说明 通过给定的索引(index)和列(column)的值重新生一个DataFrame对象. 根据列值对数据进行整形(生成一个“透视”表).从指定的索引/列中使用唯一的值来形成结果数据帧的

随机推荐