利用pandas按日期做分组运算的操作
原始数据
TS PERIOD REQUEST STEPPED VALUE STATUS SECONDS 20-DEC-16 00:00:00.0 600 1 0 2.018 0 1482163200 20-DEC-16 00:01:00.0 600 1 0 2.019 0 1482163260 20-DEC-16 00:02:00.0 600 1 0 2.019 0 1482163320 20-DEC-16 00:03:00.0 600 1 0 2.019 0 1482163380 20-DEC-16 00:04:00.0 600 1 0 2.019 0 1482163440 20-DEC-16 00:05:00.0 600 1 0 2.020 0 1482163500 20-DEC-16 00:06:00.0 600 1 0 2.020 0 1482163560
我们的目标是把TS列从
20-DEC-16 00:00:00.0
转变为
20-DEC-16
的格式，然后按天取均值。
导入包
import numpy as np from pandas import DataFrame, Series import pandas as pd from datetime import datetime
读入文件
df = pd.read_csv('data/test.txt',sep='\t')
这里没有解决中文路径名和绝对路径的问题.
转化为数据框
df = DataFrame(df)
转化为时间格式
将TS列转化为时间格式，并保存为新的一列DATE，之后，只留下DATE和VALUE两列，其他统统不要。
df['DATE'] = pd.to_datetime(df['TS']) df = df[['DATE','VALUE']]
关键一步
把形如‘2017-9-4 00:00:00'转化为‘2017-9-4 '
df['DATE'] = [datetime.strftime(x,'%Y-%m-%d') for x in df['DATE']]
strftime有若干参数，其中Y表示四位数的年，m表示两位数的月。
旋转数据框
df =df.pivot_table(index='DATE',aggfunc='mean')
补充：利用Pandas和Numpy按时间戳将数据以Groupby方式分组
首先说一下需求，我需要将数据以分钟为单位进行分组，然后每一分钟内的数据作为一行输出，因为不同时间的数据量不一样，所以所有数据按照最长的那组数据为准，不足的数据以各自的最后一个数据进行补足。
之后要介绍一下我的数据源，之前没用的数据列已经去除，我只留下要用到的数据data列和时间戳time列，时间戳是以秒计的，可以看到一共是407454行。
data time 0 6522.50 1.530668e+09 1 6522.66 1.530668e+09 2 6523.79 1.530668e+09 3 6523.79 1.530668e+09 4 6524.82 1.530668e+09 5 6524.35 1.530668e+09 6 6523.66 1.530668e+09 7 6522.64 1.530668e+09 8 6523.25 1.530668e+09 9 6523.88 1.530668e+09 10 6525.30 1.530668e+09 11 6525.70 1.530668e+09 ... ... ... 407443 6310.69 1.531302e+09 407444 6310.55 1.531302e+09 407445 6310.42 1.531302e+09 407446 6310.40 1.531302e+09 407447 6314.03 1.531302e+09 407448 6314.04 1.531302e+09 407449 6312.84 1.531302e+09 407450 6312.57 1.531302e+09 407451 6312.56 1.531302e+09 407452 6314.04 1.531302e+09 407453 6314.04 1.531302e+09 [407454 rows x 2 columns]
开始进行数据处理，定义一个函数，输入为一个DataFrame和时间列的命名。
def getdata_time(dataframe,name):
dataframe[name] = dataframe[name]/60 #将时间转换为分钟
dataframe[name] = dataframe[name].astype('int64')
datalen = dataframe.groupby(name).count().max() #获取数据最大长度
timeframe = dataframe.groupby(name).count().reset_index()#为了获取时间将分组后时间转换为DataFrame
timeseries = timeframe['time']
array = [] #建立一个空数组以便存值
for time, group in dataframe.groupby(name):
tmparray = numpy.array(group['data']) #将series转换为数组并添加到总数组中
array.append(tmparray)
notimedata = pandas.DataFrame(array)
notimedata = notimedata.fillna(method='ffill',axis = 1,limit=datalen[0]) #将缺失值补全
notimedata[datalen[0]+1] = timeseries #把时间添加到最后一列
return notimedata
下面将逐行进行分析，首先要以每分钟为依据进行分组，那么将秒计的时间戳除以60变为分钟，转换为int型是为了观察方便（更改类型是否会导致数据精度缺失影响结果并不清楚，如果有了解的人看到欢迎指出，谢谢）。
datalen是我们要用到的每分钟中最大的数据长度，用来作为标齐依据。DataFrame.groupby.count()是分别显示每组数据的个数，并不是显示有多少个分组，如果想要获取分组后每一组的index就需要用到下一行的reset_index方法，之所以不直接用reset_index而是在count()方法后调用是因为groupby分组后的结果不是一个DataFrame，而经过count()（不仅仅是count，对分组数据操作的方法都可以，只要得出的结果是与每一组的index一一对应即可）操作后就可以得到一个以index为一列，另一列是count结果的DataFrame。
以下为直接进行reset_index操作的报错：
AttributeError: Cannot access callable attribute 'reset_index' of 'DataFrameGroupBy' objects, try using the 'apply' method
以下为经过count操作后的reset_index方法显示结果，可以看到一共分为了10397组：
time data 0 25511135 33 1 25511136 18 2 25511137 25 3 25511138 42 4 25511139 36 5 25511140 7 6 25511141 61 7 25511142 45 8 25511143 46 9 25511144 19 10 25511145 21 ... ... ... 10387 25521697 3 10388 25521698 9 10389 25521699 16 10390 25521700 13 10391 25521701 4 10392 25521702 34 10393 25521703 124 10394 25521704 302 10395 25521705 86 10396 25521706 52 [10397 rows x 2 columns]
提取的timeseries将在最后数据整合时使用。
现在开始将每组数据提取，首先建立一个空的数组用来存放，然后利用for循环获取每一组的信息，time即为分组的index，group即为每一分组的内容，将数据从group['data']中取出并添加到之前建立的空数组里，循环操作过后转换为DataFrame，当然这个DataFrame中包含了大量缺失值，因为它的列数是以最长的数据为准。
如下：
0 1 2 3 ... 1143 1144 1145 1146 0 6522.50 6522.66 6523.79 6523.79 ... NaN NaN NaN NaN 1 6523.95 6524.90 6525.00 6524.35 ... NaN NaN NaN NaN 2 6520.87 6520.00 6520.45 6520.46 ... NaN NaN NaN NaN 3 6516.34 6516.26 6516.21 6516.21 ... NaN NaN NaN NaN 4 6513.28 6514.00 6514.00 6514.00 ... NaN NaN NaN NaN 5 6511.98 6511.98 6511.99 6513.00 ... NaN NaN NaN NaN 6 6511.00 6511.00 6511.00 6511.00 ... NaN NaN NaN NaN 7 6511.70 6511.78 6511.99 6511.99 ... NaN NaN NaN NaN 8 6509.51 6510.00 6510.80 6510.80 ... NaN NaN NaN NaN 9 6511.36 6510.00 6510.00 6510.00 ... NaN NaN NaN NaN 10 6507.00 6507.00 6507.00 6507.00 ... NaN NaN NaN NaN ... ... ... ... ... ... ... ... ... ... 10386 6333.77 6331.31 6331.30 6333.19 ... NaN NaN NaN NaN 10387 6331.68 6331.30 6331.68 NaN ... NaN NaN NaN NaN 10388 6331.30 6331.30 6331.00 6331.00 ... NaN NaN NaN NaN 10389 6330.93 6330.92 6330.92 6330.93 ... NaN NaN NaN NaN 10390 6330.83 6330.83 6330.90 6330.80 ... NaN NaN NaN NaN 10391 6327.57 6326.00 6326.00 6325.74 ... NaN NaN NaN NaN 10392 6327.57 6329.70 6328.85 6328.85 ... NaN NaN NaN NaN 10393 6323.54 6323.15 6323.15 6322.77 ... NaN NaN NaN NaN 10394 6311.00 6310.83 6310.83 6310.50 ... NaN NaN NaN NaN 10395 6311.45 6311.32 6310.01 6310.01 ... NaN NaN NaN NaN 10396 6310.46 6310.46 6310.56 6311.61 ... NaN NaN NaN NaN [10397 rows x 1147 columns]
可以看到行数是分组个数，一共1147列也是最多的那组数据长度。
之后我们通过调用fillna方法将缺失值进行填充，method='ffill'是指以缺失值前一个数据为依据,axis = 1是以行为单位,limit是指最大填充长度。最终，把我们之前取得的timeseries添加到最后一列，就得到了需求的最终结果。
0 1 2 ... 1145 1146 1148 0 6522.50 6522.66 6523.79 ... 6522.14 6522.14 25511135 1 6523.95 6524.90 6525.00 ... 6520.00 6520.00 25511136 2 6520.87 6520.00 6520.45 ... 6517.00 6517.00 25511137 3 6516.34 6516.26 6516.21 ... 6514.00 6514.00 25511138 4 6513.28 6514.00 6514.00 ... 6511.97 6511.97 25511139 5 6511.98 6511.98 6511.99 ... 6511.00 6511.00 25511140 6 6511.00 6511.00 6511.00 ... 6510.90 6510.90 25511141 7 6511.70 6511.78 6511.99 ... 6512.09 6512.09 25511142 8 6509.51 6510.00 6510.80 ... 6512.09 6512.09 25511143 9 6511.36 6510.00 6510.00 ... 6507.04 6507.04 25511144 10 6507.00 6507.00 6507.00 ... 6508.57 6508.57 25511145 11 6507.16 6507.74 6507.74 ... 6506.35 6506.35 25511146 ... ... ... ... ... ... ... ... 10388 6331.30 6331.30 6331.00 ... 6331.00 6331.00 25521698 10389 6330.93 6330.92 6330.92 ... 6330.99 6330.99 25521699 10390 6330.83 6330.83 6330.90 ... 6327.58 6327.58 25521700 10391 6327.57 6326.00 6326.00 ... 6325.74 6325.74 25521701 10392 6327.57 6329.70 6328.85 ... 6325.00 6325.00 25521702 10393 6323.54 6323.15 6323.15 ... 6311.00 6311.00 25521703 10394 6311.00 6310.83 6310.83 ... 6315.00 6315.00 25521704 10395 6311.45 6311.32 6310.01 ... 6310.00 6310.00 25521705 10396 6310.46 6310.46 6310.56 ... 6314.04 6314.04 25521706 [10397 rows x 1148 columns]
以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。如有错误或未考虑完全的地方，望不吝赐教。
相关推荐
-
pandas groupby分组对象的组内排序解决方案
问题: 根据数据某列进行分组,选择其中另一列大小top-K的的所在行数据 解析: 求解思路很清晰,即先用groupby对数据进行分组,然后再根据分组后的某一列进行排序,选择排序结果后的top-K结果 案例: 取一下dataframe中B列各对象中C值最高所在的行 df = pd.DataFrame({"A": [2, 3, 5, 4], "B": ['a', 'b', 'b', 'a'], "C": [200801, 200902, 200704
-
pandas组内排序,并在每个分组内按序打上序号的操作
问题: pandas组内排序,并在每个分组内按序打上序号 描述: pandas dataframe 对dep_id组内的salary排序.希望给下面原本只有前三列的dataframe,添加上第四列. 等价于sql里的排序函数 row_number() over() 功能 假设我已经建好了仅有前三列的dataframe,数据集命名为 MyData, 解决方案如下: MyData['sort_id'] = MyData['salary'].groupby(MyData['dep_id']).rank
-
pandas 实现某一列分组,其他列合并成list
pandas列转换为字典,但将相同第一列(键)的所有值合并为一个键 形式一: import pandas as pd # data data = pd.DataFrame({'column1':['key1','key1','key2','key2'], 'column2':['value1','value2','value3','value3']}) print(data) # Grouped dict data_dict = data.groupby('column1').column2.a
-
pandas group分组与agg聚合的实例
如下: import pandas as pd df = pd.DataFrame({'Country':['China','China', 'India', 'India', 'America', 'Japan', 'China', 'India'], 'Income':[10000, 10000, 5000, 5002, 40000, 50000, 8000, 5000], 'Age':[5000, 4321, 1234, 4010, 250, 250, 4500, 4321]}) 构造的数
-
pandas 实现分组后取第N行
目的: 把question_id 对应的user_answer转成ABCD solution dfa=df.groupby('question_id').nth(0).reset_index() dfa['flag']='A' dfb=df.groupby('question_id').nth(1).reset_index() dfb['flag']='B' dfc=df.groupby('question_id').nth(2).reset_index() dfc['flag']='C' df
-
pandas分组排序 如何获取第二大的数据
Python用来做数据分析很方便,网上很多关于找数据中第二大的方法,但是大多数都是关于SQL的,于是我挑战一下用Python来做这件事(主要是SQL写的不好>_<),上代码. 1.数据我是自己编的 在实际工作中应该从数据库中导入数据,如何从数据库导出数据,我之后会补充. import pandas as pd df = pd.DataFrame([ {"class": 1, "name": "aa", "english&qu
-
利用pandas按日期做分组运算的操作
原始数据 TS PERIOD REQUEST STEPPED VALUE STATUS SECONDS 20-DEC-16 00:00:00.0 600 1 0 2.018 0 1482163200 20-DEC-16 00:01:00.0 600 1 0 2.019 0 1482163260 20-DEC-16 00:02:00.0 600 1 0 2.019 0 1482163320 20-DEC-16 00:03:00.0 600 1 0 2.019 0 1482163380 20-DEC
-
Pandas聚合运算和分组运算的实现示例
1.聚合运算 (1)使用内置的聚合运算函数进行计算 1>内置的聚合运算函数 sum(),mean(),max(),min(),size(),describe()...等等 2>应用聚合运算函数进行计算 import numpy as np import pandas as pd #创建df对象 dict_data = { 'key1':['a','b','c','d','a','b','c','d'], 'key2':['one','two','three','one','two','thre
-
pandas实现按照Series分组示例
目录 1 按照一个Series进行分组 2 按照多个Series进行分组 3 分组和聚合采用不同的列或Series进行 本文用到的表格内容如下: 先来看一下数据情形 import pandas as pd life_df = pd.read_excel(r'C:\Users\admin\Desktop\生活用品表.xlsx') print(life_df) result: 分类 编号 名称 0 水果 0 苹果 1 水果 1 橙子 2 生
-
Python利用pandas处理Excel数据的应用详解
最近迷上了高效处理数据的pandas,其实这个是用来做数据分析的,如果你是做大数据分析和测试的,那么这个是非常的有用的!!但是其实我们平时在做自动化测试的时候,如果涉及到数据的读取和存储,那么而利用pandas就会非常高效,基本上3行代码可以搞定你20行代码的操作!该教程仅仅限于结合柠檬班的全栈自动化测试课程来讲解下pandas在项目中的应用,这仅仅只是冰山一角,希望大家可以踊跃的去尝试和探索! 一.安装环境: 1:pandas依赖处理Excel的xlrd模块,所以我们需要提前安装这个,安装命令
-
python pandas 时间日期的处理实现
摘要在上一篇文章,时间日期处理的入门里面,我们简单介绍了一下载pandas里对时间日期的简单操作.下面将补充一些常用方法. 时间日期的比较 假设我们有数据集df如下 在对时间日期进行比较之前,要先转一下格式. 转格式的时候用 import pandas as pd pd.to_datetime() 我们需要先对df中的date这一列转为时间格式. df['date']=pd.to_datetime(df['date']) 转完后,我们可以输出数据集的数据类型来看看. print df.info(
-
pandas 对日期类型数据的处理方法详解
pandas 的日期/时间类型有如下几种: Concept Scalar Class Array Class pandas Data Type Primary Creation Method Date times Timestamp DatetimeIndex datetime64[ns] or datetime64[ns, tz] to_datetime or date_range Time deltas Timedelta TimedeltaIndex timedelta64[ns] to_
-
利用pandas进行大文件计数处理的方法
Pandas读取大文件 要处理的是由探测器读出的脉冲信号,一组数据为两列,一列为时间,一列为脉冲能量,数据量在千万级,为了有一个直接的认识,先使用Pandas读取一些 import pandas as pd data = pd.read_table('filename.txt', iterator=True) chunk = data.get_chunk(5) 而输出是这样的: Out[4]: 332.977889999979 -0.0164794921875 0 332.97790 -0.02
-
利用Pandas来清除重复数据的实现方法
一.前言 最近刚好在练手一个数据挖掘的项目,众所周知,数据挖掘中比较重要的一步为数据清洗,而对重复数据的处理也是数据清洗中经常碰到的一项.本文将仅介绍如何利用Pandas来清除重复数据(主要指重复行),话不多说请看下文. 二.具体介绍 2.1. 导入Pandas库 pandas是python的核心数据分析库,你可以把它理解为python版的excel,倘若你还没有安装相应的库,请查询相关教程进行安装,导入pandas的代码为: import pandas as pd 2.2. DataFrame
-
Java8 stream 中利用 groupingBy 进行多字段分组求和案例
Java8的groupingBy实现集合的分组,类似Mysql的group by分组功能,注意得到的是一个map 对集合按照单个属性分组.分组计数.排序 List<String> items = Arrays.asList("apple", "apple", "banana", "apple", "orange", "banana", "papaya");
-
pandas 按日期范围筛选数据的实现
pandas 是 python 中一个功能强大的库,这里就不再复述了,简单介绍下用日期范围筛选 pandas 数据. 日期转换 用来筛选的列是 date 类型,所以这里要把要筛选的日期范围从字符串转成 date 类型 比如我的数据包含列名为 trade_date,从 20050101 - 20190926 的数据,我要筛选出 20050606 - 20071016 的数据,那么,先如下转换数据类型: s_date = datetime.datetime.strptime('20050606',