Pandas数据分析多文件批次聚合处理实例解析

目录
  • 前言
  • 一、多文件场景
    • 方法一
    • 方法二
  • 二、多文件读取

前言

很多情况下我们处理的文件并不只是一个单纯的CSV文件或者Excel文件。我们会结合更多是数据去进行聚合统计分析，或许是需要解析到一整个数据存储压缩包，或许是对一整个目录文件读取再进行数据操作，这都需要我们掌握一定的多文件处理方法和策略。此篇文章正是基于此场景下处理多文件方法整合策略。

一、多文件场景

我们就以2020年CCF大数据与智能竞赛的数据来作为实例来处理：

现在我们有这么文本文件需要进行读取分析，按照往常我们一个一个读取显然费时费力。那么我们肯定想到了如果能够一次读取所有的文件名就可以循环遍历读取文件内容了，此时有两种方法可以获取到目录下所有文件名称：

方法一

第一种方法是引用OS库中的walk方法，python中os.walk是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。其语法为：

os.walk(top, topdown=True, οnerrοr=None, followlinks=False)

参数说明：

  • top 是你所要便利的目录的地址
  • topdown 为真，则优先遍历top目录，否则优先遍历top的子目录(默认为开启)
  • onerror 需要一个 callable 对象，当walk需要异常时，会调用
  • followlinks 如果为真，则会遍历目录下的快捷方式(linux 下是 symbolic link)实际所指的目录(默认关闭)

os.walk 的返回值是一个生成器(generator),也就是说我们需要不断的遍历它，来获得所有的内容。

返回说明：

每次遍历的对象都是返回的是一个三元组(root,dirs,files)

  • root 所指的是当前正在遍历的这个文件夹的本身的地址
  • dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
  • files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)

其中files就是我们该目录下的所有文件名称：

file_dir = "D:\\metric-traffic\\traffic\\"
for root, dirs, files in os.walk(file_dir):
    print(files)

将该目录下所有的文件路径可以这样写:

file_dir = "D:\\metric-traffic\\traffic\\"
for root, dirs, files in os.walk(file_dir):
    for name in files:
        print(os.path.join(root, name))	# 文件

方法二

方法一需要循环遍历而且一次只能读出一条完整路径，可以通过list来保存单个路径形成列表，但是多个循环遍历效率较为低下。Python提供了glob库，只要安装python就可以使用该模块。glob模块主要用来查找和文件，可以使用 *、？、[] 这三种**通配符**对路径中的文件进行匹配。

  • *：代表0个或多个字符
  • ?：代表一个字符
  • []：匹配指定范围内的字符，如[0-9]匹配数字

如果我们想要取得一个目录下的所有文件名称仅需要两行代码：

file_dir = "D:\\metric-traffic\\traffic\\"
glob.glob(file_dir+"*.txt")

二、多文件读取

使用Pandas的读取文件很方便，例如read_csv,read_json或者是read_sql都是十分简单且高效的操作。循环处理的话遍历读取文件就好了，根据我们获取到的目录路径：

file_dir = "D:\\metric-traffic\\traffic\\"
list_file=glob.glob(file_dir+"*.txt")
for i in range(len(list_file)):
    df=pd.read_csv(list_file[i])
    print(df)

以上就是Pandas数据分析多文件批次聚合处理实例解析的详细内容，更多关于Pandas多文件聚合处理的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • python Pandas中数据的合并与分组聚合

    python Pandas中数据的合并与分组聚合

    目录 一.字符串离散化示例 二.数据合并 2.1 join 2.2 merge 三.数据的分组和聚合 四.索引 总结 一.字符串离散化示例 对于一组电影数据,我们希望统计电影分类情况,应该如何处理数据?(每一个电影都有很多个分类) 思路:首先构造一个全为0的数组,列名为分类,如果某一条数据中分类出现过,就让0变为1 代码: # coding=utf-8 import pandas as pd from matplotlib import pyplot as plt import numpy as

  • 深入解析pandas数据聚合和重组

    目录 1GroupBy技术 1.1简介 1.3选取一个或一组列 1.4通过字典或Series进行分组 1.5利用函数进行分组 2数据聚合 2.1简介 2.1面向列的多函数应用 2.2以‘无索引’的方式返回聚合数据 介绍pandas数据聚合和重组的相关知识,仅供参考. 1GroupBy技术 1.1简介 简介:根据一个或多个键进行分组,每一组应用函数,再进行合并 分组的键有多种形式: 列表或数组,长度与待分组的轴一样 表示DataFrame某个列名的值 字典或Series,给出待分组轴上的值与分组名

  • pandas数据分组和聚合操作方法

    <Python for Data Analysis> GroupBy 分组运算:split-apply-combine(拆分-应用-合并) DataFrame可以在其行(axis=0)或列(axis=1)上进行分组.然后,将一个函数应用到各个分组并产生新值.最后,所有这些函数的执行结果会被合并到最终的结果对象中去. GroupBy的size方法可以返回一个含有分组大小的Series. 对分组进行迭代 for (k1,k2), group in df.groupby(['key1','key2'

  • Pandas数据分析多文件批次聚合处理实例解析

    目录 前言 一.多文件场景 方法一 方法二 二.多文件读取 前言 很多情况下我们处理的文件并不只是一个单纯的CSV文件或者Excel文件.我们会结合更多是数据去进行聚合统计分析,或许是需要解析到一整个数据存储压缩包,或许是对一整个目录文件读取再进行数据操作,这都需要我们掌握一定的多文件处理方法和策略.此篇文章正是基于此场景下处理多文件方法整合策略. 一.多文件场景 我们就以2020年CCF大数据与智能竞赛的数据来作为实例来处理: 现在我们有这么文本文件需要进行读取分析,按照往常我们一个一个读取显

  • Struts2实现文件上传功能实例解析

    Struts2实现文件上传功能实例解析

    一. 搭建struts2环境 在myeclipse下,右击项目->MyEclipse->Project Facets->install Apache Struts2. 如要自己搭建,需下载struts2包,写struts.xml配置文件. web.xml文件配置如下: <filter> <filter-name>struts2</filter-name> <filter-class>org.apache.struts2.dispatcher

  • SpringMVC文件上传功能实例解析

    SpringMVC文件上传功能实例解析

    说明: 文件上传的途径 文件上传主要有两种方式: 1.使用Apache Commons FileUpload元件. 2.利用Servlet3.0及其更高版本的内置支持. 客户端编程 1.为了上传文件,必须将HTML表格的enctype属性值设为multipart/form-data,像下面这样: <form action="action" enctype="multipart/form-data" method="post"> Sel

  • pandas group分组与agg聚合的实例

    如下: import pandas as pd df = pd.DataFrame({'Country':['China','China', 'India', 'India', 'America', 'Japan', 'China', 'India'], 'Income':[10000, 10000, 5000, 5002, 40000, 50000, 8000, 5000], 'Age':[5000, 4321, 1234, 4010, 250, 250, 4500, 4321]}) 构造的数

  • Pandas数据分析之groupby函数用法实例详解

    Pandas数据分析之groupby函数用法实例详解

    目录 正文 一.了解groupby 二.数据文件简介 三.求各个商品购买量 四.求各个商品转化率 五.转化率最高的30个商品及其转化率 小小の总结 正文 今天本人在赶学校课程作业的时候突然发现groupby这个分组函数还是蛮有用的,有了这个分组之后你可以实现很多统计目标. 当然,最主要的是,他的使用非常简单 本期我们以上期作业为例,单走一篇文章来看看这个函数可以实现哪些功能: (本期需要准备的行囊): jupyter notebook环境(anaconda自带) pandas第三方库 numpy

  • Python利用pandas计算多个CSV文件数据值的实例

    功能:扫描当前目录下所有CSV文件并对其中文件进行统计,输出统计值到CSV文件 pip install pandas import pandas as pd import glob,os,sys input_path='./' output_fiel='pandas_union_concat.csv' all_files=glob.glob(os.path.join(input_path,'sales_*')) all_data_frames=[] for file in all_files:

  • 通过Pandas读取大文件的实例

    当数据文件过大时,由于计算机内存有限,需要对大文件进行分块读取: import pandas as pd f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv') reader = pd.read_csv(f, sep=',', iterator=True) loop = True chunkSize = 100000 chunks = [] while loop: try: chunk = reader.get_chunk(chunkSize) chun

  • python pandas 对时间序列文件处理的实例

    如下所示: import pandas as pd from numpy import * import matplotlib.pylab as plt import copy def read(filename): dat=pd.read_csv(filename,iterator=True) loop = True chunkSize = 1000000 R=[] while loop: try: data = dat.get_chunk(chunkSize) data=data.loc[:

  • Python使用pandas处理CSV文件的实例讲解

    Python中有许多方便的库可以用来进行数据处理,尤其是Numpy和Pandas,再搭配matplot画图专用模块,功能十分强大. CSV(Comma-Separated Values)格式的文件是指以纯文本形式存储的表格数据,这意味着不能简单的使用Excel表格工具进行处理,而且Excel表格处理的数据量十分有限,而使用Pandas来处理数据量巨大的CSV文件就容易的多了. 我用到的是自己用其他硬件工具抓取得数据,硬件环境是在Linux平台上搭建的,当时数据是在运行脚本后直接输出在termin

  • pandas读取csv文件,分隔符参数sep的实例

    在python中读取csv文件时,一般操作如下: import pandas as pd pd.read_csv(filename) 该读文件方式,默认是以逗号","作为分割符,若是以其它分隔符,比如制表符"/t",则需要显示的指定分隔符.如下 pd_read_csv(filename,'/t') 但如果遇见某个字段包含了"/t"的字符,比如网址"www.xxx.xx/t-",则也会把字段中的"/t"理解为

随机推荐