Python 读取某个目录下所有的文件实例

在处理数据的时候，因为没有及时的去重，所以需要重新对生成txt进行去重。

可是一个文件夹下有很多txt，总不可能一个一个去操作，这样效率太低了。这里我们需要用到 os 这个包

关键的代码

<span style="font-size:14px;"># coding=utf-8
#出现了中文乱码的问题，于是我无脑utf-8 。希望后期的学习可以能理解
import os
import os.path
import re
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')

#这里放着你要操作的文件夹名称
path = 'E:\\get_key\\'

#把e:\get_key\目录下的文件名全部获取保存在files中
files = os.listdir(path.decode('utf-8'))

#用set可以很好的去重，在数据处理的时候经常会被使用到。这里做初始化
datas = set()

for file in files :
 #准确获取一个txt的位置，利用字符串的拼接
 txt_path = 'E:\\get_key\\'+file.decode('utf-8')
 #把结果保存了在contents中
 contents = codecs.open(txt_path.decode('utf-8'),'r',encoding='utf-8')

 #datas的数据清空
 datas.clear()

 #把数据add到datas中，可以去重
 for content in contents:
  print(content.decode('utf-8'))
  datas.add(content.decode('utf-8'))

 #去重后新的文件保存的路径
 new_txt_path = 'E:\\get_key3\\' + file.decode('utf-8')
 unique_keywords = codecs.open(new_txt_path.decode('utf-8'), 'w', encoding='utf-8')

 #把datas里的数据输出到新生成的txt中
 for data in datas:
  unique_keywords.write(data+"\n")

 #释放资源
 unique_keywords.close()</span>

以上这篇Python 读取某个目录下所有的文件实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • python通过paramiko复制远程文件及文件目录到本地

    最近写运维自动化平台,需要用python写很多的小功能模块. 这里就分享一个用Python的paramiko来实现功能的一段代码: 复制远程服务器上的文件及文件夹到本地目录. 解释一下什么叫paramiko: paramiko是用python写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接.利用该模块,可以方便的进行ssh连接和sftp协议进行sftp文件传输以及远程命令执行. 安装paramiko也很简单,我用的是python3,装好了pip,可以直接用pip来安装

  • 详解使用Python处理文件目录的相关方法

    所有文件都包含在各个不同的目录下,不过Python也能轻松处理.os模块有许多方法能帮你创建,删除和更改目录. mkdir()方法 可以使用os模块的mkdir()方法在当前目录下创建新的目录们.你需要提供一个包含了要创建的目录名称的参数. 语法: os.mkdir("newdir") 例子: 下例将在当前目录下创建一个新目录test. #!/usr/bin/python # -*- coding: UTF-8 -*- import os # 创建目录test os.mkdir(&qu

  • Python目录和文件处理总结详解

    1.判断目录是否存在.判断文件是否存在.创建目录.重命名目录或文件 import os #获取当前目录路径: E:\Work\Projects\python print(os.getcwd()) #判断当前目录是否存在,不存在则创建目录dir1 if not os.path.isdir('dir1'): os.mkdir('dir1') #判断指定目录是否存在,不存在则创建目录dir22 if not os.path.isdir('E:\Work\Projects\python\dir22'):

  • python遍历文件目录、批量处理同类文件

    本文实例为大家分享了python遍历文件目录.批量处理同类文件的具体代码,供大家参考,具体内容如下 目录操作 1.获取当前目录 import os curr_path=os.path.dirname(__file__) #返回当前文件所在的目录,即当前运行的脚本所在父目录 print curr_path 运行示例 (1)使用os.path.dirname(__file__)时,是针对运行时对所给程序脚本的路径来获取父目录的,即截取你输入的脚本路径的所在目录名称,如上图示例,输入绝对路径时返回绝对

  • Python os.rename() 重命名目录和文件的示例

    概述 os.rename() 方法用于重命名文件或目录,从 src 到 dst,如果dst是一个存在的目录, 将抛出OSError. 语法 rename()方法语法格式如下: os.rename(src, dst) 参数 src – 要修改的目录名 dst – 修改后的目录名 返回值 该方法没有返回值 该方法 可以重命名 文件 和目录, 如果 src参数 对应文件或目录,不存在,会保错, 如果 dst 参数 对应文件或目录,已经存在,也会报错 实验方法: 在当前目录下,新建一个目录,名称为:te

  • Python 使用PyQt5 完成选择文件或目录的对话框方法

    如下所示: import sys from PyQt5.QtWidgets import QMainWindow,QApplication,QTextEdit,QAction,QFileDialog from PyQt5.QtGui import QIcon class Example(QMainWindow): def __init__(self): super(Example, self).__init__() self.initUI() def initUI(self): self.tex

  • Python实现批量执行同目录下的py文件方法

    Python版本:3.5 网上找了好多资料都没有直观的写出怎么批量执行,so,整理了一个小程序.最初是为了用Python进行单元测试,同目录下有两个unittest文件, AllTest.py的目的是批量运行mytest.py.mytest2.py. 代码如下: #批量执行当前文件夹下所有py文件 import os lst=os.listdir(os.getcwd()) for c in lst: if os.path.isfile(c) and c.endswith('.py') and c

  • Python使用os.listdir()和os.walk()获取文件路径与文件下所有目录的方法

    Python使用os.listdir()和os.walk()获取文件路径与文件下所有目录的方法

    在python3.6版本中去掉了os.path.walk()函数 os.walk() 函数声明:walk(top,topdown=True,oneerror=None) 1.参数top表示需要遍历的目录树的路径 2.参数农户topdown默认是"True",表示首先返回根目录树下的文件,然后,再遍历目录树的子目录.topdown的值为"False",则表示先遍历目录树的子目录,返回子目录下的文件,最后返回根目录下的文件 3.参数oneerror的默认值是"

  • Python 读取某个目录下所有的文件实例

    在处理数据的时候,因为没有及时的去重,所以需要重新对生成txt进行去重. 可是一个文件夹下有很多txt,总不可能一个一个去操作,这样效率太低了.这里我们需要用到 os 这个包 关键的代码 <span style="font-size:14px;"># coding=utf-8 #出现了中文乱码的问题,于是我无脑utf-8 .希望后期的学习可以能理解 import os import os.path import re import sys import codecs rel

  • Python读取指定目录下指定后缀文件并保存为docx

    最近有个奇葩要求 要项目中的N行代码 申请专利啥的 然后作为程序员当然不能复制粘贴 用代码解决.. 使用python-docx读写docx文件 环境使用python3.6.0 首先pip安装python-docx pip install python-docx 然后下面是脚本 修改目录,这里默认取脚本运行目录下的src文件夹 取.cs后缀的所有文件 读取并保存为docx 有一点需要注意,如果文件中有中文,请用vscode或者其他编辑器使用utf-8格式打开,看看有没有乱码 其中每处理一个文件都会

  • Python读取一个目录下所有目录和文件的方法

    本文实例讲述了Python读取一个目录下所有目录和文件的方法.分享给大家供大家参考,具体如下: 这里介绍的是刚学python时的一个读取目录的列子,给大家分享下: #!/usr/bin/python # -*- coding:utf8 -*- import os allFileNum = 0 def printPath(level, path): global allFileNum ''' 打印一个目录下的所有文件夹和文件 ''' # 所有文件夹,第一个字段是次目录的级别 dirList = [

  • python读取一个目录下所有txt里面的内容方法

    实例如下所示: import os allFileNum = 0 def printPath(level, path): global allFileNum ''''' 打印一个目录下的所有文件夹和文件 ''' # 所有文件夹,第一个字段是次目录的级别 dirList = [] # 所有文件 fileList = [] # 返回一个列表,其中包含在目录条目的名称 files = os.listdir(path) # 先添加目录级别 dirList.append(str(level)) for f

  • python在指定目录下查找gif文件的方法

    本文实例讲述了python在指定目录下查找gif文件的方法.分享给大家供大家参考.具体实现方法如下: #!/usr/bin/python # Use the standard find method to look for GIF files. import sys, find if len(sys.argv) > 1: dirs = sys.argv[1:] else: dirs = [ '.' ] # Go for it. for dir in dirs: files = find.find

  • python各层级目录下import方法代码实例

    这篇文章主要介绍了python各层级目录下import方法代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 以前经常使用python2.现在很多东西都切换到了python3,发现很多东西还是存在一些差异化的.跨目录import是常用的一种方法,并且有不同的表现形式,新手很容易搞混.有必要这里做个总结,给大家科普一下: 1 同级目录下的调用: 同级目录下的调用比较简单,一般使用场景是不同类的相互调用.不用考虑路径问题,常用的格式是:from

  • python读取有密码的zip压缩文件实例

    今天试了一下用zipfile模块读取有密码的zip压缩文件. 今天用winrar 5.6将一个名字为1.xlsx的excel文件打包成1.zip压缩包.采用默认的压缩算法(没有勾选传统加密锁法): import zipfile import pandas as pd zf=zipfile.ZipFile("F:/Desktop/1.zip") print(zf.namelist()) f=zf.open('1.xlsx',mode='r',pwd='123456'.encode('ut

  • Python遍历某目录下的所有文件夹与文件路径

    本文与<[Java]读取其下所有文件夹与文件的路径>(点击打开链接)为姊妹篇,主要讲述Python对于文件信息的读取操作. Python对于文件信息的读取操作,在其固有类os中. 下面以读取F盘下的所有文件夹作为例子说明这个问题: Python对于文件夹的遍历有两种写法,一种是直接利用其封装好的walk方法直接操作. 这是Python做得比Java优势的地方: # -*-coding:utf-8-*- import os for root,dirs,files in os.walk("

  • 基于android中读取assets目录下a.txt文件并进行解析的深入分析

    android读取assets文件下的内容,一般都是使用getAsset.open()方法,并将文件的路径作为参数传入,而当我们解析一个目录下的文件时需要对其进行解析时,比如:a.txt文件的内容为:nameandroid,liuclass1,2,3,4这些文件有时就像是数据库文件的格式一样,我们就需要对其进行解析.我们知道获取assets文件后返回的是一个inputstream而不是一个file类型,所以我们需要对inputstream进行解析.主要分为两个阶段:第一个阶段为:去换行符,第二个

  • python打包压缩、读取指定目录下的指定类型文件

    下面通过代码给大家介绍python打包压缩指定目录下的指定类型文件,具体代码如下所示: import os import datetime import tarfile import fnmatch def find_spe_file(root, patterns=['*'], non_cludedir=[]): for root, dirnames, filenames in os.walk(root): for pattern in patterns: for filename in fil

随机推荐