python分批定量读取文件内容,输出到不同文件中的方法

一、文件内容的分发

应用场景：分批读取共有358086行内容的txt文件，每取1000条输出到一个文件当中

# coding=utf-8
# 分批读取共有358086行内容的txt文件，每取1000条输出到一个文件当中

txt_path = "E:/torrenthandle.txt"
base_path="E:/torrent_distribution/"

def distribution( ):
 f = open(txt_path,"r")
 lines = f.readlines()
 f2=open(base_path+"1.txt","w")
 content=""
 for i in range( 1,len(lines) ):
  if ( i%1000!=0 ):
   content+=lines[i-1]
  else:
   content+=lines[i-1]
   f2.write(content.strip('\n'))
   block_path=base_path+str(i)+".txt"
   f2=open(block_path,"w")
   content=""
 #最后的扫尾工作
 content+=lines[i]
 f2.write(content.strip('\n'))
 f2.close()
 f.close()

distribution( )

二、文件夹（目录）下的内容分发

应用场景：分批读取目录下的文件，每取1000条输出到一个新的目录当中

# coding: utf-8

import os
import shutil

sourcepath = "E:\\sample"
distribution_path = "E:\\sample\\distribution\\" 

if __name__ =='__main__':
 rs = unicode(sourcepath , "utf8")
 count = 1
 savepath = unicode(distribution_path+"1", "utf-8")
 if not os.path.exists(savepath):
  os.makedirs(savepath)
 for rt,dirs,files in os.walk(rs):
  for fname in files:
   if ( count%1000!=0 ):
    shutil.copy(rt + os.sep + fname,savepath)
    #os.remove(rt + os.sep + fname)
   else:
    shutil.copy(rt + os.sep + fname,savepath)
    #os.remove(rt + os.sep + fname)
    savepath = unicode(distribution_path+str(count), "utf-8")
    if not os.path.exists(savepath):
     os.makedirs(savepath)
   count+=1

以上这篇python分批定量读取文件内容,输出到不同文件中的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • python逐行读取文件内容的三种方法

    方法一: 复制代码 代码如下: f = open("foo.txt")             # 返回一个文件对象  line = f.readline()             # 调用文件的 readline()方法  while line:      print line,                 # 后面跟 ',' 将忽略换行符      # print(line, end = '') # 在 Python 3中使用      line = f.readline()

  • Python多进程分块读取超大文件的方法

    本文实例讲述了Python多进程分块读取超大文件的方法.分享给大家供大家参考,具体如下: 读取超大的文本文件,使用多进程分块读取,将每一块单独输出成文件 # -*- coding: GBK -*- import urlparse import datetime import os from multiprocessing import Process,Queue,Array,RLock """ 多进程分块读取文件 """ WORKERS = 4

  • python分批定量读取文件内容,输出到不同文件中的方法

    一.文件内容的分发 应用场景:分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中 # coding=utf-8 # 分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中 txt_path = "E:/torrenthandle.txt" base_path="E:/torrent_distribution/" def distribution( ): f = open(txt_path,"r")

  • python中将正则过滤的内容输出写入到文件中的实例

    处理过滤Apache日志文件 access_test.log文件内容 27.19.74.143 - - [30/May/2015:17:38:21 +0800] "GET /static/image/smiley/default/sleepy.gif HTTP/1.1" 200 2375 8.35.201.164 - - [30/May/2015:17:38:21 +0800] "GET /static/image/common/pn.png HTTP/1.1" 2

  • Python读取txt内容写入xls格式excel中的方法

    由于xlwt目前只支持xls格式,至于xlsx格式,后面会继续更新 import xlwt import codecs def Txt_to_Excel(inputTxt,sheetName,start_row,start_col,outputExcel): fr = codecs.open(inputTxt,'r') wb = xlwt.Workbook(encoding = 'utf-8') ws = wb.add_sheet(sheetName) line_number = 0#记录有多少

  • C++ 读文件 将文件内容读入到字符串string中的方法

    如下所示: #include <string> #include <fstream> #include <sstream> #include <iostream> #include <stdlib.h> using namespace std; //从文件读入到string里 string readFileIntoString(char * filename) { ifstream ifile(filename); //将文件读入到ostring

  • Python实现的读取文件内容并写入其他文件操作示例

    Python实现的读取文件内容并写入其他文件操作示例

    本文实例讲述了Python实现的读取文件内容并写入其他文件操作.分享给大家供大家参考,具体如下: 文件目录结构,如图: read_file.py是工作文件,file_test.py是读取文件源,write_test.py是写入目标文件. 文件A:file_test.py #coding=utf-8 for i in range(1, 10): print i 文件B:read_file.py # coding=utf-8 # 打开件A f = open('./file_test.py', 'rb

  • python使用nntp读取新闻组内容的方法

    本文实例讲述了python使用nntp读取新闻组内容的方法.分享给大家供大家参考.具体实现方法如下: from nntplib import * s = NNTP('web.aioe.org') (resp, count, first, last, name) = s.group('comp.lang.python') (resp, subs) = s.xhdr('subject', (str(first)+'-'+str(last))) for subject in subs[-10:]: p

  • 将datagrid控件内容输出到excel文件

    一个将datagrid控件内容输出到excel文件的demo. 生成EXCEL文件 复制代码 代码如下: public void setToExcel() { // Response.Clear(); // Response.Buffer= true; // Response.Charset="utf-8"; if (eformsn.Text=="") { DataGrid1.Visible=false; Label1.Text="要汇入EXCEL,请先输

  • Python实现提取XML内容并保存到Excel中的方法

    Python实现提取XML内容并保存到Excel中的方法

    本文实例讲述了Python实现提取XML内容并保存到Excel中的方法.分享给大家供大家参考,具体如下: 最近做一个项目是解析XML文件,提取其中的chatid和lt.timestamp等信息,存到excel里. 1.解析xml,提取数据 使用python自带的xml.dom中的minidom(也可以用lxml) xml文件如下: minidom.parse()#解析文件,返回DOM对象 _get_documentElement()DOM是树形结构,获得了树形结构的根节点 getElements

  • python读取TXT每行,并存到LIST中的方法

    文本如图: Python: import sys result=[] with open('accounts.txt','r') as f: for line in f: result.append(list(line.strip('\n').split(','))) print(result) 结果: 以上这篇python读取TXT每行,并存到LIST中的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.

  • 使用java文件过滤器输出制定格式文件路径的实例代码

    使用java文件过滤器输出制定格式文件路径的实例代码如下所示: 一.使用输出路径判断过滤 import java.io.File; public class demo_file04 { public static void main(String[] args) { fileall(new File("D:\\coding")); } private static void fileall(File f1) { // System.out.println(f1); //判断文件是否是目

随机推荐