python 实现两个npy档案合并

我就废话不多说了，大家还是直接看代码吧~


old_record=numpy.load('exist.npy')
temp_record=[]

path = os.getcwd()+"\\database\\new"  #获取当前路径
for root,dirs,files in os.walk(path):  #遍历统计
	for each in files:
		url=path+"\\"+each
		...
		temp_record.append(temp)

numpy.save('temp.npy',temp_record)
temp=numpy.load('temp.npy')

new_record=numpy.append(old_record,temp)
numpy.save('exist.npy',new_record)

补充知识：Python批量处理文件 将多个文件合并

需求：把一个文件夹下的多个csv文件合并成一个文件，文件的格式是相同的，只是按照不同的月份分成了多个文件，现将文件夹下的文件进行合并

import pandas as pd
import os
Folder_Path = 'C:\\Users\\dell\\雾霾预测\\data\\河北省'     #要拼接的文件夹及其完整路径，注意不要包含中文
SaveFile_Path = 'C:\\Users\\dell\\雾霾预测\\data'    #拼接后要保存的文件路径
SaveFile_Name = '河北省201701-201712.csv'       #合并后要保存的文件名 

#修改当前工作目录
os.chdir(Folder_Path)
#将该文件夹下的所有文件名存入一个列表
file_list = os.listdir() 

#读取第一个CSV文件并包含表头
df = pd.read_csv(Folder_Path +'\\'+ file_list[0]) #编码默认UTF-8，若乱码自行更改

#将读取的第一个CSV文件写入合并后的文件保存
df.to_csv(SaveFile_Path+'\\'+ SaveFile_Name,encoding="utf_8_sig",index=False) 

#循环遍历列表中各个CSV文件名，并追加到合并后的文件
FileStart = 1
FileEnd = len(file_list)
for i in range(FileStart,FileEnd):
  df = pd.read_csv(Folder_Path + '\\'+ file_list[i])
  df.to_csv(SaveFile_Path+'\\'+ SaveFile_Name,encoding="utf_8_sig",index=False, header=False, mode='a+')

在读取的时候可能会出现中文乱码的问题，有可能是gbk编码这时候再读取文件的时候需要加上编码格式

df = pd.read_csv(Folder_Path +'\\'+ file_list[0],encoding = 'gbk')

以上这篇python 实现两个npy档案合并就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • python实现npy格式文件转换为txt文件操作

    如下代码会将npy的格式数据读出,并且输出来到控制台: import numpy as np ##设置全部数据,不输出省略号 import sys np.set_printoptions(threshold=sys.maxsize) boxes=np.load('./input_output/boxes.npy') print(boxes) np.savetxt('./input_output/boxes.txt',boxes,fmt='%s',newline='\n') print('----

  • python中np是做什么的

    在python中,"np"一般是指"numpy"库,是第三方库"numpy"的别名.方法:利用命令"import numpy as np"将numpy库取别名为"np". 演示: import numpy as np arr = np.array([1, 2, 3]) print(arr) 结果是: [1 2 3] 知识点扩展: Python中NumPy基础使用 ndarray(以下简称数组)是numpy的

  • Python使用OpenPyXL处理Excel表格

    官方文档: http://openpyxl.readthedocs.io/en/default/ OpenPyXL库 --单元格样式设置 单元格样式的控制,依赖openpyxl.style包,其中定义有样式需要的对象,引入样式相关: from openpyxl.styles import PatternFill, Font, Alignment, Border, SideBorder 边框 Side 边线PatternFill 填充Font 字体Aignment 对齐 以上基本可满足需要 基本用

  • Python 存取npy格式数据实例

    数据处理的时候主要通过两个函数 (1):np.save("test.npy",数据结构) ----存数据 (2):data =np.load('test.npy") ----取数据 给2个例子如下(存列表) 1. z = [[[1, 2, 3], ['w']], [[1, 2, 3], ['w']]] np.save('test.npy', z) x = np.load('test.npy') x: ->array([[list([1, 2, 3]), list(['w

  • Python openpyxl模块实现excel读写操作

    在日常的测试工作中,我们的测试用例一般都是保存在Excel文件中,当然也有一些公司会使用Xmind来编写测试用例,那么为什么我们在这里只是讲解Excel的读写的,因为Excel它是一种更规范.更常用的测试用例格式,对于自动化测试来说,如果我们将用例保存在Excel中,那么剩下的问题就是使用什么样的奇数去解析用例获取测试数据了,下面我们将为大家介绍openpyxl的具体用法. openpyxl是一个开源项目,openpyxl模块是一个读写Excel 2010文档的Python库,如果要处理更早格式

  • python 实现两个npy档案合并

    我就废话不多说了,大家还是直接看代码吧~ old_record=numpy.load('exist.npy') temp_record=[] path = os.getcwd()+"\\database\\new" #获取当前路径 for root,dirs,files in os.walk(path): #遍历统计 for each in files: url=path+"\\"+each ... temp_record.append(temp) numpy.sa

  • python实现两个一维列表合并成一个二维列表

    我就废话不多说了,直接上代码吧! >>> list1 = [1,2,3,4,4] >>> list2 = [2,3,4,5,2] >>> z = list(zip(list1,list2)) >>> z [(1, 2), (2, 3), (3, 4), (4, 5), (4, 2)] >>> z[1][1] 3 >>> z[0][1] 2 >>> z[2] (3, 4) 以上这篇p

  • Python利用字典将两个通讯录文本合并为一个文本实例

    Python利用字典将两个通讯录文本合并为一个文本实例

    本文实例主要实现的是利用字典将两个通讯录文本合并为一个文本,具体代码如下: def main(): ftele1=open("d:\TeleAddressBook.txt","rb") ftele2=open("d:\EmailAddressBook.txt","rb") ftele1.readline()#跳过第一行 ftele2.readline() lines1=ftele1.readlines() lines2=fte

  • python实现两个文件合并功能

    本文将会分析一个文件合并的程序,并指出在合并文件过程中需要注意的问题. 下面是需要合并的文件示例: 分析思路: 要将两个文件合并,首先要将文件读到内存中,成为列表.再将列表分割,按照类别将数据分开存储,即姓名.电话.邮箱.通过遍历列表1,依次与列表2比较,如果二者有重合的人,那么直接利用 .join([ ])姓名电话邮箱合并到一行,保存到另外一个列表变量里面.二者不重合的人,说明只有列表1中才有,故将此人的邮箱信息用str('-–')代替. 经过这次遍历之后,列表1中所有的人和列表2中与列表1中

  • python实现两个dict合并与计算操作示例

    本文实例讲述了python实现两个dict合并与计算操作.分享给大家供大家参考,具体如下: 用pythonic 的方法,将两个dict合并,并进行计算. 如果key值相同,则将他们的值进行想加,否则保留原来的值. 当然,通常会想到,用循环的方法来做,这是一般人都知道的做法,下面讲一个python  dict 内置的方法来实现. 比如有如下两个字典: Dict A: {'a':1, 'b':2, 'c':3} Dict B: {'b':3, 'c':4, 'd':5} 将他们想加后得到的结果是:

  • python实现两个字典合并,两个list合并

    1.两个字典:a={'a':1,'b':2,'c':3} b= {'aa':11,'bb':22,'cc':33} 合并1:dict(a,**b) 操作如下: >>> a={'a':1,'b':2,'c':3} >>> b= {'aa':11,'bb':22,'cc':33} >>> dict(a,**b) {'a': 1, 'aa': 11, 'c': 3, 'b': 2, 'bb': 22, 'cc': 33} >>> 合并2:d

  • python 如何将两个实数矩阵合并为一个复数矩阵

    问题描述: 有时需要把两个实数矩阵,一个作为实部,一个作为虚部,合并为一个复数矩阵,该如何操作? 解决办法: 假如是在第二个维度上进行合并(real: Data[:, 0, :, :] imag: Data[:, 1, :, :]),有两种方法 第一种. result = Data[:, 0, :, :] + 1j*Data[:, 1, :, :] 第二种. result = 1j*Data[:, 1, :, :] result += Data[:, 0, :, :] 第二种方法更节省内存~ 补

  • Python将多个excel文件合并为一个文件

    Python将多个excel文件合并为一个文件

    利用Python,将多个excel文件合并为一个文件 思路 利用python xlrd包读取excle文件,然后将文件内容存入一个列表中,再利用xlsxwriter将内容写入到一个新的excel文件中. 完整代码 # -*- coding: utf-8 -*- #将多个Excel文件合并成一个 import xlrd import xlsxwriter #打开一个excel文件 def open_xls(file): fh=xlrd.open_workbook(file) return fh #

  • Python查找两个有序列表中位数的方法【基于归并算法】

    Python查找两个有序列表中位数的方法【基于归并算法】

    本文实例讲述了Python查找两个有序列表中位数的方法.分享给大家供大家参考,具体如下: 今天做到的一个机试题目,很简单,这里简单记录一下: 我用的是归并的思想,当然还可以用递归的方法,下面是具体实现: #!usr/bin/env python #encoding:utf-8 ''''' __Author__:沂水寒城 功能:找到两个有序列表的中位数 若列表总长度为奇数则直接返回中间下标的值 否则返回前一个值,如长度为6则返回下标为2处的值 ''' import random def rando

  • Python寻找两个有序数组的中位数实例详解

    Python寻找两个有序数组的中位数实例详解

    Python寻找两个有序数组的中位数 审题: 1.找出意味着这是一个查找算法题 2.算法复杂度log级别,就是提示你是二分查找 3.二分查找实现一般为递归 (1)递归包括递归体  (2)终止条件 思路: 定理: 1.有序数组中有一半的元素小于等于数组的中位数,有一半的元素大于等于中位数(如果数组中元素个数是奇数,那么这里的一半并不是严格意义的1/2) 2.如果我们去掉其中一个数组比中位数小的k个数,再去掉另一个数组中比中位数大的k个数,得到的合并子数组的中位数和原来的中位数相同. eg:[1,2

随机推荐