python编码格式导致csv读取错误问题(csv.reader, pandas.csv_read)

目录
  • python编码格式导致csv读取错误
  • pandas读取csv常见错误及解决
    • 1）第一种错误
    • 2）第二种错误

python编码格式导致csv读取错误

本文记录python小白我今天遇到的这两个问题（csv.reader和pandas.csv_read）：

pandas模块“CParserError: Error tokenizing data. C error: Expected 1 fields in line 4, saw 2”错误

csv模块“line contains NULL byte”错误

今天处理数据时疏忽了，而且还偷懒把数据复制到xlsx保存后，直接修改文件后缀成.csv准备用来读取。之后运行算法要读数据的时候果然问题来了。

import pandas as pd
path = 'water30.csv'
df=pd.read_csv(path)

注：后两行可写作df=pd.read_csv('water30.csv')。

但由于read_csv本身有好多参数（虽然这里不用）, 故写成path习惯好些。

这样会报错CParserError: Error tokenizing data. C error: Expected 1 fields in line 4, saw 2

我在网上查了好多种解决办法，由于read_csv的参数很多，所以各有其词，我这里遇到的应该也只是其中一种，久寻无果。直到我看到这里说看了模块_csv.c的代码后，发现文件里不能有 “\0”, 所以csv文件不可以是unicode编码的，可以是ANSI。

针对我直接改后缀名的结果是，点击那个.csv打开时就已经提示我：

也就是这里改后缀并没有把文件格式弄好。所以我选择“另存为”改选了文件格式为

之后，读取就不会报错了。

注：有个疑问没有解决，就是那个我“直接改后缀得到的那个.csv”我用记事本打开查看了一下，编码就是ANSI啊。那我就不知道为什么报错了……不过问题倒是暂时解决了。

现在读取到的格式为

是个结构体。

另外，对于：csv模块“line contains NULL byte”错误。和上面出现问题原因和解决方案是一样的，比如

import csv
csvfile=file('water30.csv','rb')
reader = csv.reader(csvfile)
for line in reader:
     print line
csvfile.close()

报错：Error: line contains NULL byte

修正后，读入的数据格式为list，如下

[‘1’, ‘2’, ‘2’, ‘1’, ‘2’]
[‘1’, ‘1’, ‘1’, ‘2’, ‘2’]
[‘1’, ‘2’, ‘1’, ‘1’, ‘1’]
[‘1’, ‘1’, ‘1’, ‘1’, ‘2’]
[‘1’, ‘1’, ‘1’, ‘2’, ‘2’]
[‘1’, ‘1’, ‘1’, ‘2’, ‘2’]
[‘0.697’, ‘0.744’, ‘0.634’, ‘0.403’, ‘0.481’]
[‘0.46’, ‘0.376’, ‘0.264’, ‘0.237’, ‘0.149’]
[‘1’, ‘1’, ‘1’, ‘1’, ‘1’]

pandas读取csv常见错误及解决

1）第一种错误

错误提示：

pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 121, saw 2

解决方法：

import pandas as pd
data = pd.read_csv(inputfile, encoding='utf-8',header=None,sep = '\t')

2）第二种错误

错误提示：

pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at line 15945

解决方法：

import pandas as pd
import csv
df = pd.read_csv(csvfile, quoting=csv.QUOTE_NONE, encoding='utf-8')

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Python pandas读取CSV文件的注意事项（适合新手）

    Python pandas读取CSV文件的注意事项（适合新手）

    目录 前言 示例文件 文件编码 空值 日期错误 函数映射 方法1:直接使用labmda表达式 方法二:使用自定义函数 方法三:使用数值字典映射 总结 前言 本文是给使用pandas的新手而写,主要列出一些常见的问题,根据笔者所踩过的坑,进行归纳总结,希望对读者有所帮助. 示例文件 将以下内容保存为文件 people.csv. id,姓名,性别,出生日期,出生地,职业,爱好 1,张小三,m,1992-10-03,北京,工程师,足球 2,李云义,m,1995-02-12,上海,程序员,读书 下棋 3

  • 解决Python中pandas读取*.csv文件出现编码问题

    1.问题 在使用Python中pandas读取csv文件时,由于文件编码格式出现以下问题: Traceback (most recent call last): File "pandas\_libs\parsers.pyx", line 1134, in pandas._libs.parsers.TextReader._convert_tokens File "pandas\_libs\parsers.pyx", line 1240, in pandas._libs

  • Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题

    先举个例子,分别以不指定编码.指定编码为 utf-8.指定编码为 utf-8-sig 三种方式来做比较,再将写入 csv 文件和 txt 文件来做个对比 一.不指定编码方式,直接存入 csv 文件 import csv with open('test.csv', 'w') as fp: writer = csv.writer(fp) writer.writerow(['汉语', '俄语', '韩语', '日语', '英语']) writer.writerow(['爱你', 'люблю тебя

  • python编码格式导致csv读取错误问题(csv.reader, pandas.csv_read)

    python编码格式导致csv读取错误问题(csv.reader, pandas.csv_read)

    目录 python编码格式导致csv读取错误 pandas读取csv常见错误及解决 1)第一种错误 2)第二种错误 python编码格式导致csv读取错误 本文记录python小白我今天遇到的这两个问题(csv.reader和pandas.csv_read): pandas模块“CParserError: Error tokenizing data. C error: Expected 1 fields in line 4, saw 2”错误 csv模块“line contains NULL b

  • Python如何读取、写入CSV数据

    问题 你想读写一个CSV格式的文件. 解决方案 对于大多数的CSV格式的数据读写问题,都可以使用 csv 库..例如,假设你在一个名叫stocks.csv文件中有一些股票市场数据,就像这样: 下面向你展示如何将这些数据读取为一个元组的序列: import csv with open('stocks.csv') as f: f_csv = csv.reader(f) headers = next(f_csv) for row in f_csv: # Process row ... 在上面的代码中,

  • Python基于csv模块实现读取与写入csv数据的方法

    Python基于csv模块实现读取与写入csv数据的方法

    本文实例讲述了Python基于csv模块实现读取与写入csv数据的方法.分享给大家供大家参考,具体如下: 通过csv模块可以轻松读取格式为csv的文件,而且csv模块是python内置的,不需要下载就可以直接用. 一.准备csv文件 文件名是 e:\t.csv,文件内容: org_id,org_name,state,emp_id 1,销售1,'1',123 2,销售2,'0',321 3,销售3,'1',231 1,,'1',1234 二.读取csv数据 代码非常简单: # -*- coding

  • Python实现读取及写入csv文件的方法示例

    Python实现读取及写入csv文件的方法示例

    本文实例讲述了Python实现读取及写入csv文件的方法.分享给大家供大家参考,具体如下: 新建csvData.csv文件,数据如下: 具体代码如下: # coding:utf-8 import csv # 读取csv文件方式1 csvFile = open("csvData.csv", "r") reader = csv.reader(csvFile) # 返回的是迭代类型 data = [] for item in reader: print(item) dat

  • python 读取目录下csv文件并绘制曲线v111的方法

    实例如下: # -*- coding: utf-8 -*- """ Spyder Editor This temporary script file is located here: C:\Users\user\.spyder2\.temp.py """ """ Show how to modify the coordinate formatter to report the image "z"

  • 如何利用python创建、读取和修改CSV数据文件

    目录 1 写入CSV文件 2 读取CSV文件 3 修改CSV文件 总结 简单展示如何利用python中的pandas库创建.读取.修改CSV数据文件 1 写入CSV文件 import numpy as np import pandas as pd # -----create an initial numpy array----- # data = np.zeros((8,4)) # print(data.dtype) # print(type(data)) # print(data.shape)

  • 在python中读取和写入CSV文件详情

    在python中读取和写入CSV文件详情

    目录 前言 1.导入CSV库 2.对CSV文件进行读写 2.1 用列表形式写入CSV文件 2.2 用列表形式读取CSV文件 2.3 用字典形式写入csv文件 2.4 用字典形式读取csv文件 结语 前言 CSV(Comma-Separated Values)即逗号分隔值,一种以逗号分隔按行存储的文本文件,所有的值都表现为字符串类型(注意:数字为字符串类型).如果CSV中有中文,应以utf-8编码读写. 1.导入CSV库 python中对csv文件有自带的库可以使用,当我们要对csv文件进行读写的

  • python pandas 解析(读取、写入)CSV 文件的操作方法

    目录 1. 使用 pandas 读取 CSV 文件 2. 使用 pandas 写入 CSV 文件 1. 使用 pandas 读取 CSV 文件 原始数据包含了公司员工的数据: Name Hire Date Salary Sick Days remaining Graham Chapman 03/15/14 50000.00 10 John Cleese 06/01/15 65000.00 8 Eric Idle 05/12/14 45000.00 10 Terry Jones 11/01/13

  • Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

    1. 目标 通过hadoop hive或spark等数据计算框架完成数据清洗后的数据在HDFS上 爬虫和机器学习在Python中容易实现 在Linux环境下编写Python没有pyCharm便利 需要建立Python与HDFS的读写通道 2. 实现 安装Python模块pyhdfs 版本:Python3.6, hadoop 2.9 读文件代码如下 from pyhdfs import HdfsClient client=HdfsClient(hosts='ghym:50070')#hdfs地址

  • Python程序中用csv模块来操作csv文件的基本使用教程

    CSV全称为"Comma Separated Values",是一种格式化的文件,由行和列组成,分隔符可以根据需要来变化. 如下面为一csv文件: Title,Release Date,Director And Now For Something Completely Different,1971,Ian MacNaughton Monty Python And The Holy Grail,1975,Terry Gilliam and Terry Jones Monty Python

随机推荐