解决pandas使用read_csv()读取文件遇到的问题
如下:
数据文件:
上海机场 (sh600009) |
24.11 | 3.58 |
东风汽车 (sh600006) | 74.25 | 1.74 |
中国国贸 (sh600007) | 26.38 | 2.66 |
包钢股份 (sh600010) | 61.01 | 2.35 |
武钢股份 (sh600005) | 75.85 | 1.3 |
浦发银行 (sh600000) | 6.65 | 0.96 |
在使用read_csv() API读取CSV文件时求取某一列数据比较大小时,
df=pd.read_csv(output_file,encoding='gb2312',names=['a','b','c']) df.b>20
报错
TypeError:'>'not supported between instances of 'str' and 'int'
从返回的错误信息可知应该是数据类型错误,读回来的是‘str'
in : df.dtypes out: a object b object c object dtype: object
由此可知 df.b 类型是 object
查阅read_csv()文档 配置:
dtype : Type name or dict of column -> type, default None Data type for data or columns. E.g. {'a': np.float64, 'b': np.int32} (unsupported with engine='python'). Use str or object to preserve and not interpret dtype. New in version 0.20.0: support for the Python parser.
可知默认使用‘str'或‘object'保存
因此在读取时只需要修改 'dtype' 配置就可以
df=pd.read_csv(output_file,encoding='gb2312',names=['a','b','c'],dtype={'b':np.folat64})
以上这篇解决pandas使用read_csv()读取文件遇到的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。
相关推荐
-
Python使用pandas处理CSV文件的实例讲解
Python中有许多方便的库可以用来进行数据处理,尤其是Numpy和Pandas,再搭配matplot画图专用模块,功能十分强大. CSV(Comma-Separated Values)格式的文件是指以纯文本形式存储的表格数据,这意味着不能简单的使用Excel表格工具进行处理,而且Excel表格处理的数据量十分有限,而使用Pandas来处理数据量巨大的CSV文件就容易的多了. 我用到的是自己用其他硬件工具抓取得数据,硬件环境是在Linux平台上搭建的,当时数据是在运行脚本后直接输出在termin
-
快速解决pandas.read_csv()乱码的问题
pandas.read_csv()遇到读进来乱码问题 1.设置encoding='gbk'或者encoding='utf-8'.pandas.read_csv('data.csv',encoding='gbk') 2.如果设置encoding直接报错的话 解决方法是:用记事本打开csv文件,另存为设置编码为utf-8,然后重新读取文件设置encoding='utf-8'就好了. 以上这篇快速解决pandas.read_csv()乱码的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希
-
解决pandas中读取中文名称的csv文件报错的问题
之前在使用Pandas处理csv文件时,发现如果文件名为中文,则会报错: OSError: Initializing from file failed 后来在一位博主的博客中解释了是read_csv中engine参数的问题,默认是C engine,在读取中文标题时有可能会出错(在我这是必现),解决方法是将engine换为Python(官方文档的说法是C engine更快但是Python engine功能更完备),具体写法: df.read_csv('filename', engine='pyth
-
使用实现pandas读取csv文件指定的前几行
用于存储数据的csv文件有时候数据量是十分庞大的,然而我们有时候并不需要全部的数据,我们需要的可能仅仅是前面的几行. 这样就可以通过pandas中read_csv中指定行数读取的功能实现. 例如有data.csv文件,文件的内容如下: GreydeMac-mini:chapter06 greyzhang$ cat data.csv ,name_01,coment_01,,,, 2,name_02,coment_02,,,, 3,name_03,coment_03,,,, 4,name_04,co
-
解决pandas使用read_csv()读取文件遇到的问题
如下: 数据文件: 上海机场 (sh600009) 24.11 3.58 东风汽车 (sh600006) 74.25 1.74 中国国贸 (sh600007) 26.38 2.66 包钢股份 (sh600010) 61.01 2.35 武钢股份 (sh600005) 75.85 1.3 浦发银行 (sh600000) 6.65 0.96 在使用read_csv() API读取CSV文件时求取某一列数据比较大小时, df=pd.read_csv(output_file,encoding='gb23
-
Pandas之read_csv()读取文件跳过报错行的解决
读取文件时遇到和列数不对应的行,此时会报错.若报错行可以忽略,则添加以下参数: 样式: pandas.read_csv(***,error_bad_lines=False) pandas.read_csv(filePath) 方法来读取csv文件时,可能会出现这种错误: ParserError:Error tokenizing data.C error:Expected 2 fields in line 407,saw 3. 是指在csv文件的第407行数据,期待2个字段,但在第407行实际发现
-
pd.read_csv读取文件路径出现的问题解决
目录 写在前面 出现的问题 解决问题 用相对路径读取数据集 完整的代码 参考 写在前面 在用pd.read_csv读取数据集时,我有2个疑问?1是:写相对路径还是绝对路径.2是:相对路径,绝对路径怎么写.这篇文章就是解决以上两个问题.如果这个脚本只是在自己电脑上,都可以无所谓,但是如果别人也想用你的脚本,我认为相对路径还是比较好的,数据集和脚本一起拷贝给别人,如果环境没问题的话路径不用修改就可以直接运行,如果你用绝对路径的话,别人拿到之后还得自己修改路径. 出现的问题 报错,这个路径没找到文件,
-
完美解决go Fscanf 在读取文件时出现的问题
先要明白Fscanf的工作原理 Fscanf在遇到\n才结束 遇到\r时就会把\r替换成0 这就有个问题,要注意自己的文本换行符是什么,在Windows下就是\r\n,在Linux,Mac下就是\n,也就是说这里有个坑, 代码在Linux和Mac下读取数据文件是正常的,在Windows下就会遇到各种行末尾有个0,网上办法用什么替换啊,用什么自定义Scan函数啊,太麻烦了,直接使用自带IDE将打开的数据文件集换行符改成LF(Linux,Mac换行符)就行了 如下图Idea 文件右下角LF点击就可以
-
php fread读取文件注意事项
php fread函数介绍 string fread ( int handle, int length ) fread() 从文件指针 handle 读取最多 length 个字节.该函数在读取完最多 length 个字节数,或到达 EOF 的时候,或(对于网络流)当一个包可用时,或(在打开用户空间流之后)已读取了 8192 个字节时就会停止读取文件. fread()实例: <?php $file = "data.txt"; $fh = fopen($file, "rt
-
解决pandas read_csv 读取中文列标题文件报错的问题
从windows操作系统本地读取csv文件报错 data = pd.read_csv(path) Traceback (most recent call last): File "C:/Users/arron/PycharmProjects/ML/ML/test.py", line 45, in <module> data = pd.read_csv(path) File "C:\Users\arron\AppData\Local\Continuum\Anacon
-
利用Pandas读取文件路径或文件名称包含中文的csv文件方法
利用Pandas的read_csv函数导入数据文件时,若文件路径或文件名包含中文,会报错,无法导入: import pandas as pd df=pd.read_csv('E:/学习相关/Python/数据样例/用户侧数据/账单.csv') 解决方法如下: import pandas as pd f=open('E:/学习相关/Python/数据样例/用户侧数据/账单.csv') df=pd.read_csv(f) 以上这篇利用Pandas读取文件路径或文件名称包含中文的csv文件方法就是小编
-
使用pandas读取文件的实现
pandas可以将读取到的表格型数据(文件不一定要是表格)转成DataFrame类型的数据结构,然后我们可以通过操作DataFrame进行数据分析,数据预处理以及行和列的操作等.下面介绍一些常用读取文件的方法 1.read_csv函数 功能:从文件.URL.文件新对象中加载带有分隔符的数据,默认分隔符是逗号. data.txt a,b,c,d,name 1,2,3,4,python 5,6,7,8,java 9,10,11,12,c++ data = pd.read_csv("data.txt&
随机推荐
- 一个特牛的日期时间判断正则表达式
- 从Chrome App看微信小程序的发展前景
- PowerShell函数中限制数组参数个数的例子
- win7系统安装SQLServer2000的详细步骤(图文)
- redis执行redis命令的方法教程
- AR28/AR46系列路由器用出接口地址做Easy NAT的典型配置方法
- java利用DFA算法实现敏感词过滤功能
- oracle 下WITH CHECK OPTION用法
- gridview行索引获取方法及实现代码(非js版)
- php实现当前页面点击下载文件的简单方法
- PHP实现找出有序数组中绝对值最小的数算法分析
- php mssql 分页SQL语句优化 持续影响
- PHP实现适用于自定义的验证码类
- 在Python的Django框架中调用方法和处理无效变量
- discuz 2.0整合asp系统,用户添加函数
- C#使用JavaScriptSerializer序列化时的时间类型处理
- 前端面试题及答案整理(二)
- 浅析Lua编程中的异常处理
- win2003 服务器安全设置教程(权限与本地策略)
- 详谈javascript异步编程