Python中文编码那些事
首先,要明白encode()和decode()的区别
encode()的作用是将Unicode编码的字符串转换为其他编码格式。
例如: st1.encode("utf-8") 这句话的作用是将Unicode编码的st1编码为utf-8编码的字符串
decode()的作用是把其他编码格式的字符串转换成Unicode编码的字符串。
例如: st2.decode("utf-8") 这句话的作用是将utf-8编码的字符串st2解码为Unicode编码的字符串
第二,除Unicode编码的字符串以外,任何一种编码的字符串要想转换为其他编码格式,必须先解码后编码
非Unicode编码--> Unicode编码-->非Unicode编码
例如,utf-8编码的字符串st想要转换为gbk编码的字符串,必须经过以下步骤:
st=st.decode("utf-8") #解码为Unicode编码
st=st.encode("gbk") #从Unicode编码编码为gbk编码
第三,我们经常使用的utf-8编码还分为有BOM的和无BOM的。
第四:关于json文件的中文编码。用Python读取Json文件时经常用到json.load()函数,该函数对json文件的格式是有要求的
1)json文件是utf-8 without BOM编码的,那么可以直接用json.load(filename)函数读取json文件的内容
2)json文件是utf-8 with BOM编码的,不能用json.load()函数读取,json.load()不能正确识别
3)json文件时其他编码的,比如gbk, 要把json文件的编码格式作为一个参数传给json.load():
eg. json.load(filename,"gbk")
第五,怎么查看并且设置自己文件的编码呢?
介绍一个个人比较喜欢的工具"Nodtepad++",随便一个软件管家里就与一键安装。
用这个工具你可以方便的查看自己的文件的当前编码,并可以轻松转换成任意其他编码格式
相关推荐
-
SQLite3中文编码 Python的实现
读取十万多条文本写入SQLite类型数据库,由于文本中存在中文字符,插入到数据库没错,取出时一直是UnicodeDecodeError,导致折腾了一天. 最后的解决方法: Python连接数据时进行如下设置: db=sqlite3.connection("...") db.text_factory=st 另为了python代码中硬编码的中文字符串不出现问题,除了在源码开始添加 # -*- coding:utf-8 -*- 设置python源码的编码为utf-8 import sys r
-
python中文编码问题小结
中文编码问题一直是Python程序设计中很头痛的问题,本文对此较为详细的进行了总结归纳.具体如下: 当字符串是:'\u4e2d\u56fd' >>>s=['\u4e2d\u56fd','\u6e05\u534e\u5927\u5b66'] >>>str=s[0].decode('unicode_escape') #.encode("EUC_KR") >>>print str 中国 当字符串是:' 东亚学团一中' >>
-
python用字典统计单词或汉字词个数示例
有如下格式的文本文件 复制代码 代码如下: /"/请/!/"/"/请/!/"/两名/剑士/各自/倒转/剑尖/,/右手/握/剑柄/,/左手/搭于/右手/手背/,/躬身行礼/./两/人/身子/尚未/站/直/,/突然/间/白光闪/动/,/跟着/铮的/一/声响/,/双剑相/交/,/两/人/各/退一步/./旁/观众/人/都/是/"/咦/"/的/一声/轻呼/./青衣/剑士/连/劈/三/剑/ 将这段话进行词频统计,结果是 词-词数 的形式,比如 请 2
-
简单解决Python文件中文编码问题
读写中文 需要读取utf-8编码的中文文件,先利用sublime text软件将它改成无DOM的编码,然后用以下代码: with codecs.open(note_path, 'r+','utf-8') as f: line=f.readline() print line 这样就可以正确地读出文件里面的中文字符了. 同样的,如果要在创建的文件中写入中文,最好也和上面差不多: with codecs.open(st,'a+','utf-8') as book_note: book_note.wri
-
python解决汉字编码问题:Unicode Decode Error
前言 最近由于项目需要,需要读取一个含有中文的txt文档,完了还要保存文件.文档之前是由base64编码,导致所有汉字读取显示乱码.项目组把base64废弃之后,先后出现两个错误: ascii codec can't encode characters in position ordinal not in range 128 UnicodeDecodeError: 'utf8' codec can't decode byte 0x. 如果对于ascii.unicode和utf-8还不了解的小伙伴
-
Python2.x版本中基本的中文编码问题解决
Python 输出 "Hello, World!",英文没有问题,但是如果你输出中文字符"你好,世界"就有可能会碰到中文编码问题. Python 文件中如果未指定编码,在执行过程会出现报错: #!/usr/bin/python print "你好,世界"; 以上程序执行输出结果为: File "test.py", line 2 SyntaxError: Non-ASCII character '\xe4' in file te
-
python实现中文转换url编码的方法
本文实例讲述了python实现中文转换url编码的方法.分享给大家供大家参考,具体如下: 今天要处理百度贴吧的东西.想要做一个关键词的list,每次需要时,直接添加 到list里面就可以了.但是添加到list里面是中文的情况(比如'丽江'),url的地址编码却是'%E4%B8%BD%E6%B1%9F',因此需 要做一个转换.这里我们就用到了模块urllib. >>> import urllib >>> data = '丽江' >>> print dat
-
python处理中文编码和判断编码示例
下面所说的都是针对python2.7 复制代码 代码如下: #coding:utf-8#chardet 需要下载安装 import chardet#抓取网页htmlline = "http://www.***.com"html_1 = urllib2.urlopen(line,timeout=120).read()#print html_1encoding_dict = chardet.detect(html_1)#print encodingweb_encoding = encodi
-
python实现统计汉字/英文单词数的正则表达式
思路 •使用正则式 "(?x) (?: [\w-]+ | [\x80-\xff]{3} )"获得utf-8文档中的英文单词和汉字的列表. •使用dictionary来记录每个单词/汉字出现的频率,如果出现过则+1,如果没出现则置1. •将dictionary按照value排序,输出. 源码 复制代码 代码如下: #!/usr/bin/python # -*- coding: utf-8 -*- # #author: rex #blog: http://iregex.org #filen
-
在Python中关于中文编码问题的处理建议
字符串是Python中最常用的数据类型,而且很多时候你会用到一些不属于标准ASCII字符集的字符,这时候代码就很可能抛出UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 10: ordinal not in range(128)异常.这种异常在Python中很容易遇到,尤其是在Python2.x中,是一个很让初学者费解头疼的问题.不过,如果你理解了Python的Unicode,并在编码中遵循一定的原则,这种编
随机推荐
- thinkPHP5 ACL用户权限模块用法详解
- 替代window.event.srcElement效果的可兼容性的函数
- javascript加号"+"的二义性说明
- 解析php入库和出库
- 简单实现Android倒计时效果
- javascript延时加载之defer测试
- JSP中内建exception对象时出现500错误的解决方法
- 程序员们,做好你手里的俩份试卷
- jQuery.extend()的实现方式详解及实例
- Nginx+Lua+Redis构建高并发Web应用
- php实现快速排序的三种方法分享
- JavaScript版本迷局介绍
- ipfilter+ipnat包过滤、转发和DHCP服务器架构笔记
- php用户注册时常用的检验函数实例总结
- C语言动态数组的使用实现代码
- Android忽略文件实例代码
- 详解vue服务端渲染浏览器端缓存(keep-alive)
- 解决使用bootstrap的dropdown部件时报错:error:Bootstrap dropdown require Popper.js问题
- java定时任务框架elasticjob详解
- Python 3.8 新功能全解