使用python的chardet库获得文件编码并修改编码

首先需要安装chardet库，有很多方式，我才用的是比较笨的方式：sudo pip install chardet

代码如下:

#!/usr/bin/env python
# coding: UTF-8
import sys
import os
import chardet

def print_usage():
　　print '''usage:
　　change_charset [file|directory] [charset] [output file]\n
　　for example:
　　  change 1.txt utf-8 n1.txt
　　  change 1.txt utf-8
　　  change . utf-8
　　  change 1.txt
'''
def get_charset(s):
　　return chardet.detect(s)['encoding']

def remove(file_name):
　　os.remove(file_name)

def change_file_charset(file_name, output_file_name, charset):
　　f = open(file_name)
　　s = f.read()
　　f.close()

　　if file_name == output_file_name or output_file_name == "":
　　　　remove(file_name)

　　old_charset = get_charset(s)
　　u = s.decode(old_charset)

　　if output_file_name == "":
　　　　output_file_name = file_name
　　f = open(output_file_name, 'w')
　　s = u.encode(charset)
　　f.write(s)
　　f.close()

def do(file_name, output_file_name, charset):
　　if os.path.isdir(file_name):
　　　　for item in os.listdir(file_name):
　　　　　　try:
　　　　　　　　if os.path.isdir(file_name+"/"+item):
　　　　　　　　　　do(file_name+"/"+item, "", charset)
　　　　　　　　else:
　　　　　　　　　　change_file_charset(file_name+"/"+item, "", charset)
　　　　　　except OSError, e:
　　　　　　　　print e
　　else:
　　　　change_file_charset(file_name, output_file_name, charset)

if __name__ == '__main__':
　　length = len(sys.argv)

　　if length == 1:
　　　　print_usage()
　　elif length == 2:
　　　　do(sys.argv[1], "", "utf-8")
　　elif length == 3:
　　　　do(sys.argv[1], "", sys.argv[2])
　　elif length == 4:
　　　　do(sys.argv[1], sys.argv[3], sys.argv[2])
　　else:
　　　　print_usage()

赞 (0)

相关推荐

  • Python中动态检测编码chardet的使用教程

    前言 在互联网的世界里,每个页面都使用了编码,但是形形色色的编码让我们的代码何以得知其棉麻格式呢?charset将很好的解决这个问题. 1. chardet chardet是Python社区提供了一个类库包,方便我们在代码中动态检测当前页面或者文件中的编码格式信息.接口非常的简单和易用. Project主页: https://github.com/chardet/chardet 本地下载地址:http://xiazai.jb51.net/201707/yuanma/chardet(jb51.ne

  • Python简单检测文本类型的2种方法【基于文件头及cchardet库】

    本文实例讲述了Python简单检测文本类型的方法.分享给大家供大家参考,具体如下: 1.根据文件头. #是否为带BOM头的UTF8文件 def IsUtf8BomFile(pathfile): if b'\xef\xbb\xbf' == open(pathfile, mode='rb').read(3)): return True return False 2.用cchardet库. >>> import cchardet >>> cchardet.detect(ope

  • python判断字符串编码的简单实现方法(使用chardet)

    本文实例讲述了python判断字符串编码的方法.分享给大家供大家参考,具体如下: 安装chardet模块 chardet文件夹放在/usr/lib/python2.4/site-packages目录下 [root@sha-sso-data01 chardet]# python Python 2.4.3 (#1, Sep 21 2011, 19:55:41) [GCC 4.1.2 20080704 (Red Hat 4.1.2-51)] on linux2 Type "help", &q

  • python使用chardet判断字符串编码的方法

    本文实例讲述了python使用chardet判断字符串编码的方法.分享给大家供大家参考.具体分析如下: 最近利用python抓取一些网上的数据,遇到了编码的问题.非常头痛,总结一下用到的解决方案. linux中vim下查看文件编码的命令 set fileencoding python中一个强力的编码检测包 chardet ,使用方法非常简单.linux下利用pip install chardet实现简单安装 import chardet f = open('file','r') fencodin

  • python字符串编码识别模块chardet简单应用

    python的字符串编码识别模块(第三方库): 官方地址: http://pypi.python.org/pypi/chardet import chardet import urllib # 可根据需要,选择不同的数据 TestData = urllib.urlopen('http://www.baidu.com/').read() print chardet.detect(TestData) # 运行结果: # {'confidence': 0.99, 'encoding': 'GB2312

  • Python使用chardet判断字符编码

    本文实例讲述了Python使用chardet判断字符编码的方法.分享给大家供大家参考.具体分析如下: Python中chardet 用来实现字符串/文件编码检测模板 1.chardet下载与安装 下载地址:http://pypi.python.org/pypi/chardet 下载chardet后,解压chardet压缩包,直接将chardet文件夹放在应用程序目录下,就可以使用import chardet开始使用chardet了,也可以将chardet拷贝到Python系统目录下,这样你所有的

  • 使用python的chardet库获得文件编码并修改编码

    首先需要安装chardet库,有很多方式,我才用的是比较笨的方式:sudo pip install chardet 复制代码 代码如下: #!/usr/bin/env python# coding: UTF-8import sysimport osimport chardet def print_usage(): print '''usage: change_charset [file|directory] [charset] [output file]\n for example:   cha

  • python 基于selectors库实现文件上传与下载

    server.py import selectors import socket import os import time BASE_DIR =os.path.abspath(os.path.dirname(__file__)) class selectFtpserver: def __init__(self): self.dic = {} # 创建空字典 self.hasReceived = 0 self.hasSend=0 self.sel = selectors.DefaultSelec

  • Python chardet库识别编码原理解析

    这篇文章主要介绍了python chardet库识别编码原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 chardet库是python的字符编码检测器,能够检测出各种编码的类型,例如: import chardet import urllib.request testdata = urllib.request.urlopen('http://m2.cn.bing.com/').read() print(chardet.detect(te

  • Python爬虫之必备chardet库

    Python爬虫之必备chardet库

    一.chardet库的安装与介绍 玩儿过爬虫的朋友应该知道,在爬取不同的网页时,返回结果会出现乱码的情况.比如,在爬取某个中文网页的时候,有的页面使用GBK/GB2312,有的使用UTF8,如果你需要去爬一些页面,知道网页编码很重要的. 虽然HTML页面有charset标签,但是有些时候是不对的,那么chardet就能帮我们大忙了.使用 chardet 可以很方便的实现字符串/文件的编码检测. 如果你安装过Anaconda,那么可以直接使用chardet库.如果你只是安装了Python的话,就需

  • python基于paramiko库远程执行 SSH 命令,实现 sftp 下载文件

    楔子 我们使用 Python 避免不了和 Linux 打交道,而有时我们需要执行一些 shell 命令.如果在本地的话,那么可以通过调用 os.system 或者 subprocess.Popen 来执行,但如果我们希望远程执行其它机器上的 shell 命令,这个时候该怎么做呢?下面我们就来推荐一个第三方库 paramiko,看看如何使用 Python 远程操作其它机器. paramiko 网络传输是遵循协议的,比如 SSH,paramiko 则是实现了 SSHv2 协议的一个 Python 第

  • python将图片文件转换成base64编码的方法

    本文实例讲述了python将图片文件转换成base64编码的方法.分享给大家供大家参考.具体实现方法如下: import base64 f=open(r'c:\jb51.gif','rb') #二进制方式打开图文件 ls_f=base64.b64encode(f.read()) #读取文件内容,转换为base64编码 f.close() 调用方法如下: 复制代码 代码如下: <img src="R0lGODlh1wBOAPcAAAAAAP///7a4u+jq7bG1ucrN0N7g4tLU

  • python使用win32com库播放mp3文件的方法

    本文实例讲述了python使用win32com库播放mp3文件的方法.分享给大家供大家参考.具体实现方法如下: # Python supports COM, if you have the Win32 extensions # check your Python folder eg. D:\Python23\Lib\site-packages\win32com # also http://starship.python.net/crew/mhammond/win32/Downloads.html

  • 解决Python中pandas读取*.csv文件出现编码问题

    1.问题 在使用Python中pandas读取csv文件时,由于文件编码格式出现以下问题: Traceback (most recent call last): File "pandas\_libs\parsers.pyx", line 1134, in pandas._libs.parsers.TextReader._convert_tokens File "pandas\_libs\parsers.pyx", line 1240, in pandas._libs

随机推荐