总结几个非常实用的Python库

2024-10-02 12:28:22

自带库

一、datetime

datetime是Python处理日期和时间的标准库。

1、获取当前日期和时间

>>> from datetime import datetime

>>> now = datetime.now()

>>> print(now)

2021-06-14 09:33:10.460192

>>> print(type(now))

<class 'datetime.datetime'>

2、获取指定日期和时间

>>> from datetime import datetime

>>> dt = datetime(2021,6,10,12,0)

>>> print(dt)

2021-06-10 12:00:00

3、datetime转换为timestamp

在计算机中，时间实际上是用数字表示的。我们把1970年1月1日 00:00:00 UTC+00:00时区的时刻称为epoch time，记为0（1970年以前的时间timestamp为负数），当前时间就是相对于epoch time的秒数，称为timestamp（时间戳）。

>>> from datetime import datetime

>>> now = datetime.now()

>>> now

datetime.datetime(2021, 6, 14, 9, 38, 34, 969006)

>>> now.timestamp()	#把datetime转换为timestamp

1623634714.969006

4、timestamp转换为datetime

>>> from datetime import datetime

>>> timestamp = 1623634714.969006

>>> print(datetime.fromtimestamp(timestamp))

2021-06-14 09:38:34.969006

5、str转换为datetime

>>> from datetime import datetime

>>> day = datetime.strptime('2021-6-10 12:12:12','%Y-%m-%d %H:%M:%S')

>>> print(day)

2021-06-10 12:12:12

6、datetime转换为str

>>> from datetime import datetime

>>> now = datetime.now()

>>> print(now)

2021-06-14 09:49:02.281820

>>> print(type(now))

<class 'datetime.datetime'>

>>> str_day = now.strftime('%Y-%m-%d %H:%M:%S')

>>> print(str_day)

2021-06-14 09:49:02

>>> print(type(str_day))

<class 'str'>

二、collections

collections是Python内建的一个集合模块，提供了许多有用的集合类，其中统计功能非常实用。

Counter

Counter是一个简单的计数器，例如，统计字符出现的个数

>>> from collections import Counter

>>> c = Counter()

>>> str = 'jdkjefwnewnfjqbefbqbefqbferbb28934`83278784727'

>>> c.update(str)

>>> c

Counter({'b': 6, 'e': 5, 'f': 5, '8': 4, '7': 4, 'j': 3, 'q': 3, '2': 3, 'w': 2, 'n': 2, '3': 2, '4': 2, 'd': 1, 'k': 1, 'r': 1, '9': 1, '`': 1})

三、base64

Base64是一种用64个字符来表示任意二进制数据的方法。

用记事本打开exe、jpg、pdf这些文件时，我们都会看到一大堆乱码，因为二进制文件包含很多无法显示和打印的字符，所以，如果要让记事本这样的文本处理软件能处理二进制数据，就需要一个二进制到字符串的转换方法。Base64是一种最常见的二进制编码方法。

>>> import base64
>>> base64.b64encode(b'binary\x00string')
b'YmluYXJ5AHN0cmluZw=='
>>> base64.b64decode(b'YmluYXJ5AHN0cmluZw==')
b'binary\x00string'

四、hashlib

Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。

什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。

我们以常见的摘要算法MD5为例，计算出一个字符串的MD5值：

>>> import hashlib

>>> md5 = hashlib.md5()

>>> md5.update("程序员唐丁".encode('utf-8'))

>>> print(md5.hexdigest())

05eb21a61d2cf0cf84e474d859c4c055

摘要算法能应用到什么地方？举个常用例子：

任何允许用户登录的网站都会存储用户登录的用户名和口令。如何存储用户名和口令呢？方法是存到数据库表中。如果以明文保存用户口令，如果数据库泄露，所有用户的口令就落入黑客的手里。此外，网站运维人员是可以访问数据库的，也就是能获取到所有用户的口令。正确的保存口令的方式是不存储用户的明文口令，而是存储用户口令的摘要，比如MD5，当用户登录时，首先计算用户输入的明文口令的MD5，然后和数据库存储的MD5对比，如果一致，说明口令输入正确，如果不一致，口令肯定错误。

第三方库

一、requests

requests是一个Python第三方库，处理URL资源特别方便。在之前的”爬虫简介“文章中我们已经初步认识了它。

1、安装requests

如果安装了Anaconda，requests就已经可用了。否则，需要在命令行下通过pip安装：

$ pip install requests

如果遇到Permission denied安装失败，请加上sudo重试。

2、通过GET访问豆瓣首页，只需要几行代码：

>>> import requests
>>> r = requests.get('https://www.douban.com/') # 豆瓣首页
>>> r.status_code
200
>>> r.text
r.text
'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供图书、电影、音乐唱片的推荐、评论和...'

3、对于带参数的URL，传入一个dict作为params参数：

>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})
>>> r.url # 实际请求的URL
'https://www.douban.com/search?q=python&cat=1001'

4、requests自动检测编码，可以使用encoding属性查看：

>>> r.encoding
'utf-8'

5、无论响应是文本还是二进制内容，我们都可以用content属性获得bytes对象：

>>> r.content
b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...'

6、requests的方便之处还在于，对于特定类型的响应，例如JSON，可以直接获取：

>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
>>> r.json()
{'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ...

7、需要传入HTTP Header时，我们传入一个dict作为headers参数：

>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
>>> r.text
'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手机版)</title>...'

8、要发送POST请求，只需要把get()方法变成post()，然后传入data参数作为POST请求的数据：

>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': 'abc@example.com', 'form_password': '123456'})

9、requests默认使用application/x-www-form-urlencoded对POST数据编码。如果要传递JSON数据，可以直接传入json参数：

params = {'key': 'value'}
r = requests.post(url, json=params) # 内部自动序列化为JSON

10、类似的，上传文件需要更复杂的编码格式，但是requests把它简化成files参数：

>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=upload_files)

在读取文件时，注意务必使用'rb'即二进制模式读取，这样获取的bytes长度才是文件的长度。

把post()方法替换为put()，delete()等，就可以以PUT或DELETE方式请求资源。

11、除了能轻松获取响应内容外，requests对获取HTTP响应的其他信息也非常简单。例如，获取响应头：

>>> r.headers
{Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...}
>>> r.headers['Content-Type']
'text/html; charset=utf-8'

12、requests对Cookie做了特殊处理，使得我们不必解析Cookie就可以轻松获取指定的Cookie：

>>> r.cookies['ts']
'example_cookie_12345'

13、要在请求中传入Cookie，只需准备一个dict传入cookies参数：

>>> cs = {'token': '12345', 'status': 'working'}
>>> r = requests.get(url, cookies=cs)

14、最后，要指定超时，传入以秒为单位的timeout参数：

>>> r = requests.get(url, timeout=2.5) # 2.5秒后超时

二、chardet

字符串编码一直是令人非常头疼的问题，尤其是我们在处理一些不规范的第三方网页的时候。虽然Python提供了Unicode表示的str和bytes两种数据类型，并且可以通过encode()和decode()方法转换，但是，在不知道编码的情况下，对bytes做decode()不好做。

对于未知编码的bytes，要把它转换成str，需要先“猜测”编码。猜测的方式是先收集各种编码的特征字符，根据特征字符判断，就能有很大概率“猜对”。

当然，我们肯定不能从头自己写这个检测编码的功能，这样做费时费力。chardet这个第三方库正好就派上了用场。用它来检测编码，简单易用。

1、安装chardet

如果安装了Anaconda，chardet就已经可用了。否则，需要在命令行下通过pip安装：

$ pip install chardet

如果遇到Permission denied安装失败，请加上sudo重试。

2、当我们拿到一个bytes时，就可以对其检测编码。用chardet检测编码，只需要一行代码：

>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}

三、psutil

用Python来编写脚本简化日常的运维工作是Python的一个重要用途。在Linux下，有许多系统命令可以让我们时刻监控系统运行的状态，如ps，top，free等等。要获取这些系统信息，Python可以通过subprocess模块调用并获取结果。但这样做显得很麻烦，尤其是要写很多解析代码。

在Python中获取系统信息的另一个好办法是使用psutil这个第三方模块，它不仅可以通过一两行代码实现系统监控，还可以跨平台使用，支持Linux／UNIX／OSX／Windows等，是系统管理员和运维小伙伴不可或缺的必备模块。

1、安装psutil

如果安装了Anaconda，psutil就已经可用了。否则，需要在命令行下通过pip安装：

$ pip install psutil

如果遇到Permission denied安装失败，请加上sudo重试。

2、获取CPU信息

我们先来获取CPU的信息：

>>> import psutil
>>> psutil.cpu_count() # CPU逻辑数量
4
>>> psutil.cpu_count(logical=False) # CPU物理核心
2
# 2说明是双核超线程, 4则是4核非超线程

3、统计CPU的用户／系统／空闲时间：

>>> psutil.cpu_times()
scputimes(user=10963.31, nice=0.0, system=5138.67, idle=356102.45)

4、获取内存信息

使用psutil获取物理内存和交换内存信息，分别使用：

>>> psutil.virtual_memory()
svmem(total=8589934592, available=2866520064, percent=66.6, used=7201386496, free=216178688, active=3342192640, inactive=2650341376, wired=1208852480)
>>> psutil.swap_memory()
sswap(total=1073741824, used=150732800, free=923009024, percent=14.0, sin=10705981440, sout=40353792)

返回的是字节为单位的整数，可以看到，总内存大小是8589934592 = 8 GB，已用7201386496 = 6.7 GB，使用了66.6%。

而交换区大小是1073741824 = 1 GB。

5、获取磁盘信息

可以通过psutil获取磁盘分区、磁盘使用率和磁盘IO信息：

>>> psutil.disk_partitions() # 磁盘分区信息
[sdiskpart(device='/dev/disk1', mountpoint='/', fstype='hfs', opts='rw,local,rootfs,dovolfs,journaled,multilabel')]
>>> psutil.disk_usage('/') # 磁盘使用情况
sdiskusage(total=998982549504, used=390880133120, free=607840272384, percent=39.1)
>>> psutil.disk_io_counters() # 磁盘IO
sdiskio(read_count=988513, write_count=274457, read_bytes=14856830464, write_bytes=17509420032, read_time=2228966, write_time=1618405)

好了，就先介绍这么多吧，更多实用的Python库后面唐丁再给大家一一介绍

到此这篇关于总结几个非常实用的Python库的文章就介绍到这了,更多相关Python库内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

超级好用的4个Python命令行可视化库

Python命令行可视化库 ① 使用Bashplotlib在命令行中绘图如果你想在命令行窗口中绘制数据的情况,那么Bashplotlib是非常适合的. 首先安装Bashplotlib这个库. pip install bashplotlib -i https://mirror.baidu.com/pypi/simple/ 下面我们可以使用Bashplotlib来绘制一组正态分布的数据图表. 使用NumPy来生成一个正态分布数字列表. 如果还没有NumPy,同样可以使用pip安装. pip ins
教你用Python matplotlib库制作简单的动画

matplotlib制作简单的动画动画即是在一段时间内快速连续的重新绘制图像的过程. matplotlib提供了方法用于处理简单动画的绘制: import matplotlib.animation as ma def update(number): pass # 每隔30毫秒,执行一次update ma.FuncAnimation( mp.gcf(), # 作用域当前窗体 update, # 更新函数的函数名 interval=30 # 每隔30毫秒,执行一次update ) 案例1: 随机生
Python中jieba库的使用方法

目录一.jieba库的安装二.jieba三种模式的使用三.jieba 分词简单应用四.扩展:英文单词统计 jieba库是一款优秀的 Python 第三方中文分词库,jieba 支持三种分词模式:精确模式.全模式和搜索引擎模式,下面是三种模式的特点. 精确模式:试图将语句最精确的切分,不存在冗余数据,适合做文本分析全模式:将语句中所有可能是词的词语都切分出来,速度很快,但是存在冗余数据搜索引擎模式:在精确模式的基础上,对长词再次进行切分一.jieba库的安装因为 jieba 是一个
Python下opencv库的安装过程及问题汇总

本文主要内容是python下opencv库的安装过程,涉及我在安装时遇到的问题,并且,将从网上搜集并试用的一些解决方案进行了简单的汇总,记录下来. 由于记录的是我第一次安装opencv库的过程,所以内容涵盖可能不全面,如果有出错的地方请务必指正.下面进入主题. 关于python的下载安装不再赘述,python的版本号是我们在opencv库的安装过程中需要用到的,cmd运行python可以进行查看. 通常,我们使用pip命令来安装扩展库. 打开cmd运行 pip install opencv-py
Python中glob库实现文件名的匹配

目录前言通配符星号(*) 问号(?) 区间匹配([0-9][a-z][A-Z]) 转义元字符前言既然在Pathlib库中提到了glob()函数,那么我们就专门用一篇内容讲解文件名的匹配.其实我们有专门的一个文件名匹配库就叫:glob. 不过,glob库的API非常小,但是仅仅应用于文件名的匹配绰绰有余.只要是在实际的项目中需要过滤,或者匹配一组文件,都可以使用该库进行操作. 通配符星号(*) 话不多说,下面我们使用通配符来匹配文件名,示例如下: import glob for nam
学会Python数据可视化必须尝试这7个库

目录一.Seaborn 二.Plotly 三.Geoplotlib 四.Gleam 五.ggplot 六.Bokeh 七.Missingo 一.Seaborn Seaborn 建于 matplotlib 库的之上.它有许多内置函数,使用这些函数,只需简单的代码行就可以创建漂亮的绘图.它提供了多种高级的可视化绘图和简单的语法,如方框图.小提琴图.距离图.关节图.成对图.热图等. 安装 ip install seaborn 主要特征: 可用于确定两个变量之间的关系. 在分析单变量或双变量分布时进行
浅谈Python响应式类库RxPy

一.基本概念 Reactive X中有几个核心的概念,先来简单介绍一下. 1.1.Observable和Observer(可观察对象和观察者) 首先是Observable和Observer,它们分别是可观察对象和观察者.Observable可以理解为一个异步的数据源,会发送一系列的值.Observer则类似于消费者,需要先订阅Observable,然后才可以接收到其发射的值.可以说这组概念是设计模式中的观察者模式和生产者-消费者模式的综合体. 1.2.Operator(操作符) 另外一个非常重要
总结几个非常实用的Python库

自带库一.datetime datetime是Python处理日期和时间的标准库. 1.获取当前日期和时间 >>> from datetime import datetime >>> now = datetime.now() >>> print(now) 2021-06-14 09:33:10.460192 >>> print(type(now)) <class 'datetime.datetime'> 2.获取指定日期
Python库 Bokeh 数据可视化实用指南

目录什么是 Bokeh 在哪使用 Bokeh 图安装Bokeh库导入Bokeh库绘制图表的语法使用Bokeh库主题图表样式 Python 中的 Bokeh用例数据数据说明饼形图圆环图散点图简单直方图堆积直方图不同类型的条形图简单条形图堆积条形图堆积垂直条形图双向条形图折线图棒棒糖图表面积图 Bokeh库的布局功能技术交流什么是 Bokeh Bokeh 是 Python 中的交互式可视化库.Bokeh提供的最佳功能是针对现代 Web 浏览器进行演示的高
推荐11个实用Python库

1) delorean 非常酷的日期/时间库复制代码代码如下: from delorean import Delorean EST = "US/Eastern" d = Delorean(timezone=EST) 2) prettytable 可以在浏览器或终端构建很不错的输出复制代码代码如下: from prettytable import PrettyTable table = PrettyTable(["animal", "ferocity
七个非常实用的Python工具包总结

目录一.Faker 二.Pywebio 三.Airflow 四.Loguru 五.Pydash 六.Weights & Biases 七.PyCaret Summary 一.Faker 生产环境通常具有实时数据.把它放到测试环境中并不容易.我们必须对从生产到测试环境的数据进行标记化,这通常会将数据转换为乱码. 此外,在欺诈行业,我们需要找出欺诈身份.为了生成假PII(个人可识别信息),我使用了一个名为Faker的包,这是一个很酷的软件包,可以让你创建一个带有地址.名字等的假PII. 以上是一些
6个实用的Python自动化脚本详解

目录 1.将 PDF 转换为音频文件 2.从列表中播放随机音乐 3.不再有书签了 4.智能天气信息 5.长网址变短网址 6.清理下载文件夹每天你都可能会执行许多重复的任务,例如阅读 pdf.播放音乐.查看天气.打开书签.清理文件夹等等,使用自动化脚本,就无需手动一次又一次地完成这些任务,非常方便.而在某种程度上,Python 就是自动化的代名词.今天分享 6 个非常有用的 Python 自动化脚本. 1.将 PDF 转换为音频文件脚本可以将 pdf 转换为音频文件,原理也很简单,首先用 Py
8个实用的Python程序你知道几个

目录 1. 引言 2. 处理句子中的脏话 3.调换字符次序创建新单词 4.创建1000个目录 5.打乱段落中单词字符次序 6. 控制台上绘制图形 7. 使用Python打开记事本 8. 获取电脑的IP地址 9. 使用Python实现关机 10. 总结 1. 引言本文所提到的所有代码都曾经帮助我激发了解决问题的一些思考.不言而喻,如果您想学习编码和提升解决问题的能力,我们可以尝试自己来解决以下问题. 闲话少说,我们直接开始吧. :) 2. 处理句子中的脏话编写一个Python程序,用以实现从句
分享3个非常实用的 Python 模块

目录一.Psutil 二.Pendulum 三.Pyfiglet 一.Psutil Python当中的Psutil模块是个跨平台库,它能够轻松获取系统运行的进程和系统利用率,包括CPU.内存.磁盘.网络等信息,它的安装也非常的简单, 命令行: pip install psutil 这里因为整体的篇幅有限,小编就暂时只罗列几个常用的方法,例如我们想要查看一下CPU的利用率 psutil.cpu_percent() 返回的结果表示的是当前系统范围的CPU利用率百分比,如果我们要查看系统中CPU的个
11个并不被常用但对开发非常有帮助的Python库

近来,越来越多的数据科学家开始使用Python,我不由得想到,尽管他们从pandas.scikit-learn和numpy这些库中得到了不少好处,但是他们也许错过了一些也许较老但同样有帮助的Python库. 在这篇博文里,我将给大家推荐一些鲜为人知的库.即便你是Python高手,也应该看一看,其中的一到两个库可能是你从没见过的. 1)Delores Dolorean是一个很酷的日期/时间库.除了名字好听之外,也是一个我曾用过的最舒心的日期/时间修改库.它有点像javascript的moment库
各种Python库安装包下载地址与安装过程详细介绍(Windows版)

在用Python开发时(Windows环境),会碰到需要安装某个版本的第三方库,为了以后查找.安装方便,总结如下: windows版的各种Python库安装包下载地址: http://www.lfd.uci.edu/~gohlke/pythonlibs/ 一.打开cmd 二.将cmd当前目录切换到Downloads,命令为cd Downloads 三.在文章开头链接地址下载所需第三方库,以SciPy为例:0.18.1是库版本号:cp27.cp35分别对应Python2.7.Python3.5:w
pip安装Python库时遇到的问题及解决方法

笔者电脑系统是win7,同时安装了Python2.7和Python3.6,但是在通过命令行直接使用"pip install XXX"安装Python库时出现了以下的错误信息: Fatal error in launcher: Unable to create process using '"' 解决方法: 1,找到你的Python版本对应的解释器的名称首先你需要进入安装Python相应版本所在的文件夹.以我的Python版本为例,这是我的Python2.7版本对应的解释器名

总结几个非常实用的Python库

自带库

第三方库

相关推荐

随机推荐