Python爬虫库urllib的使用教程详解

目录
  • Python urllib库
  • urllib.request模块
    • urlopen函数
    • Request 类
  • urllib.error模块
    • URLError 示例
    • HTTPError示例
    • URLError和HTTPError混合使用
  • urllib.parse模块
    • urlparse()
    • urlunparse()
    • urlsplit()
    • urljoin()
    • URL 转码
    • 编码quote(string)
    • 编码urlencode()
    • 解码 unquote(string)
  • urllib.robotparser模块

Python urllib库

Python urllib库用于操作网页URL，并对网页的内容进行抓取处理。

urllib包 包含以下几个模块：

  • urllib.request - 打开和读取URL。
  • urllib.error - 包含urllib.request抛出的异常。
  • urllib.parse - 解析URL。
  • urllib.robotparser - 解析robots.txt文件。

需要用的就是每个模块的内置方法和函数。大概方法如下图：

urllib.request模块

urllib.request定义了一些打开URL的函数和类，包含授权验证、重定向、浏览器cookies等。

urllib.request可以模拟浏览器的一个请求发起过程。

这里主要介绍两个常用方法，urlopen和Request。

urlopen函数

语法格式如下：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
  • url：url地址。
  • data：发送到服务器的其他数据对象，默认为None。
  • timeout：设置访问超时时间。
  • cafile 和 capath：cafile为CA证书，capath为CA证书的路径，使用HTTPS需要用到。
  • cadefault：已经被弃用。
  • context：ssl.SSLContext类型，用来指定SSL设置。

示例：

import urllib.request
#导入urllib.request模块
url=urllib.request.urlopen("https://www.baidu.com")
#打开读取baidu信息
print(url.read().decode('utf-8'))
#read获取所有信息，并decode()命令将网页的信息进行解码

运行结果

<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="
html{color:#000;overflow-y:scroll;overflow:-moz-scrollbars}
body,button,input,select,textarea{font-size:12px;font-family:Arial,sans-serif}  
h1,h2,h3,h4,h5,h6{font-size:100%}                  
em{font-style:normal}
small{font-size:12px}
ol,ul{list-style:none}
a{text-decoration:none}
a:hover{text-decoration:underline}
legend{color:#000}
fieldset,img{border:0}
button,input,select,textarea{font-size:100%} 
...

response对象是http.client.HTTPResponse类型，主要包含read、readinto、getheader、getheaders、fileno等方法，以及msg、version、status、reason、debuglevel、closed等属性。

常用方法：

  • read()：是读取整个网页内容，也可以指定读取的长度，如read(300)。获取到的是二进制的乱码，所以需要用到decode()命令将网页的信息进行解码。
  • readline(): 读取文件的一行内容。
  • readlines(): 读取文件的全部内容，它会把读取的内容赋值给一个列表变量。
  • info()：返回HTTPMessage对象，表示远程服务器返回的头信息。
  • getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到。
  • geturl()：返回请求的链接。

Request 类

我们抓取网页一般需要对headers（网页头信息）进行模拟，否则网页很容易判定程序为爬虫，从而禁止访问。这时候需要使用到urllib.request.Request类：

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
  • url：url地址。
  • data：发送到服务器的其他数据对象，默认为None。
  • headers：HTTP请求的头部信息，字典格式。
  • origin_req_host：请求的主机地址，IP或域名。
  • unverifiable：很少用整个参数，用于设置网页是否需要验证，默认是False。
  • method：请求方法， 如 GET、POST、DELETE、PUT等。

示例：

import urllib.request
#导入模块
url = "https://www.baidu.com"
#网页连接
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}
#定义headers，模拟浏览器访问
req = urllib.request.Request(url=url,headers=headers)
#模拟浏览器发送，访问网页
response = urllib.request.urlopen(req)
#获取页面信息
print(response.read().decode("utf-8"))

urllib.error模块

urllib.error模块为urllib.request所引发的异常定义了异常类，基础异常类是URLError。

urllib.error包含了两个方法，URLError和HTTPError。

URLError是OSError的一个子类，用于处理程序在遇到问题时会引发此异常（或其派生的异常），包含的属性reason为引发异常的原因。

HTTPError是URLError的一个子类，用于处理特殊HTTP错误例如作为认证请求的时候，包含的属性code为HTTP的状态码，reason为引发异常的原因，headers为导致HTTPError的特定HTTP请求的HTTP响应头。

区别：

  • URLError封装的错误信息一般是由网络引起的，包括url错误。
  • HTTPError封装的错误信息一般是服务器返回了错误状态码。

关系：

URLError是OSERROR的子类，HTTPError是URLError的子类。

URLError 示例

from urllib import request
from urllib import error

if __name__ == "__main__":
    #一个不存在的连接
    url = "http://www.baiiiduuuu.com/"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
        html = response.read().decode('utf-8')
        print(html)
    except error.URLError as e:
        print(e.reason)

返回结果

[Errno -2] Name or service not known

此错误的原因。它可以是一个消息字符串或另一个异常实例。

HTTPError示例

from urllib import request
from urllib import error

if __name__ == "__main__":
    #网站服务器上不存在资源
    url = "http://www.baidu.com/no.html"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
        html = response.read().decode('utf-8')
        print(html)
    except error.HTTPError as e:
        print(e.code)

output

404

URLError和HTTPError混合使用

注意：由于HTTPError是URLError的子类，所以捕获的时候HTTPError要放在URLError的上面。

示例：

from urllib import request
from urllib import error

if __name__ == "__main__":
    #网站服务器上不存在资源
    url = "http://www.baidu.com/no.html"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
 #       html = response.read().decode('utf-8')
    except error.HTTPError as e:
        print(e.code)
    except error.URLError as e:
        print(e.code)

如果不用上面的方法，可以直接用判断的形式

from urllib import request
from urllib import error

if __name__ == "__main__":
    #网站服务器上不存在资源
    url = "http://www.baidu.com/no.html"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
 #       html = response.read().decode('utf-8')
    except error.URLError as e:
        if hasattr(e, 'code'):
            print("HTTPError")
            print(e.code)
        elif hasattr(e, 'reason'):
            print("URLError")
            print(e.reason)

output

HTTPError
404

urllib.parse模块

模块定义的函数可分为两个主要门类:URL解析和URL转码。

urlparse()

urllib.parse用于解析URL，格式如下：

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

urlstring为字符串的url地址，scheme为协议类型。

allow_fragments参数为false，则无法识别片段标识符。相反，它们被解析为路径，参数或查询组件的一部分，并fragment在返回值中设置为空字符串。

标准链接格式为：

scheme://netloc/path;params?query#fragment

对象中包含了六个元素，分别为：协议（scheme）、域名（netloc）、路径（path）、路径参数（params）、查询参数（query）、片段（fragment）。

示例：

from urllib.parse import urlparse

o = urlparse("https://docs.python.org/zh-cn/3/library/urllib.parse.html#module-urllib.parse")

print('scheme  :', o.scheme)
print('netloc  :', o.netloc)
print('path    :', o.path)
print('params  :', o.params)
print('query   :', o.query)
print('fragment:', o.fragment)
print('hostname:', o.hostname)

output

scheme  : https
netloc  : docs.python.org
path    : /zh-cn/3/library/urllib.parse.html
params  :
query   :
fragment: module-urllib.parse
hostname: docs.python.org

以上还可以通过索引获取，如通过

print(o[0])
...
print(o[5])

urlunparse()

urlunparse()可以实现URL的构造。（构造URL）

urlunparse()接收一个是一个长度为6的可迭代对象，将URL的多个部分组合为一个URL。若可迭代对象长度不等于6，则抛出异常。

示例：

from urllib.parse import urlunparse
url_compos = ['http','www.baidu.com','index.html','user= test','a=6','comment']
print(urlunparse(url_compos))

output

http://www.baidu.com/index.html;user= test?a=6#comment

urlsplit()

urlsplit()函数也能对 URL进行拆分，所不同的是，urlsplit()并不会把 路径参数(params) 从 路径(path) 中分离出来。

当URL中路径部分包含多个参数时，使用urlparse()解析是有问题的，这时可以使用urlsplit()来解析.

urlunsplit()与urlunparse()类似，（构造URL），传入对象必须是可迭代对象，且长度必须是5。

示例：

from urllib.parse import urlunsplit
url_compos = ['http','www.baidu.com','index.html','user= test','a = 2']
print(urlunsplit(url_compos))urlunsplit()

output

http://www.baidu.com/index.html?user= test#a = 2

urljoin()

同样可以构造URL。

传递一个基础链接,根据基础链接可以将某一个不完整的链接拼接为一个完整链接.

注：连接两个参数的url, 将第二个参数中缺的部分用第一个参数的补齐,如果第二个有完整的路径，则以第二个为主。

URL 转码

python中提供urllib.parse模块用来编码和解码，分别是urlencode()与unquote()。

编码quote(string)

URL转码函数的功能是接收程序数据并通过对特殊字符进行转码并正确编码非ASCII文本来将其转为可以安全地用作URL组成部分的形式。它们还支持逆转此操作以便从作为URL组成部分的内容中重建原始数据，如果上述的URL解析函数还未覆盖此功能的话

语法：

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

使用%xx转义符替换string中的特殊字符。字母、数字和 '_.-~' 等字符一定不会被转码。在默认情况下，此函数只对URL的路径部分进行转码。可选的safe形参额外指定不应被转码的ASCII字符 --- 其默认值为 '/'。

string可以是str或bytes对象。

示例：

from urllib import parse

url = "http://www.baidu.com/s?wd={}"
words = "爬虫"

#quote()只能对字符串进行编码
query_string = parse.quote(words)
url = url.format(query_string)
print(url)

执行结果：

http://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB

编码urlencode()

quote()只能对字符串编码，而urlencode()可以对查询字符串进行编码。

# 导入parse模块
from urllib import parse

#调用parse模块的urlencode()进行编码
query_string = {'wd':'爬虫'}
result = parse.urlencode(query_string)

# format函数格式化字符串，进行url拼接
url = 'http://www.baidu.com/s?{}'.format(result)
print(url)

output

http://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB

解码 unquote(string)

解码就是对编码后的url进行还原。

示例：

from urllib import parse
string = '%E7%88%AC%E8%99%AB'
result = parse.unquote(string)
print(result)

执行结果：

爬虫

urllib.robotparser模块

（在网络爬虫中基本不会用到，使用较少，仅作了解）

urllib.robotparser用于解析robots.txt文件。

robots.txt（统一小写）是一种存放于网站根目录下的robots协议，它通常用于告诉搜索引擎对网站的抓取规则。

Robots协议也称作爬虫协议，机器人协议，网络爬虫排除协议，用来告诉爬虫哪些页面是可以爬取的，哪些页面是不可爬取的。它通常是一个robots.txt的文本文件，一般放在网站的根目录上。

当爬虫访问一个站点的时候，会首先检查这个站点目录是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围进行爬取。如果没有找到这个文件，搜索爬虫会访问所有可直接访问的页面。

urllib.robotparser提供了RobotFileParser类，语法如下：

class urllib.robotparser.RobotFileParser(url='')

这个类提供了一些可以读取、解析robots.txt文件的方法：

  • set_url(url) - 设置robots.txt文件的URL。
  • read() - 读取robots.txt URL并将其输入解析器。
  • parse(lines) - 解析行参数。
  • can_fetch(useragent, url) - 如果允许useragent按照被解析robots.txt文件中的规则来获取url则返回True。
  • mtime() - 返回最近一次获取robots.txt文件的时间。这适用于需要定期检查robots.txt文件更新情况的长时间运行的网页爬虫。
  • modified() - 将最近一次获取robots.txt文件的时间设置为当前时间。
  • crawl_delay(useragent) - 为指定的useragent从robots.txt 返回Crawl-delay形参。如果此形参不存在或不适用于指定的useragent 或者此形参的robots.txt条目存在语法错误，则返回None。
  • request_rate(useragent) -以 named tuple RequestRate(requests, seconds)的形式从robots.txt返回Request-rate形参的内容。如果此形参不存在或不适用于指定的useragent或者此形参的robots.txt条目存在语法错误，则返回None。
  • site_maps() - 以list()的形式从robots.txt返回Sitemap形参的内容。如果此形参不存在或者此形参的robots.txt条目存在语法错误，则返回None。

以上就是Python爬虫库urllib的使用教程详解的详细内容，更多关于Python爬虫库urllib的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • Python爬虫之urllib库详解

    Python爬虫之urllib库详解

    目录 一.说明: 二.urllib四个模块组成: 三.urllib.request 1.urlopen函数 2.response 响应类型 3.Request对象 4.高级请求方式 四.urllib.error 五.URL解析urllib.parse 六.urllib.robotparser 总结 一.说明: urllib库是python内置的一个http请求库,requests库就是基于该库开发出来的,虽然requests库使用更方便,但作为最最基本的请求库,了解一下原理和用法还是很有必要的.

  • Python爬虫之urllib基础用法教程

    综述 本系列文档用于对Python爬虫技术进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了. Python 版本是3.7.4 urllib库介绍 它是 Python 内置的HTTP请求库,也就是说我们不需要额外安装即可使用,它包含四个模块(主要对前三个模块进行学习): request : 它是最基本的 HTTP 请求模块,我们可以用它来模拟发送一请求,就像在浏览器里输入网址然后敲击回车一样,只需要给库方法传入 URL 还有额外的参数,就可以模拟实现这个过程了. e

  • python爬虫基础之urllib的使用

    一.urllib 和 urllib2的关系 在python2中,主要使用urllib和urllib2,而python3对urllib和urllib2进行了重构,拆分成了urllib.request, urllib.parse, urllib.error,urllib.robotparser等几个子模块,这样的架构从逻辑和结构上说更加合理.urllib库无需安装,python3自带.python 3.x中将urllib库和urilib2库合并成了urllib库. urllib2.urlopen()

  • 关于python爬虫应用urllib库作用分析

    关于python爬虫应用urllib库作用分析

    目录 一.urllib库是什么? 二.urllib库的使用 urllib.request模块 urllib.parse模块 利用try-except,进行超时处理 status状态码 && getheaders() 突破反爬 一.urllib库是什么? urllib库用于操作网页 URL,并对网页的内容进行抓取处理 urllib包 包含以下几个模块: urllib.request - 打开和读取 URL. urllib.error - 包含 urllib.request 抛出的异常. ur

  • python urllib爬虫模块使用解析

    前言 网络爬虫也称为网络蜘蛛.网络机器人,抓取网络的数据.其实就是用Python程序模仿人点击浏览器并访问网站,而且模仿的越逼真越好.一般爬取数据的目的主要是用来做数据分析,或者公司项目做数据测试,公司业务所需数据. 而数据来源可以来自于公司内部数据,第三方平台购买的数据,还可以通过网络爬虫爬取数据.python在网络爬虫方向上有着成熟的请求.解析模块,以及强大的Scrapy网络爬虫框架. 爬虫分类 1.通用网络爬虫:搜索引擎使用,遵守robots协议(君子协议) robots协议 :网站通过r

  • Python爬虫库urllib的使用教程详解

    Python爬虫库urllib的使用教程详解

    目录 Python urllib库 urllib.request模块 urlopen函数 Request 类 urllib.error模块 URLError 示例 HTTPError示例 URLError和HTTPError混合使用 urllib.parse模块 urlparse() urlunparse() urlsplit() urljoin() URL 转码 编码quote(string) 编码urlencode() 解码 unquote(string) urllib.robotparse

  • Python爬虫之正则表达式的使用教程详解

    正则表达式的使用 re.match(pattern,string,flags=0) re.match尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none 参数介绍: pattern:正则表达式 string:匹配的目标字符串 flags:匹配模式 正则表达式的匹配模式: 最常规的匹配 import re content ='hello 123456 World_This is a Regex Demo' print(len(content)) resul

  • python爬虫库scrapy简单使用实例详解

    最近因为项目需求,需要写个爬虫爬取一些题库.在这之前爬虫我都是用node或者php写的.一直听说python写爬虫有一手,便入手了python的爬虫框架scrapy. 下面简单的介绍一下scrapy的目录结构与使用: 首先我们得安装scrapy框架 pip install scrapy 接着使用scrapy命令创建一个爬虫项目: scrapy startproject questions 相关文件简介: scrapy.cfg: 项目的配置文件 questions/: 该项目的python模块.之

  • Django+python服务器部署与环境部署教程详解

    需要准备环境:python3.6.vultr(或者其他服务器).xshell 第一步:python安装必备环境Django库 Xshell链接远程主机: 点击连接之后:弹窗输入访问用户及密码,一般为root用户 成功连接到目标服务器: [root@vultr ~]# 安装python以及需要环境(此为安装完python3.6环境),运行pip安装即可: pip install django 提示Success安装成功 第二步:项目创建 首先cd到自己想要新建项目的路径: 我这里选择的是在data

  • python virtualenv虚拟环境配置与使用教程详解

    概述 python开发过程中,我们可能需要同时开发多款应用,这些应用可能公用同一个版本的Python程序,但是使用不同版本的第三方库,比如A应用使用six 1.12.0,而B应用需要使用six 1.15.0.这种情况下,virtualenv就派上用场了,它能为每个应用提供一套"相对独立"的Python虚拟运行环境. 注意,这里为啥是"相对独立"而不是"绝对独立"呢?针对一些.exe依赖程序,默认安装时,不会安装在虚拟环境中,安装后为各个应用共享,

  • python爬虫之BeautifulSoup 使用select方法详解

    本文介绍了python爬虫之BeautifulSoup 使用select方法详解 ,分享给大家.具体如下: <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse's story</b></

  • Python 中Django安装和使用教程详解

    一.安装 一般使用cmd 安装就可以 手动安装通过下载方式 django官方网站:https://www.djangoproject.com/ python官方仓库:https://pypi.python.org/pypi/Django 二.配置使用 1.通过cmd新建一个项目,我是在桌面新建 上面命令会在桌面新建pythonDjango文件夹,在里面会生成如下图两个文件 manage.py:命令行工具,可以用多种方式与该django项目进行交互: 在pythonDjango文件夹里面有4个.p

  • Python安装Jupyter Notebook配置使用教程详解

    为什么要用Jupyter Notebook 推荐新手写python用什么编辑器就有有人问:为什么没有Jupyter Notebook.本来想数据分析和可视化的时候才介绍的,所以没有加上.最近要截图比较多,用Jupyter Notebook可以很好看到代码和结果. Jupyter Notebook是什么 Jupyter Notebook是一个开源的web应用程序,一个交互式笔记本,支持运行 40 多种编程语言.它允许您创建和共享文档,包含代码,方程,可视化和叙事文本.用途包括:数据清洗和转换,数值

  • Python标准库学习之psutil内存详解

    Python标准库学习之psutil内存详解

    目录 查询CPU信息 查询内存信息 查询磁盘信息 查询网络信息 查询进程信息 人生苦短,快学Python! 今天介绍的是psutil模块,它是一个跨平台库 https://github.com/giampaolo/psutil 命令行下通过pip安装: pip install psutil 如果跟我一样安装的是Anaconda,则剩下这步了,因为自带了. 顾名思义 psutil = process and system utilities 它专门用来获取操作系统以及硬件相关的信息,比如:CPU.

  • Python OpenCV实现识别信用卡号教程详解

    Python OpenCV实现识别信用卡号教程详解

    目录 通过与 OpenCV 模板匹配的 OCR 信用卡 OCR 结果 总结 今天的博文分为三个部分. 在第一部分中,我们将讨论 OCR-A 字体,这是一种专为辅助光学字符识别算法而创建的字体. 然后我们将设计一种计算机视觉和图像处理算法,它可以: 本地化信用卡上的四组四位数字. 提取这四个分组中的每一个,然后单独分割 16 个数字中的每一个. 使用模板匹配和 OCR-A 字体识别 16 个信用卡数字中的每一个. 最后,我们将看一些将信用卡 OCR 算法应用于实际图像的示例. 通过与 OpenCV

随机推荐