python beautifulsoup4 模块详情

2024-08-22 00:22:17

一、BeautifulSoup4 基础知识补充

BeautifulSoup4 是一款 python 解析库，主要用于解析 HTML 和 XML，在爬虫知识体系中解析 HTML 会比较多一些，

该库安装命令如下：

pip install beautifulsoup4

BeautifulSoup 在解析数据时，需依赖第三方解析器，常用解析器与优势如下所示：

python 标准库 html.parser：python 内置标准库，容错能力强；
lxml 解析器：速度快，容错能力强；
html5lib：容错性最强，解析方式与浏览器一致。

接下来用一段自定义的 HTML 代码来演示 beautifulsoup4 库的基本使用，测试代码如下：

<html>
  <head>
    <title>测试bs4模块脚本</title>
  </head>
  <body>
    <h1>橡皮擦的爬虫课</h1>
    <p>用一段自定义的 HTML 代码来演示</p>
  </body>
</html>

使用 BeautifulSoup 对其进行简单的操作，包含实例化 BS 对象，输出页面标签等内容。

from bs4 import BeautifulSoup
text_str = """<html>
	<head>
		<title>测试bs4模块脚本</title>
	</head>
	<body>
		<h1>橡皮擦的爬虫课</h1>
		<p>用1段自定义的 HTML 代码来演示</p>
		<p>用2段自定义的 HTML 代码来演示</p>
	</body>
</html>
"""
# 实例化 Beautiful Soup 对象
soup = BeautifulSoup(text_str, "html.parser")
# 上述是将字符串格式化为 Beautiful Soup 对象，你可以从一个文件进行格式化
# soup = BeautifulSoup(open('test.html'))
print(soup)
# 输入网页标题 title 标签
print(soup.title)
# 输入网页 head 标签
print(soup.head)

# 测试输入段落标签 p
print(soup.p) # 默认获取第一个

我们可以通过 BeautifulSoup 对象，直接调用网页标签，这里存在一个问题，通过 BS 对象调用标签只能获取排在第一位置上的标签，如上述代码中，只获取到了一个 p 标签，如果想要获取更多内容，请继续阅读。

学习到这里，我们需要了解 BeautifulSoup 中的 4 个内置对象：

BeautifulSoup：基本对象，整个 HTML 对象，一般当做 Tag 对象看即可；
Tag：标签对象，标签就是网页中的各个节点，例如 title，head，p；
NavigableString：标签内部字符串；
Comment：注释对象，爬虫里面使用场景不多。

下述代码为你演示这几种对象出现的场景，注意代码中的相关注释：

from bs4 import BeautifulSoup
text_str = """<html>
	<head>
		<title>测试bs4模块脚本</title>
	</head>
	<body>
		<h1>橡皮擦的爬虫课</h1>
		<p>用1段自定义的 HTML 代码来演示</p>
		<p>用2段自定义的 HTML 代码来演示</p>
	</body>
</html>
"""
# 实例化 Beautiful Soup 对象
soup = BeautifulSoup(text_str, "html.parser")
# 上述是将字符串格式化为 Beautiful Soup 对象，你可以从一个文件进行格式化
# soup = BeautifulSoup(open('test.html'))
print(soup)
print(type(soup))  # <class 'bs4.BeautifulSoup'>
# 输入网页标题 title 标签
print(soup.title)
print(type(soup.title)) # <class 'bs4.element.Tag'>
print(type(soup.title.string)) # <class 'bs4.element.NavigableString'>
# 输入网页 head 标签
print(soup.head)

对于 Tag 对象，有两个重要的属性，是 name 和 attrs

from bs4 import BeautifulSoup
text_str = """<html>
	<head>
		<title>测试bs4模块脚本</title>
	</head>
	<body>
		<h1>橡皮擦的爬虫课</h1>
		<p>用1段自定义的 HTML 代码来演示</p>
		<p>用2段自定义的 HTML 代码来演示</p>
		<a href="http://www.csdn.net" rel="external nofollow"  rel="external nofollow" >CSDN 网站</a>
	</body>
</html>
"""
# 实例化 Beautiful Soup 对象
soup = BeautifulSoup(text_str, "html.parser")
print(soup.name) # [document]
print(soup.title.name) # 获取标签名 title
print(soup.html.body.a) # 可以通过标签层级获取下层标签
print(soup.body.a) # html 作为一个特殊的根标签，可以省略
print(soup.p.a) # 无法获取到 a 标签
print(soup.a.attrs) # 获取属性

上述代码演示了获取 name 属性和 attrs 属性的用法，其中 attrs 属性得到的是一个字典，可以通过键获取对应的值。

获取标签的属性值，在 BeautifulSoup 中，还可以使用如下方法：

print(soup.a["href"])
print(soup.a.get("href"))

获取 NavigableString 对象 获取了网页标签之后，就要获取标签内文本了，通过下述代码进行。

print(soup.a.string)

除此之外，你还可以使用 text 属性和 get_text() 方法获取标签内容。

print(soup.a.string)
print(soup.a.text)
print(soup.a.get_text())

还可以获取标签内所有文本，使用 strings 和 stripped_strings 即可。

print(list(soup.body.strings)) # 获取到空格或者换行
print(list(soup.body.stripped_strings)) # 去除空格或者换行

扩展标签/节点选择器之遍历文档树

直接子节点

标签（Tag）对象的直接子元素，可以使用 contents 和 children 属性获取。

from bs4 import BeautifulSoup
text_str = """<html>
	<head>
		<title>测试bs4模块脚本</title>
	</head>
	<body>
		<div id="content">
			<h1>橡皮擦的爬虫课<span>最棒</span></h1>
            <p>用1段自定义的 HTML 代码来演示</p>
            <p>用2段自定义的 HTML 代码来演示</p>
            <a href="http://www.csdn.net" rel="external nofollow"  rel="external nofollow" >CSDN 网站</a>
		</div>
        <ul class="nav">
            <li>首页</li>
            <li>博客</li>
            <li>专栏课程</li>
        </ul>

	</body>
</html>
"""
# 实例化 Beautiful Soup 对象
soup = BeautifulSoup(text_str, "html.parser")
# contents 属性获取节点的直接子节点，以列表的形式返回内容
print(soup.div.contents) # 返回列表
# children 属性获取的也是节点的直接子节点，以生成器的类型返回
print(soup.div.children) # 返回 <list_iterator object at 0x00000111EE9B6340>

请注意以上两个属性获取的都是直接子节点，例如 h1 标签内的后代标签 span ，不会单独获取到。

如果希望将所有的标签都获取到，使用 descendants 属性，它返回的是一个生成器，所有标签包括标签内的文本都会单独获取。

print(list(soup.div.descendants))

其它节点的获取（了解即可，即查即用）

parent 和 parents：直接父节点和所有父节点；
next_sibling，next_siblings，previous_sibling，previous_siblings：分别表示下一个兄弟节点、下面所有兄弟节点、上一个兄弟节点、上面所有兄弟节点，由于换行符也是一个节点，所有在使用这几个属性时，要注意一下换行符；
next_element，next_elements，previous_element，previous_elements：这几个属性分别表示上一个节点或者下一个节点，注意它们不分层次，而是针对所有节点，例如上述代码中 div 节点的下一个节点是 h1，而 div 节点的兄弟节点是 ul。

文档树搜索相关函数

第一个要学习的函数就是 find_all() 函数，原型如下所示：

find_all(name,attrs,recursive,text,limit=None,**kwargs)

name：该参数为 tag 标签的名字，例如 find_all('p') 是查找所有的 p 标签，可接受标签名字符串、正则表达式与列表；
attrs：传入的属性，该参数可以字典的形式传入，例如 attrs={'class': 'nav'}，返回的结果是 tag 类型的列表；

上述两个参数的用法示例如下：

print(soup.find_all('li')) # 获取所有的 li
print(soup.find_all(attrs={'class': 'nav'})) # 传入 attrs 属性
print(soup.find_all(re.compile("p"))) # 传递正则，实测效果不理想
print(soup.find_all(['a','p'])) # 传递列表

recursive：调用 find_all () 方法时，BeautifulSoup 会检索当前 tag 的所有子孙节点，如果只想搜索 tag 的直接子节点，可以使用参数 recursive=False，测试代码如下：

print(soup.body.div.find_all(['a','p'],recursive=False)) # 传递列表

text：可以检索文档中的文本字符串内容，与 name 参数的可选值一样，text 参数接受标签名字符串、正则表达式、列表；

print(soup.find_all(text='首页')) # ['首页']
print(soup.find_all(text=re.compile("^首"))) # ['首页']
print(soup.find_all(text=["首页",re.compile('课')])) # ['橡皮擦的爬虫课', '首页', '专栏课程']

limit：可以用来限制返回结果的数量；
kwargs：如果一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作 tag 的属性来搜索。这里要按 class 属性搜索，因为 class 是 python 的保留字，需要写作 class_，按 class_ 查找时，只要一个 CSS 类名满足即可，如需多个 CSS 名称，填写顺序需要与标签一致。

print(soup.find_all(class_ = 'nav'))
print(soup.find_all(class_ = 'nav li'))

还需要注意网页节点中，有些属性在搜索中不能作为kwargs参数使用，比如html5 中的 data-*属性，需要通过attrs参数进行匹配。

与 find_all()方法用户基本一致的其它方法清单如下：

find()：函数原型find( name , attrs , recursive , text , **kwargs )，返回一个匹配元素；
find_parents()，find_parent()：函数原型 find_parent(self, name=None, attrs={}, **kwargs)，返回当前节点的父级节点；
find_next_siblings()，find_next_sibling()：函数原型 find_next_sibling(self, name=None, attrs={}, text=None, **kwargs)，返回当前节点的下一兄弟节点；
find_previous_siblings()，find_previous_sibling()：同上，返回当前的节点的上一兄弟节点；
find_all_next()，find_next()，find_all_previous () ，find_previous ()：函数原型 find_all_next(self, name=None, attrs={}, text=None, limit=None, **kwargs)，检索当前节点的后代节点。

CSS 选择器 该小节的知识点与pyquery有点撞车，核心使用select()方法即可实现，返回数据是列表元组。

通过标签名查找，soup.select("title")；
通过类名查找，soup.select(".nav")；
通过 id 名查找，soup.select("#content")；
通过组合查找，soup.select("div#content")；
通过属性查找，soup.select("div[id='content'")，soup.select("a[href]")；

在通过属性查找时，还有一些技巧可以使用，例如：

^=：可以获取以 XX 开头的节点：

print(soup.select('ul[class^="na"]'))

*=：获取属性包含指定字符的节点：

print(soup.select('ul[class*="li"]'))

二、爬虫案例

BeautifulSoup 的基础知识掌握之后，在进行爬虫案例的编写，就非常简单了，本次要采集的目标网站，该目标网站有大量的艺术二维码，可以供设计大哥做参考。

下述应用到了 BeautifulSoup 模块的标签检索与属性检索，完整代码如下：

from bs4 import BeautifulSoup
import requests
import logging
logging.basicConfig(level=logging.NOTSET)
def get_html(url, headers) -> None:
    try:
        res = requests.get(url=url, headers=headers, timeout=3)
    except Exception as e:
        logging.debug("采集异常", e)

    if res is not None:
        html_str = res.text
        soup = BeautifulSoup(html_str, "html.parser")
        imgs = soup.find_all(attrs={'class': 'lazy'})
        print("获取到的数据量是", len(imgs))
        datas = []
        for item in imgs:
            name = item.get('alt')
            src = item["src"]
            logging.info(f"{name},{src}")
            # 获取拼接数据
            datas.append((name, src))
        save(datas, headers)
def save(datas, headers) -> None:
    if datas is not None:
        for item in datas:
            try:
                # 抓取图片
                res = requests.get(url=item[1], headers=headers, timeout=5)
            except Exception as e:
                logging.debug(e)

            if res is not None:
                img_data = res.content
                with open("./imgs/{}.jpg".format(item[0]), "wb+") as f:
                    f.write(img_data)
    else:
        return None
if __name__ == '__main__':
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36"
    }
    url_format = "http://www.9thws.com/#p{}"
    urls = [url_format.format(i) for i in range(1, 2)]
    get_html(urls[0], headers)

本次代码测试输出采用的 logging 模块实现，效果如下图所示。测试仅采集了 1 页数据，如需扩大采集范围，只需要修改 main 函数内页码规则即可。 ==代码编写过程中，发现数据请求是类型是 POST，数据返回格式是 JSON，所以本案例仅作为 BeautifulSoup 的上手案例吧==

到此这篇关于python beautifulsoup4 模块详情的文章就介绍到这了,更多相关 python beautifulsoup4 内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

Selenium结合BeautifulSoup4编写简单的python爬虫

在学会了抓包,接口请求(如requests库)和Selenium的一些操作方法后,基本上就可以编写爬虫,爬取绝大多数网站的内容. 在爬虫领域,Selenium永远是最后一道防线.从本质上来说,访问网页实际上就是一个接口请求.请求url后,返回的是网页的源代码. 我们只需要解析html或者通过正则匹配提取出我们需要的数据即可. 有些网站我们可以使用requests.get(url),得到的响应文本中获取到所有的数据.而有些网页数据是通过JS动态加载到页面中的.使用requests获取不到或者只能获
python使用beautifulsoup4爬取酷狗音乐代码实例

这篇文章主要介绍了python使用beautifulsoup4爬取酷狗音乐代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下小编经常在网上听一些音乐但是有一些网站好多音乐都是付费下载的正好我会点爬虫技术,空闲时间写了一份,截止4月底没有问题的,会下载到当前目录,只要按照bs4库就好, 安装方法:pip install beautifulsoup4 完整代码如下:双击就能直接运行 from bs4 import BeautifulSoup
python爬虫学习笔记--BeautifulSoup4库的使用详解

目录使用范例常用的对象–Tag 常用的对象–NavigableString 常用的对象–BeautifulSoup 常用的对象–Comment 对文档树的遍历 tag中包含多个字符串的情况 .stripped_strings 去除空白内容搜索文档树–find和find_all select方法(各种查找) 获取内容总结使用范例 from bs4 import BeautifulSoup #创建 Beautiful Soup 对象 # 使用lxml来进行解析 soup = Beautif
python3第三方爬虫库BeautifulSoup4安装教程

Python3安装第三方爬虫库BeautifulSoup4,供大家参考,具体内容如下在做Python3爬虫练习时,从网上找到了一段代码如下: #使用第三方库BeautifulSoup,用于从html或xml中提取数据 from bs4 import BeautifulSoup 自己实践后,发现出现了错误,如下所示: 以上错误提示是说没有发现名为"bs4"的模块.即"bs4"模块未安装. 进入Python安装目录,以作者IDE为例, 控制台提示第三
Python爬虫实现使用beautifulSoup4爬取名言网功能案例

本文实例讲述了Python爬虫实现使用beautifulSoup4爬取名言网功能.分享给大家供大家参考,具体如下: 爬取名言网top10标签对应的名言,并存储到mysql中,字段(名言,作者,标签) #! /usr/bin/python3 # -*- coding:utf-8 -*- from urllib.request import urlopen as open from bs4 import BeautifulSoup import re import pymysql def find_
Python爬虫beautifulsoup4常用的解析方法总结

摘要如何用beautifulsoup4解析各种情况的网页 beautifulsoup4的使用关于beautifulsoup4,官网已经讲的很详细了,我这里就把一些常用的解析方法做个总结,方便查阅. 装载html文档使用beautifulsoup的第一步是把html文档装载到beautifulsoup中,使其形成一个beautifulsoup对象. import requests from bs4 import BeautifulSoup url = "http://new.qq.com/o
python3解析库BeautifulSoup4的安装配置与基本用法

前言 Beautiful Soup是python的一个HTML或XML的解析库,我们可以用它来方便的从网页中提取数据,它拥有强大的API和多样的解析方式. Beautiful Soup的三个特点: Beautiful Soup提供一些简单的方法和python式函数,用于浏览,搜索和修改解析树,它是一个工具箱,通过解析文档为用户提供需要抓取的数据 Beautiful Soup自动将转入稳定转换为Unicode编码,输出文档转换为UTF-8编码,不需要考虑编码,除非文档没有指定编码方式,这时只需要指
python beautifulsoup4 模块详情

目录一.BeautifulSoup4 基础知识补充二.爬虫案例一.BeautifulSoup4 基础知识补充 BeautifulSoup4 是一款 python 解析库,主要用于解析 HTML 和 XML,在爬虫知识体系中解析 HTML 会比较多一些, 该库安装命令如下: pip install beautifulsoup4 BeautifulSoup 在解析数据时,需依赖第三方解析器,常用解析器与优势如下所示: python 标准库 html.parser:python 内置标准库,容错
Python随机数模块详情

目录 1.生成随机数 1.1 random.random() 方法 1.2 random.randint方法 1.3 random.uniform方法 1.4 random.randrange方法 2.用于序列的函数 2.1 random.choice(seq) 2.2 random.shuffle()方法 2.3 random.sample()方法前言: 随机数模块实现了各种分布的伪随机数生成器.对于整数,从范围中有统一的选择. 对于序列,存在随机元素的统一选择.用于生成列表的随机排列的函数
Python 正则模块详情

目录 1.正则表达式的装饰符 2.查找单个匹配项 2.2 group 2.3 search 2.4 fullmatch 2.5 匹配对象 3.查找多个匹配项 3.1 compile 3.2 findall 3.3 finditer 4.分割split 4.1 替换 4.1.1 sub 4.1.2 subn 4.2 escape 4.3 purge 在Python中提供了操作正则表达式的模块,即re模块. 1.正则表达式的装饰符修饰符描述完整名称 re.I 使匹配对大小写不敏感 re.IGN
Python calendar模块详情

目录 1. calendar 模块概述 1.1calendar 特点 1.2calendar 类结构 1.3calendar 使用步骤 2. calendar 相关方法 2.2calendar 模块相关方法 2.3calendar 模块属性 2.4calendar 模块提供5个类 2.5calendar.Calendar类实例相关方法 2.6calendar.TextCalendar类实例相关方法 2.7calendar.HTMLCalendar类实例相关方法 2.8calendar.HTMLC
Python hashlib模块详情

目录 1. hashlib 模块概述 1.1hashlib 模块特点 1.2hashlib 模块使用步骤 2. hashlib 工作原理 2.1hash 算法特点 2.2hash 构造方法 2.3hash 算法过程 2.4hash 常用算法 3. hashlib 属性方法 4. 实操 5.总结前言: 在互联网的时代,我们在网络中传输过程中都是要经过加密的,常见网络数据传输的加密方式有MD5和RSA算法.当然,加密算法还有很多中按加密.解密方式不同分为:对称加密.非对称加密.hash加密.其中M
Python 中 Shutil 模块详情

一.什么是shutil shutil可以简单地理解为sh + util ,shell工具的意思.shutil模块是对os模块的补充,主要针对文件的拷贝.删除.移动.压缩和解压操作. 二.shutil模块的主要方法 1. shutil.copyfileobj(fsrc, fdst[, length=16*1024]) copy文件内容到另一个文件,可以copy指定大小的内容.这个方法是shutil模块中其它拷贝方法的基础,其它方法在本质上都是调用这个方法. 让我们看一下它的源码: def copy
Python JSON模块的使用详情

目录 1.dumps( )将Python数据转成JSON格式 1.1设置缩进indent 1.2排序sort_keys 2.loads( )将JSON格式数据转成Python数据 1.dumps( )将Python数据转成JSON格式转换对应表: Python JSON dict object list,tuple array str,unicode string int,float,long number True true False false None null import json
Python中的datetime包与time包包和模块详情

目录一.datetime包 1.timedelta(params…)得到一个时间增量对象 2.timezone(timedelta)+timedelta(params…)创建时区对象 3.datetime模块 datetime.strftime(fmt)datetime时间对象转字符串 datetime.strptime(date_string,fmt)字符串转成datetime时间对象 datetime.timestamp(datetime_obj)将datetime时间对象转换成秒级时间戳
Python os和os.path模块详情

1.目的:在Python中实现只读取扩展名为xlsx的文件解决方法: 使用os模块. 解决思路: 1.确定目录 2.循环遍历每一个文件 3.筛选符合条件的文件,读取数据具体代码如下: import os # 1.首先定义路径 filepath = 'E:/old/工作/数据库表' # 2.循环遍历路径下的每一个文件 for filename in os.listdir(filepath): # 3.列出文件中以.xlsx结尾的文件 if filename.endswith((
Python argparse 解析命令行参数模块详情

目录一.预备知识 1.安装 2.使用的一般步骤二.实操笔记 1.函数详解 1.1ArgumentParser 1.2add_argument 2.调用实例一.预备知识 argparse是python用于解析命令行参数和选项的标准模块,用于代替已经过时的optparse模块.argparse模块的作用是用于解析命令行参数. 1.安装 argsparse是python的命令行解析的标准模块,内置于python,不需要安装.使用的时候直接: import argparse 2.使用的一般步骤这

python beautifulsoup4 模块详情

目录

一、BeautifulSoup4 基础知识补充

二、爬虫案例

相关推荐

随机推荐