Python使用Beautiful Soup爬取豆瓣音乐排行榜过程解析
前言
要想学好爬虫，必须把基础打扎实，之前发布了两篇文章，分别是使用XPATH和requests爬取网页，今天的文章是学习Beautiful Soup并通过一个例子来实现如何使用Beautiful Soup爬取网页。
什么是Beautiful Soup
- Beautiful Soup是一款高效的Python网页解析分析工具，可以用于解析HTL和XML文件并从中提取数据。
- Beautiful Soup输入文件的默认编码是Unicode，输出文件的编码是UTF-8。
- Beautiful Soup具有将输入文件自动补全的功能，如果输入的HTML文件的title标签没有闭合，则在输出的文件中会自动补全</title>，并且还可以将格式混乱的输入文件按照标准的缩进格式输出。
Beautiful Soup要和其他的解析器搭配使用，例如Python标准库中的HTML解析器和其他第三方的lxml解析器，由于lxml解析器速度快、容错能力强，因此一般和Beautiful Soup搭配使用。
初始化Beautiful Soup对象的代码：
html = ''' <html><title>Hello Beautiful Soup</title><p>Hello</p></html> ''' soup = BeautifulSoup(html,'lxml')
只需把第二个参数写成”lxml”即可使用lxml解析器初始化Beautiful Soup对象。
Beautiful Soup提供了三种选择器用去爬取节点中的数据，分别是节点选择器、方法选择器和CSS选择器。下面分别介绍着三个选择器的用法。
节点选择器：
HTML网页有title、p、a、head、tr、td等节点。通过Beautiful Soup对象+”.”+节点即可直接访问到节点。 Beautiful Soup对象+”.”+节点+”.”+string即可提取到节点的文本信息。
| 用法 | 描述 |
|---|---|
| soup.title | 选择第一个title节点 |
| soup.title.string | 提取第一个title节点的文本信息 |
| soup.title.attrs | 获取第一个title节点的所有属性，返回的结果的词典。 如果有class属性，则class属性返回的是list，class属性之间以空格当做分隔符 |
| soup.p.contents | 获取第一个p节点的所有直接子节点。 该方法返回的是第一个p节点中包含的所有直接子字节点和文本， 不包含孙节点，两个节点之间的文本也当做是一个节点返回。 返回的结果是列表 |
| soup.p.children | 返回第一个p节点的所有直接子节点，返回的结果是list_iterator对象 |
| soup.p.descendants | 获取第一个p节点的所有子孙节点 |
| soup.a.parent | 获取第一个a节点的父节点 |
| soup.a.parents | 获取第一个a节点的所有祖先节点 |
| soup.p.next_siblings | 获取第一个p节点的下一个兄弟节点 |
| soup.p.previous_siblings | 获取第一个p节点的上一个兄弟节点 |
方法选择器：
根据传入的参数查找符合条件的节点。 下面是方法选择器提供的方法：
| 方法 | 描述 |
|---|---|
| find_all(name,attrs,recursive,text,**kwargs) | 根据传入参数查找所有符合条件的节点， name是节点名，attrs属性值，text文本内容等。 text参数可以是字符串，也可以是正则表达式: soup.find_all(text=re.compile(‘test')) |
| find(name,attrs,recursive,text,**kwargs) | 返回第一个符合条件的节点 |
| find_parents() | 返回所有祖先节点 |
| find_parent() | 返回父节点 |
| find_next_siblings() | 往后查找，所有兄弟节点 |
| find_next_sibling() | 往后查找，返回第一个兄弟节点 |
| find_previous_siblings() | 往前查找，返回所有兄弟节点 |
| find_previous_sibling() | 往前查找，返回第一个兄弟节点 |
在使用上面的方法时，如果参数中有Python的关键字，则需要在参数下面加一个下划线，例如下面的代码，class是Python的关键字，必须在class后加下划线class_=”title_class”：
from bs4 import BeautifulSoup
html = '''
<html>
<body>
<title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
<p>
<a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
</p>
<ul>
<li class="animal">cat</li>
<li class="animal">dog</li>
</ul>
</body>
</html>
'''
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(name='title',class_='title_class'))
CSS选择器：
BeautifulSoup还支持获取css元素，例如ul、div、li等元素。CSS选择器主要提供select()方法获取符合条件的节点(Tag对象)，然后通过节点的get_text()方法和text属性可以获取该节点的文本值。
select方法还可以根据css的样式规则选择相应的节点：
from bs4 import BeautifulSoup
html = '''
<html>
<body>
<title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
<p>
<a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
</p>
<ul class="animal" id="aninal_id">
<li class="cat">cat</li>
<li class="animal dog">dog</li>
</ul>
<ul class="fruit" id = "fruit_id">
<li class="apple">apple</li>
<li class="banana">banana</li>
</ul>
</body>
</html>
'''
soup = BeautifulSoup(html,'lxml')
print('获取id为title_的所有节点')
print(soup.select('#title_id'))
print('获取class为title_的所有节点')
print(soup.select('.title_class'))
print('获取所有ul节点下面的所有li节点')
print(soup.select('ul li'))
print('获取所有class为fruit节点下的所有li节点')
print(soup.select('.fruit li'))
print('获取所有class为fruit节点下的第一个li节点的文本值')
print(soup.select('.fruit li')[0].string)
print('获取所有class为fruit节点下的第一个li节点的文本值')
print(soup.select('.fruit li')[0].get_text())
print('获取所有class为fruit节点下的第一个li节点的class属性值，注意class属性返回的是list列表，属性之间用空格分隔')
print(soup.select('.fruit li')[0].attrs['class'])
print(soup.select('.animal li')[1].attrs['class'])
print('循环迭代所有ul下面的所有li节点的文本值')
for li in soup.select('ul li'):
print(li.text)
下面使用Beautiful Soup爬取豆瓣音乐排行榜。 在浏览器中打开豆瓣音乐排行榜，打开浏览器，输入网址：https://music.douban.com/chart，我们要抓取的是每首歌曲的排名、歌曲名、演唱者、播放次数、上榜天数等数据。
下面分析怎么通过beautiful soup抓取到我们的数据。 通过开发者工具，我们可以看到所有歌曲是在class为article的div中，然后每首个在class为clearfix的li中。
因此首先使用css选择器获取到class为article下面的所有li节点：
soup.select(".article li")
然后查看每首歌曲的html代码：
红色框部分是一首歌的html代码。 歌曲排名在class为“gree-num-box”的span节点中，因为span节点是<li class="clearfix">节点的子节点，获取排名的代码为：li.span.text
绿色框中A节点中是歌曲的链接和图片链接，获取歌曲链接的代码为：li.a['href']
蓝色框中是歌曲的名字、演唱者和播放次数，歌曲名是在class=”icon-play”的H3节点中，因此可以使用方法选择器中的find()方法获取到H3节点，然后获取H3节点下面a节点中的文本信息就是歌曲的名字，代码为：li.find(class_="icon-play").a.text
获取演唱者和播放次数的代码为： li.find(class_="intro").p.text.strip()
获取上榜天数的代码为：
li.find(class_="days").text.strip()
在豆瓣音乐排行榜的页面一个现实20首歌曲，前面10首歌曲会有图片，后面10首歌曲是没有图片的，因此后面10首歌曲将不获取图片的地址。
另外还有一点需要注意的是，后面10首歌曲的演唱者和播放次数是在class=”icon-play”的p节点中：
而该节点中有a节点，要想获取a节点外的信息，必须使用节点选择器的contents方法： li.find(class_="intro").p.contents[2].strip() contents返回的是p节点的直接子节点，以列表的形式返回，这里返回列表中有3个元素，分别是<p>后的字符串，a节点、演唱者/播次数。contents会将直接子节点之间的换行符也当做一个元素。 代码整理后如下：
# coding:utf-8
from bs4 import BeautifulSoup
import requests
def parseHtml(url):
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
response = requests.get(url,headers=headers)
soup = BeautifulSoup(response.text,'lxml')
#使用css选择器获取class="article"的节点下面的所有li节点
for index,li in enumerate(soup.select(".article li")):
if(index <10):
print('歌曲排名：' + li.span.text)
print('歌曲链接：' + li.a['href'])
print('歌曲名：' + li.find(class_="icon-play").a.text)#使用方法选择器
print('演唱者/播放次数：' + li.find(class_="intro").p.text.strip())
print('上榜时间：'+li.find(class_="days").text.strip())
else:
print('歌曲排名：' + li.span.text)
print('歌曲名：' + li.find(class_="icon-play").a.text)
print('演唱者/播放次数：' + li.find(class_="intro").p.contents[2].strip())#方法选择器和节点选择器搭配使用
print('上榜时间：' + li.find(class_="days").text.strip())
print('—————————————————强力分隔符———————————————————')
def main():
url = "https://music.douban.com/chart"
parseHtml(url)
if __name__ == '__main__':
main()
本文通过爬取豆瓣音乐排行榜的小项目学习了如何使用Beautiful Soup的节点选择器、方法选择器、CSS选择器来爬取一个网页。这三个选择器可以混合搭配使用。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。
相关推荐
-
python爬虫爬取微博评论案例详解
前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员. 在我们的项目中,我负责的是数据爬取这块,我主要是把对于杨超越 的每一条评论的相关信息. 数据格式:{"name":评论人姓名,"comment_time":评论时间,"comment_info":评论内容,"comment_url":评论人的主页} 以上就是我们需要的信息. 爬虫前的分析: 以上是杨超越的微博主页,这是我们首先需要获取到的内容. 因为我们需要等
-
详解Python爬取并下载《电影天堂》3千多部电影
不知不觉,玩爬虫玩了一个多月了. 我愈发觉得,爬虫其实并不是什么特别高深的技术,它的价值不在于你使用了什么特别牛的框架,用了多么了不起的技术,它不需要.它只是以一种自动化搜集数据的小工具,能够获取到想要的数据,就是它最大的价值. 我的爬虫课老师也常跟我们强调,学习爬虫最重要的,不是学习里面的技术,因为前端技术在不断的发展,爬虫的技术便会随着改变.学习爬虫最重要的是,学习它的原理,万变不离其宗. 爬虫说白了是为了解决需要,方便生活的.如果能够在日常生活中,想到并应用爬虫去解决实际的问题,那么爬虫的
-
Python如何爬取实时变化的WebSocket数据的方法
一.前言 作为一名爬虫工程师,在工作中常常会遇到爬取实时数据的需求,比如体育赛事实时数据.股市实时数据或币圈实时变化的数据.如下图: Web 领域中,用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种.轮询指的是客户端按照一定时间间隔(如 1 秒)访问服务端接口,从而达到 '实时' 的效果,虽然看起来数据像是实时更新的,但实际上它有一定的时间间隔,并不是真正的实时更新.轮询通常采用 拉 模式,由客户端主动从服务端拉取数据. WebSocket 采用的是 推 模式,由服务端主动将数
-
python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比
前言 还有一年多就要毕业了,不准备考研的我要着手准备找实习及工作了,所以一直没有更新. 因为Python是自学不久,发现很久不用的话以前学过的很多方法就忘了,今天打算使用简单的BeautifulSoup和一点正则表达式的方法来爬一下top100电影,当然,我们并不仅是使用爬虫爬取数据,这样的话,数据中存在很多的对人有用的信息则被忽略了.所以,爬取数据只是开头,对这些数据根据意愿进行分析,或许能有额外的收获. 注:本人还是Python菜鸟,若有错误欢迎指正 本次我们爬取时光网(http://www
-
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
使用Selenium驱动chrome页面,获得淘宝信息并用BeautifulSoup分析得到结果. 使用Selenium时注意页面的加载判断,以及加载超时的异常处理. import json import re from bs4 import BeautifulSoup from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.com
-
以视频爬取实例讲解Python爬虫神器Beautiful Soup用法
1.安装BeautifulSoup4 easy_install安装方式,easy_install需要提前安装 easy_install beautifulsoup4 pip安装方式,pip也需要提前安装.此外PyPi中还有一个名字是 BeautifulSoup 的包,那是 Beautiful Soup3 的发布版本.在这里不建议安装. pip install beautifulsoup4 Debain或ubuntu安装方式 apt-get install Python-bs4 你也可以通过源码安
-
Python3实现爬虫爬取赶集网列表功能【基于request和BeautifulSoup模块】
本文实例讲述了Python3实现爬虫爬取赶集网列表功能.分享给大家供大家参考,具体如下: python3爬虫之爬取赶集网列表.这几天一直在学习使用python3爬取数据,今天记录一下,代码很简单很容易上手. 首先需要安装python3.如果还没有安装,可参考本站前面关于python3安装与配置相关文章. 首先需要安装request和BeautifulSoup两个模块 request是Python的HTTP网络请求模块,使用Requests可以轻而易举的完成浏览器可有的任何操作 pip insta
-
Python使用Beautiful Soup爬取豆瓣音乐排行榜过程解析
前言 要想学好爬虫,必须把基础打扎实,之前发布了两篇文章,分别是使用XPATH和requests爬取网页,今天的文章是学习Beautiful Soup并通过一个例子来实现如何使用Beautiful Soup爬取网页. 什么是Beautiful Soup Beautiful Soup是一款高效的Python网页解析分析工具,可以用于解析HTL和XML文件并从中提取数据. Beautiful Soup输入文件的默认编码是Unicode,输出文件的编码是UTF-8. Beautiful Soup具有将
-
Python利用lxml模块爬取豆瓣读书排行榜的方法与分析
前言 上次使用了BeautifulSoup库爬取电影排行榜,爬取相对来说有点麻烦,爬取的速度也较慢.本次使用的lxml库,我个人是最喜欢的,爬取的语法很简单,爬取速度也快. 本次爬取的豆瓣书籍排行榜的首页地址是: https://www.douban.com/doulist/1264675/?start=0&sort=time&playable=0&sub_type= 该排行榜一共有22页,且发现更改网址的 start=0 的 0 为25.50就可以跳到排行榜的第二.第三页,所以后
-
Python爬取豆瓣数据实现过程解析
代码如下 from bs4 import BeautifulSoup #网页解析,获取数据 import sys #正则表达式,进行文字匹配 import re import urllib.request,urllib.error #指定url,获取网页数据 import xlwt #使用表格 import sqlite3 import lxml 以上是引用的库,引用库的方法很简单,直接上图: 上面第一步算有了,下面分模块来,步骤算第二步来: 这个放在开头 def main(): baseurl
-
Python利用Scrapy框架爬取豆瓣电影示例
本文实例讲述了Python利用Scrapy框架爬取豆瓣电影.分享给大家供大家参考,具体如下: 1.概念 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中. 通过Python包管理工具可以很便捷地对scrapy进行安装,如果在安装中报错提示缺少依赖的包,那就通过pip安装所缺的包 pip install scrapy scrapy的组成结构如下图所示 引擎Scrapy Engine,用于中转调度其他部分的信号和数据
-
python使用re模块爬取豆瓣Top250电影
爬蟲四步原理: 1.发送请求:requests 2.获取相应数据:对方及其直接返回 3.解析并提取想要的数据:re 4.保存提取后的数据:with open()文件处理 爬蟲三步曲: 1.发送请求 2.解析数据 3.保存数据 注意:豆瓣网页爬虫必须使用请求头,否则服务器不予返回数据 import re import requests # 爬蟲三部曲: # 1.获取请求 def get_data(url, headers): response = requests.get(url, headers
-
python爬取豆瓣电影排行榜(requests)的示例代码
''' 爬取豆瓣电影排行榜 设计思路: 1.先获取电影类型的名字以及特有的编号 2.将编号向ajax发送get请求获取想要的数据 3.将数据存放进excel表格中 ''' 环境部署: 软件安装: Python 3.7.6 官网地址:https://www.python.org/ 安装地址:https://www.python.org/ftp/python/3.7.6/python-3.7.6-amd64.exe PyCharm 2020.2.2
-
Python 通过xpath属性爬取豆瓣热映的电影信息
目录 前言 页面分析 实现过程 创建项目 Item定义 中间件操作定义 爬虫定义 数据管道定义 配置设置 执行验证 总结 前言 声明一下:本文主要是研究使用,没有别的用途. GitHub仓库地址:github项目仓库 页面分析 主要爬取页面为:https://movie.douban.com/cinema/nowplaying/nanjing/ 至于后面的地区,可以按照自己的需要改一下,不过多赘述了.页面需要点击一下展开全部影片,才能显示全部内容,不然只有15部.所以我们使用selenium的时
-
Python scrapy增量爬取实例及实现过程解析
这篇文章主要介绍了Python scrapy增量爬取实例及实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 开始接触爬虫的时候还是初学Python的那会,用的还是request.bs4.pandas,再后面接触scrapy做个一两个爬虫,觉得还是框架好,可惜都没有记录都忘记了,现在做推荐系统需要爬取一定的文章,所以又把scrapy捡起来.趁着这次机会做一个记录. 目录如下: 环境 本地窗口调试命令 工程目录 xpath选择器 一个简单
-
Python使用mongodb保存爬取豆瓣电影的数据过程解析
创建爬虫项目douban scrapy startproject douban 设置items.py文件,存储要保存的数据类型和字段名称 # -*- coding: utf-8 -*- import scrapy class DoubanItem(scrapy.Item): title = scrapy.Field() # 内容 content = scrapy.Field() # 评分 rating_num = scrapy.Field() # 简介 quote = scrapy.Field(
-
使用selenium和pyquery爬取京东商品列表过程解析
今天一起学起使用selenium和pyquery爬取京东的商品列表.本文的所有代码是在pycharm IDE中完成的,操作系统window 10. 1.准备工作 安装pyquery和selenium类库.依次点击file->settings,会弹出如下的界面: 然后依次点击:project->project Interpreter->"+",,如上图的红色框所示.然后会弹出下面的界面: 输入selenium,在结果列表中选中"selenium",点