Python 爬虫学习笔记之多线程爬虫
XPath 的安装以及使用
1 . XPath 的介绍
刚学过正则表达式，用的正顺手，现在就把正则表达式替换掉，使用 XPath，有人表示这太坑爹了，早知道刚上来就学习 XPath 多省事 啊。其实我个人认为学习一下正则表达式是大有益处的，之所以换成 XPath ，我个人认为是因为它定位更准确，使用更加便捷。可能有的人对 XPath 和正则表达式的区别不太清楚，举个例子来说吧，用正则表达式提取我们的内容，就好比说一个人想去天安门，地址的描述是左边有一个圆形建筑，右边是一个方形建筑，你去找吧，而使用 XPath 的话，地址的描述就变成了天安门的具体地址。怎么样？相比之下，哪种方式效率更高，找的更准确呢？
2 . XPath 的安装
XPath 包含在 lxml 库中，那么我们到哪里去下载呢？ 点击此处 ，进入网页后按住 ctrl+f 搜索 lxml ，然后进行下载，下载完毕之后将文件拓展名改为 .zip ，然后进行解压，将名为 lxml 的文件夹复制粘贴到 Python 的 Lib 目录下，这样就安装完毕了。
3 . XPath 的使用
为了方便演示，我利用 Html 写了个简单的网页，代码如下所示（为了节省时间，方便小伙伴们直接进行测试，可直接复制粘贴我的代码）
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Test Html</title>
</head>
<body>
<div id="content">
<ul id="like">
<li>like one</li>
<li>like two</li>
<li>like three</li>
</ul>
<ul id="hate">
<li>hate one</li>
<li>hate two</li>
<li>hate three</li>
</ul>
<div id="url">
<a href="http://www.baidu.com">百度一下</a>
<a href="http://www.hao123.com">好123</a>
</div>
</div>
</body></html>
用谷歌浏览器打开这个网页，然后右击，选择检查，会出现如下所示界面
这个时候你鼠标右击任何一行 html 代码，都可以看到一个 Copy，将鼠标放上去，就可以看到 Copy XPath ，先复制下来，怎么用呢？
# coding=utf-8
from lxml import etree
f = open('myHtml.html','r')
html = f.read()
f.close()
selector = etree.HTML(html)
content = selector.xpath('//*[@id="like"]/li/text()')
for each in content:
print each
看看打印结果
like one like two like three
很显然，将我们想要的内容打印下来了，注意我们在 xpath() 中使用了 text() 函数，这个函数就是获取其中的内容，但是如果我们想获取一个属性，该怎么办？比如说我们想得到 html 中的两个链接地址，也就是 href 属性，我们可以这么操作
content = selector.xpath('//*[@id="url"]/a/@href')
for each in content:
print each
这个时候的打印结果就是
http://www.baidu.com http://www.hao123.com
看到现在大家大概也就对 xpath() 中的符号有了一定的了解，比如一开始的 // 指的就是根目录，而 / 就是父节点下的子节点，其他的 id 属性也是一步一步从上往下寻找的，由于这是一种树结构，所以也难怪方法的名字为 etree()。
4 . XPath 的特殊用法
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <div id="likeone">like one</div> <div id="liketwo">like two</div> <div id="likethree">like three</div> </body> </html>
面对上面的一个网页，我们应该如何获取到三行的内容的 ? 嗯哼，很简单，我写三个 XPath 语句不就好了，so easy 。 如果真是这样，那么我们的效率好像是太低了一点，仔细看看这三行 div 的 id 属性，好像前四个字母都是 like, 那就好办了，我们可以使用 starts-with 对这三行进行同时提取，如下所示
content = selector.xpath('//div[starts-with(@id,"like")]/text()')
不过这样有一点麻烦的地方，我们就需要手动的去写 XPath 路径了，当然也可以复制粘贴下来在进行修改，这就是提升复杂度来换取效率的问题了。再来看看标签嵌套标签的提取情况
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<div id="content">
<div id="text">
<p>hello
<b> world
<font color="#ffe4c4">
Python
</font>
</b>
</p>
</div>
</div>
</body>
</html>
像上面这样的一个网页，如果我们想获取到 hello world Python 语句，该怎么获取呢？很明显这是一种标签嵌套标签的情况，我们按照正常情况进行提取，看看结果如何
content = selector.xpath('//*[@id="text"]/p/text()')
for each in content:
print each
运行之后，很遗憾的，只打印出了 hello 字样，其他字符丢失了，该怎么办呢？这种情况可以借助于 string(.)如下所示
content = selector.xpath('//*[@id="text"]/p')[0]
info = content.xpath('string(.)')
data = info.replace('\n','').replace(' ','')
print data
这样就可以打印出正确内容了，至于第三行为什么存在，你可以将其去掉看看结果，到时候你自然就明白了。
Python 并行化的简单介绍
有人说 Python 中的并行化并不是真正的并行化，但是多线程还是能够显著提高我们代码的执行效率，为我们节省下来一大笔时间，下面我们就针对单线程和多线程进行时间上的比较。
# coding=utf-8
import requests
from multiprocessing.dummy import Pool as ThreadPool
import time
def getsource(url):
html = requests.get(url)
if __name__ == '__main__':
urls = []
for i in range(50, 500, 50):
newpage = 'http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=' + str(i)
urls.append(newpage)
# 单线程计时
time1 = time.time()
for i in urls:
print i
getsource(i)
time2 = time.time()
print '单线程耗时 : ' + str(time2 - time1) + ' s'
# 多线程计时
pool = ThreadPool(4)
time3 = time.time()
results = pool.map(getsource, urls)
pool.close()
pool.join()
time4 = time.time()
print '多线程耗时 : ' + str(time4 - time3) + ' s'
打印结果为
http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50 http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=100 http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=150 http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=200 http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=250 http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=300 http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=350 http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=400 http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=450 单线程耗时 : 7.26399993896 s 多线程耗时 : 2.49799990654 s
至于以上链接为什么设置间隔为 50，是因为我发现在百度贴吧上没翻一页，pn 的值就会增加 50。 通过以上结果我们发现，多线程相比于单线程效率提升了太多太多。至于以上代码中多线程的使用，我就不再过多讲解，我相信只要接触过 Java 的人对多线程的使用不会陌生，其实都是大差不差。没有接触过 Java ？那就对不起了，以上代码请自行消化吧。
实战 -- 爬取当当网书籍信息
一直以来都在当当网购买书籍，既然学会了如何利用 Python 爬取信息，那么首先就来爬取一下当当网中的书籍信息吧。本实战完成之后的内容如下所示
在当当网中搜索 Java ，出现了89页内容，我选择爬取了前 80 页，而且为了比较多线程和单线程的效率，我特意在这里对二者进行了比较，其中单线程爬取所用时间为 67s，而多线程仅为 15s 。
如何爬取网页，在上面 XPath 的使用中我们也已经做了介绍，无非就是进入网页，右击选择检查，查看网页 html 代码，然后寻找规律，进行信息的提取，在这里就不在多介绍，由于代码比较短，所以在这里直接上源代码。
# coding=utf8
import requests
import re
import time
from lxml import etree
from multiprocessing.dummy import Pool as ThreadPool
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
def changepage(url, total):
urls = []
nowpage = int(re.search('(\d+)', url, re.S).group(1))
for i in range(nowpage, total + 1):
link = re.sub('page_index=(\d+)', 'page_index=%s' % i, url, re.S)
urls.append(link)
return urls
def spider(url):
html = requests.get(url)
content = html.text
selector = etree.HTML(content)
title = []
title = selector.xpath('//*[@id="component_0__0__6612"]/li/a/@title')
detail = []
detail = selector.xpath('//*[@id="component_0__0__6612"]/li/p[3]/span[1]/text()')
saveinfo(title,detail)
def saveinfo(title, detail):
length1 = len(title)
for i in range(0, length1 - 1):
f.writelines(title[i] + '\n')
f.writelines(detail[i] + '\n\n')
if __name__ == '__main__':
pool = ThreadPool(4)
f = open('info.txt', 'a')
url = 'http://search.dangdang.com/?key=Java&act=input&page_index=1'
urls = changepage(url, 80)
time1 = time.time()
pool.map(spider, urls)
pool.close()
pool.join()
f.close()
print '爬取成功！'
time2 = time.time()
print '多线程耗时 : ' + str(time2 - time1) + 's'
# time1 = time.time()
# for each in urls:
# spider(each)
# time2 = time.time()
# f.close()
# print '单线程耗时 : ' + str(time2 - time1) + 's'
可见，以上代码中的知识，我们都在介绍 XPath 和 并行化 中做了详细的介绍，所以阅读起来十分轻松。
好了，到今天为止，Python 爬虫相关系列的文章到此结束，谢谢你的观看。
相关推荐
-
Python 爬虫图片简单实现
Python 爬虫图片简单实现 经常在逛知乎,有时候希望把一些问题的图片集中保存起来.于是就有了这个程序.这是一个非常简单的图片爬虫程序,只能爬取已经刷出来的部分的图片.由于对这一部分内容不太熟悉,所以只是简单说几句然后记录代码,不做过多的讲解.感兴趣的可以直接拿去用.亲测对于知乎等网站是可用的. 上一篇分享了通过url打开图片的方法,目的就是先看看爬取到的图片时什么样,然后再筛选一下保存. 这里用到了requests库来获取页面信息,需要注意的是,获取页面信息的时候需要一个header,用以把
-
python实现爬虫下载美女图片
本次爬取的贴吧是百度的美女吧,给广大男同胞们一些激励 在爬取之前需要在浏览器先登录百度贴吧的帐号,各位也可以在代码中使用post提交或者加入cookie 爬行地址:http://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=0 #-*- coding:utf-8 -*- import urllib2 import re import requests from lxml import etree 这些是要导入的库,代码并没有使用正则
-
python实现爬虫数据存到 MongoDB
在以上两篇文章中已经介绍到了 Python 爬虫和 MongoDB , 那么下面我就将爬虫爬下来的数据存到 MongoDB 中去,首先来介绍一下我们将要爬取的网站, readfree 网站,这个网站非常的好,我们只需要每天签到就可以免费下载三本书,良心网站,下面我就将该网站上的每日推荐书籍爬下来. 利用上面几篇文章介绍的方法,我们很容易的就可以在网页的源代码中寻找到书籍的姓名和书籍作者的信息. 找到之后我们复制 XPath ,然后进行提取即可.源代码如下所示 # coding=utf-8 imp
-
requests和lxml实现爬虫的方法
如下所示: # requests模块来请求页面 # lxml模块的html构建selector选择器(格式化响应response) # from lxml import html # import requests # response = requests.get(url).content # selector = html.formatstring(response) # hrefs = selector.xpath('/html/body//div[@class='feed-item _j
-
Python 爬虫学习笔记之多线程爬虫
XPath 的安装以及使用 1 . XPath 的介绍 刚学过正则表达式,用的正顺手,现在就把正则表达式替换掉,使用 XPath,有人表示这太坑爹了,早知道刚上来就学习 XPath 多省事 啊.其实我个人认为学习一下正则表达式是大有益处的,之所以换成 XPath ,我个人认为是因为它定位更准确,使用更加便捷.可能有的人对 XPath 和正则表达式的区别不太清楚,举个例子来说吧,用正则表达式提取我们的内容,就好比说一个人想去天安门,地址的描述是左边有一个圆形建筑,右边是一个方形建筑,你去找吧,而使
-
Python 爬虫学习笔记之单线程爬虫
介绍 本篇文章主要介绍如何爬取麦子学院的课程信息(本爬虫仍是单线程爬虫),在开始介绍之前,先来看看结果示意图 怎么样,是不是已经跃跃欲试了?首先让我们打开麦子学院的网址,然后找到麦子学院的全部课程信息,像下面这样 这个时候进行翻页,观看网址的变化,首先,第一页的网址是 http://www.maiziedu.com/course/list/, 第二页变成了 http://www.maiziedu.com/course/list/all-all/0-2/, 第三页变成了 http://www.ma
-
python爬虫学习笔记之Beautifulsoup模块用法详解
本文实例讲述了python爬虫学习笔记之Beautifulsoup模块用法.分享给大家供大家参考,具体如下: 相关内容: 什么是beautifulsoup bs4的使用 导入模块 选择使用解析器 使用标签名查找 使用find\find_all查找 使用select查找 首发时间:2018-03-02 00:10 什么是beautifulsoup: 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.(官方) beautif
-
python爬虫学习笔记之pyquery模块基本用法详解
本文实例讲述了python爬虫学习笔记之pyquery模块基本用法.分享给大家供大家参考,具体如下: 相关内容: pyquery的介绍 pyquery的使用 安装模块 导入模块 解析对象初始化 css选择器 在选定元素之后的元素再选取 元素的文本.属性等内容的获取 pyquery执行DOM操作.css操作 Dom操作 CSS操作 一个利用pyquery爬取豆瓣新书的例子 首发时间:2018-03-09 21:26 pyquery的介绍 pyquery允许对xml.html文档进行jQuery查询
-
php与python实现的线程池多线程爬虫功能示例
本文实例讲述了php与python实现的线程池多线程爬虫功能.分享给大家供大家参考,具体如下: 多线程爬虫可以用于抓取内容了这个可以提升性能了,这里我们来看php与python 线程池多线程爬虫的例子,代码如下: php例子 <?php class Connect extends Worker //worker模式 { public function __construct() { } public function getConnection() { if (!self::$ch) { sel
-
python OpenCV学习笔记之绘制直方图的方法
本篇文章主要介绍了python OpenCV学习笔记之绘制直方图的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考.一起跟随小编过来看看吧 官方文档 – https://docs.opencv.org/3.4.0/d1/db7/tutorial_py_histogram_begins.html 直方图会让你对图像的强度分布有一个全面的认识.它是一个在x轴上带有像素值(从0到255,但不总是),在y轴上的图像中对应的像素数量的图. 这只是理解图像的另一种方式.通过观察图像的直方图,你可以直
-
python OpenCV学习笔记实现二维直方图
本文介绍了python OpenCV学习笔记实现二维直方图,分享给大家,具体如下: 官方文档 – https://docs.opencv.org/3.4.0/dd/d0d/tutorial_py_2d_histogram.html 在前一篇文章中,我们计算并绘制了一维的直方图.它被称为一维,因为我们只考虑一个特性,即像素的灰度强度值.但是在二维直方图中,你可以考虑两个特征.通常它用于寻找颜色直方图,其中两个特征是每个像素的色调和饱和度值. 有一个python样例(samples/python/c
-
python OpenCV学习笔记直方图反向投影的实现
本文介绍了python OpenCV学习笔记直方图反向投影的实现,分享给大家,具体如下: 官方文档 – https://docs.opencv.org/3.4.0/dc/df6/tutorial_py_histogram_backprojection.html 它用于图像分割或寻找图像中感兴趣的对象.简单地说,它创建一个与我们的输入图像相同大小(但单通道)的图像,其中每个像素对应于属于我们对象的像素的概率.输出图像将使我们感兴趣的对象比其余部分更白. 该怎么做呢?我们创建一个图像的直方图,其中包
-
详解python OpenCV学习笔记之直方图均衡化
本文介绍了python OpenCV学习笔记之直方图均衡化,分享给大家,具体如下: 官方文档 – https://docs.opencv.org/3.4.0/d5/daf/tutorial_py_histogram_equalization.html 考虑一个图像,其像素值仅限制在特定的值范围内.例如,更明亮的图像将使所有像素都限制在高值中.但是一个好的图像会有来自图像的所有区域的像素.所以你需要把这个直方图拉伸到两端(如下图所给出的),这就是直方图均衡的作用(用简单的话说).这通常会改善图像的
-
Python树莓派学习笔记之UDP传输视频帧操作详解
本文实例讲述了Python树莓派学习笔记之UDP传输视频帧操作.分享给大家供大家参考,具体如下: 因为我在自己笔记本电脑上没能成功安装OpenCV-Contrib模块,因此不能使用人脸识别等高级功能,不过已经在树莓派上安装成功了,所以我想实现把树莓派上采集的视频帧传输到PC的功能,这样可以省去给树莓派配显示屏的麻烦,而且以后可能可以用在远程监控上. 1 UDP还是TCP 首先考虑用哪种传输方式,平常TCP用的非常多,但是像视频帧这种数据用TCP不是太合适,因为视频数据的传输最先要考虑的是速度而不