Python爬虫辅助利器PyQuery模块的安装使用攻略

Windows下的安装：
下载地址：https://pypi.python.org/pypi/pyquery/#downloads
下载后安装：

C:\Python27>easy_install E:\python\pyquery-1.2.4.zip

也可以直接在线安装：

C:\Python27>easy_install pyquery

pyquery是一个类似jquery的python库，可以使用像jquery那样的语法来提取网页中的任何数据，这个用于html网页的数据提取和挖掘还是一个很不错的第三方库的。下面我们来看下pyquery的用法有哪些。

从html字符串中提取信息

#!/usr/bin/python
# -*- coding: utf-8 -*-

from pyquery import PyQuery as pq
html = '''
<html>
<head>
 <title>this is title</title>
</head>
<body>
 <p id="hi">Hello, World</p>
 <p id="hi2">Nihao</p>
 <div class="class1">
  <img src="1.jpg" />
 </div>
 <ul>
  <li>list1</li>
  <li>list2</li>
 </ul>
</body>
</html>
'''
d=pq(html)

print d('title') # 相当于css选择器，根据html标签获取元素
print d('title').text() # text()方法获取当前选中的文本块

print d('#hi').text() # 相当于id选择器，直接根据id名获取元素
print d('p').filter('#hi2').text() # 可以根据id或class得到指定元素
print d('.class1') # 相当于class选择器
print d('.class1').html() # html()方法获取当前选中的html块
print d('.class1').find('img').attr('src') # 查找嵌套元素，并选中属性
print d('ul').find('li').eq(0).text() # 根据索引号获取多个相同html元素中的某一个
print d('ul').children() # 获取所有子元素
print d('ul').children().eq(0) #根据索引获取子元素
print d('img').parents() # 获取父元素
print d('#hi').next() # 获取下一个元素
print d('#hi').nextAll() #获取后面全部元素块
print d('p').not_('#hi2') # 返回不匹配选择器的元素
# 遍历所有匹配的元素
for i in d.items('li'):
 print i.text()
print [i.text() for i in d.items('li')] # 遍历用于列表推倒
print d.make_links_absolute(base_url='http://www.baidu.com') # 把html文档中的相对路径变为绝对路径

上面的代码段给出了pyquery常用的操作方法。我们先定义了一段html代码，然后利用pyquery的一系列方法对该html代码进行了操作，主要是获取特定的元素以及文本等。当然，pyquery不仅仅能够获取元素，还能进行设置元素属性、增加元素等功能，鉴于我们最常用的就是上面代码中用到的方法，这里就不再对其他方法进行介绍了。

从url或本地html文件中提取信息

当然，pyquery也不仅仅可以解析像上面的html字符串，还可以这样：

d = pq(url='http://www.baidu.com/')

我们可以直接加载一个URL，和上面的操作方法没有任何区别。这种方法默认使用urllib模块进行http请求，但如果你的系统中安装了requests的话，那么就会使用requests来进行http请求，这也就意味着你可以使用requests的任何参数，比如：

pq('http://www.baidu.com/', headers={'user-agent': 'pyquery'})

或者，如果你在你的本地已经有了对应的html文件，那么还可以这样：

d = pq(filename=path_to_html_file)

上面的写法直接指定了本地的html文件，且操作方法仍然与上面的相同。
可以看到，pyquery给我们提供充分的便利性来进行任何元素的选取，就像jquery一样。

利用pyquery抓取豆瓣电影top250

看完了pyquery的语法，我们来看一个实例，抓取豆瓣电影top250。
因为豆瓣反爬虫反的厉害，运行几次就没法再抓了，我只好先用requests把页面下载下来，直接使用pyquery分析页面的方法来提取信息：

from pyquery import PyQuery as pq
import requests

head_req = {
 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
 'Referer':'https://movie.douban.com/top250?start=0',

}
r=requests.get("https://movie.douban.com/top250?start=0",headers=head_req)
with open("1.html","wb") as html:
 html.write(r.content)

d=pq(filename="1.html")

# print d('ol').find('li').html()
for data in d('ol').items('li'):
 print data.find('.hd').find('.title').eq(0).text()
 print data.find('.star').find('.rating_num').text()
 print data.find('.quote').find('.inq').text()
 print

运行下看看结果：

肖申克的救赎
9.6
希望让人自由。

这个杀手不太冷
9.4
怪蜀黍和小萝莉不得不说的故事。

阿甘正传
9.4
一部美国近现代史。

霸王别姬
9.4
风华绝代。

美丽人生
9.5
最美的谎言。

千与千寻
9.2
最好的宫崎骏，最好的久石让。

辛德勒的名单
9.4
拯救一个人，就是拯救整个世界。

海上钢琴师
9.2
每个人都要走一条自己坚定了的路，就算是粉身碎骨。

机器人总动员
9.3
小瓦力，大人生。

盗梦空间
9.2
诺兰给了我们一场无法盗取的梦。

泰坦尼克号
9.1
失去的才是永恒的。

三傻大闹宝莱坞
9.1
英俊版憨豆，高情商版谢耳朵。

放牛班的春天
9.2
天籁一般的童声，是最接近上帝的存在。

忠犬八公的故事
9.2
永远都不能忘记你所爱的人。

龙猫
9.1
人人心中都有个龙猫，童年就永远不会消失。

大话西游之大圣娶亲
9.1
一生所爱。

教父
9.2
千万不要记恨你的对手，这样会让你失去理智。

乱世佳人
9.2
Tomorrow is another day.

天堂电影院
9.1
那些吻戏，那些青春，都在影院的黑暗里被泪水冲刷得无比清晰。

当幸福来敲门
8.9
平民励志片。

搏击俱乐部
9.0
邪恶与平庸蛰伏于同一个母体，在特定的时间互相对峙。

楚门的世界
9.0
如果再也不能见到你，祝你早安，午安，晚安。

触不可及
9.1
满满温情的高雅喜剧。

指环王3：王者无敌
9.1
史诗的终章。

罗马假日
8.9
爱情哪怕只有一天。

当然这只是第一页的25条，我们已经知道了豆瓣电影top250的url是

https://movie.douban.com/top250?start=0
start参数从0，每次加25，直到

https://movie.douban.com/top250?start=225
所以可以写个循环把它们都抓下来。

赞 (0)

相关推荐

  • python解析html开发库pyquery使用方法

    例如 复制代码 代码如下: <div id="info"><span><span class='pl'>导演</span>: <a href="/celebrity/1047989/" rel="v:directedBy">汤姆·提克威</a> / <a href="/celebrity/1161012/" rel="v:directedB

  • Python中的jquery PyQuery库使用小结

    pyquery库是jQuery的Python实现,可以用于解析HTML网页内容,使用方法: 复制代码 代码如下: from pyquery import PyQuery as pq 1.可加载一段HTML字符串,或一个HTML文件,或是一个url地址,例: 复制代码 代码如下: d = pq("<html><title>hello</title></html>")d = pq(filename=path_to_html_file)d =

  • python使用urllib模块和pyquery实现阿里巴巴排名查询

    urllib基础模块的应用,通过该类获取到url中的html文档信息,内部可以重写代理的获取方法 复制代码 代码如下: class ProxyScrapy(object):    def __init__(self):        self.proxy_robot = ProxyRobot()        self.current_proxy = None        self.cookie = cookielib.CookieJar() def __builder_proxy_cooki

  • 在Python中使用cookielib和urllib2配合PyQuery抓取网页信息

    在Python中使用cookielib和urllib2配合PyQuery抓取网页信息

    刚才好无聊,突然想起来之前做一个课表的点子,于是百度了起来. 刚开始,我是这样想的:在写微信墙的时候,用到了urllib2[两行代码抓网页],那么就只剩下解析html了.于是百度:python解析html.发现一篇好文章,其中介绍到了pyQuery. pyQuery 是 jQuery 在 Python 中的实现,能够以 jQuery 的语法來操作解析 HTML 文档.使用前需要安装,Mac安装方法如下: sudo easy_install pyquery OK!安装好了! 我们来试一试吧: fr

  • Python爬虫辅助利器PyQuery模块的安装使用攻略

    Windows下的安装: 下载地址:https://pypi.python.org/pypi/pyquery/#downloads 下载后安装: C:\Python27>easy_install E:\python\pyquery-1.2.4.zip 也可以直接在线安装: C:\Python27>easy_install pyquery pyquery是一个类似jquery的python库,可以使用像jquery那样的语法来提取网页中的任何数据,这个用于html网页的数据提取和挖掘还是一个很不

  • python爬虫开发之Request模块从安装到详细使用方法与实例全解

    python爬虫模块Request的安装 在cmd中,使用如下指令安装requests: pip install requests python爬虫模块Request快速上手 Requests 已安装 Requests 是最新的 Request模块发送请求 使用 Requests 发送网络请求非常简单. 一开始要导入 Requests 模块: >>> import requests 然后,尝试获取某个网页.本例子中,我们来获取 Github 的公共时间线: >>> r

  • python爬虫开发之PyQuery模块详细使用方法与实例全解

    python爬虫模块PyQuery简介 PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎完全相同,所以不用再去费心去记一些奇怪的方法了. 官网地址:http://pyquery.readthedocs.io/en/latest/ jQuery参考文档: http://jquery.cuishifeng.cn/ P

  • python爬虫之利用selenium模块自动登录CSDN

    python爬虫之利用selenium模块自动登录CSDN

    一.页面分析 CSDN登录页面如下图 二.引入selenium模块及驱动 2.1 并将安装好的Chromedriver.exe引入到代码中 # -*- coding:utf-8 -*- from selenium import webdriver import os import time #引入chromedriver.exe chromedriver="C:/Users/lex/AppData/Local/Google/Chrome/Application/chromedriver.exe&

  • Python爬虫基础之requestes模块

    Python爬虫基础之requestes模块

    一.爬虫的流程 开始学习爬虫,我们必须了解爬虫的流程框架.在我看来爬虫的流程大概就是三步,即不论我们爬取的是什么数据,总是可以把爬虫的流程归纳总结为这三步: 1.指定 url,可以简单的理解为指定要爬取的网址 2.发送请求.requests 模块的请求一般为 get 和 post 3.将爬取的数据存储 二.requests模块的导入 因为 requests 模块属于外部库,所以需要我们自己导入库 导入的步骤: 1.右键Windows图标 2.点击"运行" 3.输入"cmd&q

  • python爬虫开发之urllib模块详细使用方法与实例全解

    爬虫所需要的功能,基本上在urllib中都能找到,学习这个标准库,可以更加深入的理解后面更加便利的requests库. 首先 在Pytho2.x中使用import urllib2---对应的,在Python3.x中会使用import urllib.request,urllib.error 在Pytho2.x中使用import urllib---对应的,在Python3.x中会使用import urllib.request,urllib.error,urllib.parse 在Pytho2.x中使

  • python爬虫开发之selenium模块详细使用方法与实例全解

    python爬虫模块selenium简介 selenium主要是用来做自动化测试,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题. 模拟浏览器进行网页加载,当requests,urllib无法正常获取网页内容的时候 一.声明浏览器对象 注意点一,Python文件名或者包名不要命名为selenium,会导致无法导入 from selenium import webdriver #webdriver可以认为是浏览器的驱动器,要驱动浏览器必须用到webdriver,支持多种浏览器,这里

  • Python 爬虫之Beautiful Soup模块使用指南

    爬取网页的流程一般如下: 选着要爬的网址(url) 使用 python 登录上这个网址(urlopen.requests 等) 读取网页信息(read() 出来) 将读取的信息放入 BeautifulSoup 使用 BeautifulSoup 选取 tag 信息等 可以看到,页面的获取其实不难,难的是数据的筛选,即如何获取到自己想要的数据.本文就带大家学习下 BeautifulSoup 的使用. BeautifulSoup 官网介绍如下: Beautiful Soup 是一个可以从 HTML 或

  • Python的Django框架安装全攻略

    Python 安装 Django本身是纯Python编写的,所以安装框架的第一步是确保你已经安装了Python. Python版本 核心Django框架可以工作在2.3至2.6(包括2.3和2.6)之间的任何Python版本. Django的可选GIS(地理信息系统)支持需要Python 2.4到2.6. 如果你不确定要安装Python的什么版本,并且你完全拿不定主意的话,那就选2.x系列的最新版本吧. 版本2.6. 虽然Django在2.3至2.6版之间的任意Python版本下都一样运行得很好

  • PHP安装全攻略:APACHE

    首先,安装并配置PHP31.解开压缩包到你喜欢的目录如:C:\PHP32.把C:\php3\php3.ini-inst文件改名成PHP3.INI并拷贝到C:\windows\3.修改php3.ini.a.修改doc_root=XXXX改成你自己APACHE的根目录比如像这样:doc_root=c:\apache\htdocsb.extension_dir=XXXX改成你自己PHP3的安装目录比如像这样:extension_dir=c:\php3c.如果需要相应的数据库支持找到;WindowsEx

随机推荐