关于Python网络爬虫requests库的介绍

2024-10-01 03:44:33

1. 什么是网络爬虫

简单来说，就是构建一个程序，以自动化的方式从网络上下载、解析和组织数据。

就像我们浏览网页的时候，对于我们感兴趣的内容我们会复制粘贴到自己的笔记本中，方便下次阅读浏览——网络爬虫帮我们自动完成这些内容

当然如果遇到一些无法复制粘贴的网站——网络爬虫就更能显示它的力量了

为什么需要网络爬虫

当我们需要做一些数据分析的时候——而很多时候这些数据存储在网页中，手动下载需要花费的时间太长，这时候我们就需要网络爬虫帮助我们自动爬取这些数据来（当然我们会过滤掉网页上那些没用的东西）

网络爬虫的应用

访问和收集网络数据有十分广泛的应用，其中很多属于数据科学领域我们来看看下面这些例子：

淘宝网的卖家需要从海量的评价中寻找到有用的正面的和反面的信息，来帮助他进一步抓住顾客的心，分析顾客的购物心理有学者在twitter、微博等社交媒体上爬取信息来构建一个数据集，从而建立一个识别抑郁症和自杀念头的预测模型——让更多需要援助的人得到帮助——当然我们也需要考虑到隐私相关的问题——但这很酷不是吗？

作为一名人工智能工程师，他们从Ins上爬取志愿者所展示的喜好的图片，来训练深度学习模型，从而预测给出的图像是否会被志愿者所喜好——手机制造商将这些模型纳入他们的图片应用程序中，推送给你。电商平台的数据科学家爬取用户浏览商品的信息，进行分析和预测，以便推送给用户他最想要了解和购买的商品

是的！网络爬虫的应用十分广泛，小到我们日常用来批量爬取一些高清的壁纸，图片；大到人工智能、深度学习、商业策略制定的数据来源等。

这个时代是数据的时代，数据就是“新石油”

2. 网络传输协议HTTP

没错，讲到网络爬虫一定绕不开的就是这个HTTP，当然我们不需要像网络工程师那样详细的了解协议定义的方方面面，但是作为入门我们还是得具有一定的认识才行

国际标准化组织ISO维护了开放式通信系统互联参考模型OSI，而该模型将计算机通信结构分为七层

物理层：包括以太网协议、USB协议、蓝牙协议等
数据链路层：包含以太网协议
网络层：包含IP协议
传输层：包含TCP、UDP协议
会话层：包含用于打开/关闭和管理会话的协议
表示层：包含保护格式还和翻译数据的协议
应用层：包含HTTP和DNS网络服务协议

现在来看看HTTP请求和响应是什么样子的（因为后面会涉及自定义请求头）一般请求消息由一下内容构成：

请求行
多个请求头
空行
可选的消息主体

具体的请求消息：

GET https://www.baidu.com/?tn=80035161_1_dg HTTP/1.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-Hans-CN,zh-Hans;q=0.8,en-GB;q=0.5,en;q=0.3
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362
Accept-Encoding: gzip, deflate, br
Host: www.baidu.com
Connection: Keep-Alive

这个是访问百度时的请求，当然里面的很多细节我们也不需要知道，因为python的request包会帮助我们完成我们的爬取

当然我们也能查看网页对我们的请求返回的信息：

HTTP/1.1 200 OK //这边的状态码为200表示我们的请求成功
Bdpagetype: 2
Cache-Control: private
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html;charset=utf-8
Date: Sun, 09 Aug 2020 02:57:00 GMT
Expires: Sun, 09 Aug 2020 02:56:59 GMT
X-Ua-Compatible: IE=Edge,chrome=1
Transfer-Encoding: chunked

3. requests库（不喜欢理论知识的同学们可以直接来这里哦）

我们知道其实python还预置了另外的处理HTTP的库——urllib和urllib3，但是requests库学起来更容易——代码更简洁易懂。当然当我们成功爬取下网页时，将要将里面我们感兴趣的东西提取出来的时候，我们会提到另一个十分有用的库——美丽汤（Beautiful Soup）——这又是后话了

1. requests库的安装

这里我们可以直接找到requests的.whl文件安装，也可以直接使用pip来安装（当然如果有pycharm的同学可以直接从里面的环境加载中下载）

2. 实战

下面我们开始正式爬取网页

代码如下：

import requests
target = 'https://www.baidu.com/'
get_url = requests.get(url=target)
print(get_url.status_code)
print(get_url.text)

输出结果

200 //返回状态码200表示请求成功
<!DOCTYPE html>//这里删除了很多内容，实际上输出的网页信息比这要多得多
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;
charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge>
<meta content=always name=referrer>
<link rel=stylesheet type=text/css
src=//www.baidu.com/img/gs.gif>
</p> </div> </div> </div> </body> </html>

上面五行代码做了很多事情，我们已经可以将网页的HTML内容全部抓取

第一行代码：加载requests库第二行代码：给出需要爬取的网站第三行代码：使用requests进行请求一般的格式如下：

对象 = requests.get(url=你想要爬取的网站地址)

第四行代码：返回请求的状态码第五行代码：输出相应的内容主体

当然我们还可以打印更多的内容

import requests

target = 'https://www.baidu.com/'
get_url = requests.get(url=target)
# print(get_url.status_code)
# print(get_url.text)
print(get_url.reason)//返回状态
print(get_url.headers)
//返回HTTP响应中包含的服务器头的内容（和上面展示的内容差不多）
print(get_url.request)
print(get_url.request.headers)//返回请求中头的内容

OK
{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform',
'Connection': 'keep-alive',
'Content-Encoding': 'gzip',
'Content-Type': 'text/html',
'Date': 'Sun, 09 Aug 2020 04:14:22 GMT',
'Last-Modified': 'Mon, 23 Jan 2017 13:23:55 GMT',
'Pragma': 'no-cache',
'Server': 'bfe/1.0.8.18',
'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
<PreparedRequest [GET]>
{'User-Agent': 'python-requests/2.22.0',
'Accept-Encoding': 'gzip, deflate',
'Accept': '*/*',
'Connection': 'keep-alive'}

基本的网页抓取就完成了，但是如果我们想要解析我们抓取的HTML格式的网页呢，我们还需要学习正则表达式、Beautiful Soup库的应用，这些我们下个博客再讲解吧

到此这篇关于关于Python网络爬虫requests库的介绍的文章就介绍到这了,更多相关Python网络爬虫requests库内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

结合Python网络爬虫做一个今日新闻小程序

核心代码 requests.get 下载html网页 bs4.BeautifulSoup 分析html内容 from requests import get from bs4 import BeautifulSoup as bs from datetime import datetime as dt def Today(style=1): date = dt.today() if style!=1: return f'{date.month}月{date.day}日' return f'{dat
详解如何使用Python网络爬虫获取招聘信息

目录前言项目目标项目准备反爬措施项目实现效果展示小结前言现在在疫情阶段,想找一份不错的工作变得更为困难,很多人会选择去网上看招聘信息.可是招聘信息有一些是错综复杂的.而且不能把全部的信息全部罗列出来,以外卖的58招聘网站来看,资料整理的不清晰. 项目目标获取招聘信息,并批量把地点. 公司名.工资 .下载保存在txt文档. 项目准备软件:PyCharm 需要的库:requests.lxml.fake_useragent 网站如下: https://gz.58.com/job/
python网络爬虫selenium打开多窗口与切换页面的实现

关于python网络爬虫selenium打开多窗口与切换页面的方法代码测试与解析. 首先打开百度 from selenium import webdriver import time driver = webdriver.Chrome() driver.get('https://www.baidu.com/') 以知乎为例,打开一个新的界面,使用 execute_script() 方法,执行JavaScript代码.并调用driver的current_url属性,然后查看当前页面的url: dr
python网络爬虫基于selenium爬取斗鱼直播信息

目录一.本文使用的第三方包和工具二.selenium的介绍和浏览器驱动的安装 1.selenium的介绍 2.浏览器驱动的安装三.代码思路分析 1.解析数据的函数 2.保存数据的函数 3.主函数设计四.完整代码总结一.本文使用的第三方包和工具 python 3.8 谷歌浏览器 selenium(3.141.0)(pip install selenium == 3.141.0)注意4.0系列和3.0系列方法不同浏览器驱动(和你的浏览器版本对应) 二.selenium的介绍和浏览器驱动
python教程网络爬虫及数据可视化原理解析

目录 1 项目背景 1.1Python的优势 1.2网络爬虫 1.3数据可视化 1.4Python环境介绍 1.4.1简介 1.4.2特点 1.5扩展库介绍 1.5.1安装模块 1.5.2主要模块介绍 2需求分析 2.1 网络爬虫需求 2.2 数据可视化需求 3总体设计 3.1 网页分析 3.2 数据可视化设计 4方案实施 4.1网络爬虫代码 4.2 数据可视化代码 5 效果展示 5.1 网络爬虫 5.1.1 爬取近五年主要城市数据 5.1.2 爬取2019年各省GDP 5.1.3 爬取豆瓣电影
关于Python网络爬虫requests库的介绍

1. 什么是网络爬虫简单来说,就是构建一个程序,以自动化的方式从网络上下载.解析和组织数据. 就像我们浏览网页的时候,对于我们感兴趣的内容我们会复制粘贴到自己的笔记本中,方便下次阅读浏览——网络爬虫帮我们自动完成这些内容当然如果遇到一些无法复制粘贴的网站——网络爬虫就更能显示它的力量了为什么需要网络爬虫当我们需要做一些数据分析的时候——而很多时候这些数据存储在网页中,手动下载需要花费的时间太长,这时候我们就需要网络爬虫帮助我们自动爬取这些数据来(当然我们会过滤掉网页上那些没用的东西) 网
Python爬虫之requests库基本介绍

目录一.说明二.基本用法: 总结一.说明 requests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到,requests是Python语言的第三方的库,专门用于发送HTTP请求,使用起来比urllib简洁很多. Requests 有这些功能: 1.Keep-Alive & 连接池2.国际化域名和 URL3.带持久 Cookie 的会话4.浏览器式的 SSL 认证5.自动内容解码6.基本/摘要式的身份认证7.优雅的 key/value Cookie8.自
python中数据爬虫requests库使用方法详解

一.什么是Requests Requests 是Python语编写,基于urllib,采Apache2 Licensed开源协议的 HTTP 库.它urllib 更加方便,可以节约我们大量的工作,完全满足HTTP测试需求. 一句话--requests是python实现的简单易用的HTTP库二.安装Requests库进入命令行win+R执行命令:pip install requests 项目导入:import requests 三.各种请求方式直接上代码,不明白可以查看我的urllib的基
Python爬虫Requests库的使用详情

目录一.Requests库的7个主要的方法二.Response对象的属性三.爬取网页通用代码四.Resquests库的常见异常五.Robots协议展示六.案例展示一.Requests库的7个主要的方法 1.request() 构造请求,支撑以下的基础方法 2.get() 获取HTML页面的主要方法,对应于http的get 3.head() 获取HTML页面的头部信息的主要方法,对应于http的head -以很少的流量获取索要信息的概要内容 4.post() 向HTML提
python爬虫---requests库的用法详解

requests是python实现的简单易用的HTTP库,使用起来比urllib简洁很多因为是第三方库,所以使用前需要cmd安装 pip install requests 安装完成后import一下,正常则说明可以开始使用了. 基本用法: requests.get()用于请求目标网站,类型是一个HTTPresponse类型 import requests response = requests.get('http://www.baidu.com')print(response.status_c
Python网络爬虫与信息提取(实例讲解)

课程体系结构: 1.Requests框架:自动爬取HTML页面与自动网络请求提交 2.robots.txt:网络爬虫排除标准 3.BeautifulSoup框架:解析HTML页面 4.Re框架:正则框架,提取页面关键信息 5.Scrapy框架:网络爬虫原理介绍,专业爬虫框架介绍理念:The Website is the API ... Python语言常用的IDE工具文本工具类IDE: IDLE.Notepad++.Sublime Text.Vim & Emacs.Atom.Komodo E
Python网络爬虫之爬取微博热搜

微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6 1.分析网页的源代码:右键--查看网页源代码. 从网页代码中可以获取到信息 (1)热搜的名字都在<td class="td-02">的子节点<a>里 (2)热搜的排名都在<td class=td-01 ranktop>的里(注意置顶微博是
python网络爬虫实现发送短信验证码的方法

前言:今天要总结的是如何用程序来实现短信发送功能.但是呢,可能需要我们调用一些api接口,我会详细介绍.都是自己学到的,害怕忘记,所以要总结一下,让写博客成为一种坚持的信仰.废话不多说,我们开始吧! 网络爬虫实现发送短信验证码在实现我们目标的功能之前,我们要有自己的思路,否则你没有方向,又如何实现自己的代码功能呢? 我们要发送短信,那么我们其实是需要分析的.我们可以去分析一个可以发送短信的网站页面. 我们来到这里如下: 可以看到这是一个注册界面,我们在注册时会被要求需要填写手机号码的·,其实还