python中requests库安装与使用详解

2024-11-29 02:53:24

前言

记得我刚学python-requests库的时候总会有点晕，于是我做了以下关于requests库的知识点整理，方便初学者可以更好的了解requests库。如果有补充或错误，或者不懂的地方，可以评论区留言。

1、Requests介绍

Requests是Python一个很实用的HTTP客户端，完全满足如今网络爬虫的需求

urllib库和requests库功能类似，但requests库功能更多更实用

2、requests库的安装

pip命令安装（方法一）

windows操作系统：pip install requests
Mac操作系统：pip3 install requests
Linux操作系统：sodo pip install requests

源码安装（方法二）

下载 requests源码 http://mirrors.aliyun.com/pypi/simple/ requests/
下载文件到本地之后，解压到Python安装目录，之后打开解压文
运行命令行输入python setup.py install 即可安装

测试

import requests
如果没提示错误，那说明已经安装成功了！

3、requests库常用的方法

序号	方法	描述
1	requests.request(url)	构造一个请求，支持以下各种方法
2	requests.get()	发送一个Get请求
3	requests.post()	发送一个Post请求
4	requests.head()	获取HTML的头部信息
5	requests.put()	发送Put请求
6	requests.patch()	提交局部修改的请求
7	requests.delete()	提交删除请求

最常用的方法为get()和post()分别用于发送Get请求和Post请求

4、response对象的常用属性

序号	属性或方法	描述
1	response.status_code	响应状态码
2	response.content	把response对象转换为二进制数据
3	response.text	把response对象转换为字符串数据
4	response.encoding	定义response对象的编码
5	response.cookie	获取请求后的cookie
6	response.url	获取请求网址
7	response.json()	内置的JSON解码器
8	Response.headers	以字典对象存储服务器响应头，字典键不区分大小写

5、使用requests发送get请求

不带参数的get请求
- 案例：爬取百度主页
带参数的get请求
- 案例：贴吧
获取JSON数据
- 案例：百度美女图片
获取二进制数据
- 案例：下载百度logo

5.1 不带参数的get请求

# 不带参数的get请求

import requests
url='http://www.baidu.com'
resp = requests.get(url)
# 设置响应的经编码格式
resp.encoding='utf-8'
cookie=resp.cookies    # 获取请求后的cookie信息
headers=resp.headers
print('响应状态码：', resp.status_code)
print('请求后的cookie：', cookie)
print('获取请求的网址：', resp.url)
print('响应头：', headers)
print('响应内容', resp.text)
----------------------------------以下为输出结果----------------------------------
'''
响应状态码： 200
请求后的cookie： <RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
获取请求的网址： http://www.baidu.com/
响应头： {'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Fri, 23 Apr 2021 00:10:35 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:28:16 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
响应内容 <!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type.........
'''

5.2 带参数的get请求

5.2.1 查询参数params

params，数据类型为字典
作用：对URL地址中的查询参数自动进行编码拼接
使用示例：resp = requests.get(url=baseurl, params=params, headers=headers)

# 带参数的get请求

import requests
url = 'https://tieba.baidu.com/f?'
params = {'kw':'大学吧', 'pn':'3'}
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}
# 开始请求
html = requests.get(url=url, params=params, headers=headers).text
print(html)

5.2.2 SSL证书认证参数 verify

参数值：True（默认）| False
适用网站：https类型网站但是没有经过证书认证机构认证的网站
适用场景：当程序中抛出SSLError异常则考虑使用此参数
使用示例：requests.get(url=url,headers=headers,verify=False)
当verify参数设置为False时，则不会再对网站进行SSL证书认证

5.2.3 设置超时时间 timeout

我们可以通过timeout属性设置超时时间，一旦超过这个时间还没获得响应内容，就会提示错误。

import requests
requests.get('http://github.com', timeout=0.001)

---------------------以下为输出结果（报错）---------------------
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

5.2.4 代理IP参数 proxies

5.2.4.1 免费代理IP

语法格式：proxies = { '协议':'协议://IP:端口号'}
示例：
- 当我们抓取的地址为http时，则会选择proxies中http的代理，反之为https

import requests

url = 'http://httpbin.org/get'
headers = {'User-Agent':'Mozilla/5.0'}
# 定义代理，再代理IP网站中查找免费代理IP
proxies = {
    'http':'http://112.85.164.220:9999',
    'https':'https://112.85.164.220:9999'
}
html = requests.get(url=url,proxies=proxies,headers=headers,timeout=5).text
print(html)

5.2.4.1 私密代理和独享代理

语法格式：proxies = { '协议':'协议://用户名:密码@IP:端口号'}

示例：

5.3 获取JSON数据

# 获取json数据

# 案例：百度获取宫崎骏动漫图片
# 滑动页面，URL没变化，F12中的文件越来越多，说明这是动态网页
# 选择XHR中的一个，复制其Request URL,粘贴给url

import requests
url='https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10167214135414424439&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%AE%AB%E5%B4%8E%E9%AA%8F%E5%8A%A8%E6%BC%AB%E5%9B%BE%E7%89%87&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%AE%AB%E5%B4%8E%E9%AA%8F%E5%8A%A8%E6%BC%AB%E5%9B%BE%E7%89%87&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&fr=&expermode=&force=&pn=30&rn=30&gsm=1e&1619134335166='
resp=requests.get(url)
json_data=resp.json()
print(json_data)

5.4 获取二进制数据

一般来说，对于非文本请求，可以以字节形式访问响应正文。

# 获取二进制数据

# 案例：保存百度图片
import requests
url='https://www.baidu.com/img/bd_logo1.png'
resp=requests.get(url)
# 存储
with open('logo.png','wb') as file:
    # resp.content：把response对象转换为二进制数据
    file.write(resp.content)

6、使用requests发送post请求

语法结构
- requests.post(url, data=None, json=None)
参数说明
- url：需要爬取的网站的网址
- data：请求数据
- json：json格式的数据
案例：登录小说楼
- https://www.xslou.com/login.php

import requests
url='https://www.xslou.com/login.php'
data={'username':'18600605736', 'password':'57365736', 'action':'login'}
resp = requests.post(url,data)
resp.encoding='gb2312'
print('响应状态码：', resp.status_code)   # 200
print('响应内容', resp.text)        # <html>......</html>

7、使用requests的session发送请求

import requests
url='https://www.xslou.com/login.php'
data={'username':'18600605736', 'password':'57365736', 'action':'login'}

# 使用session发送请求
session = requests.session()
resp=session.post(url,data=data)    # 使用session发送post请求
resp.encoding='gb2312'
# print( resp.text)        # <html>..<title>登录成功</title>....</html>

总结

到此这篇关于python中requests库安装与使用的文章就介绍到这了,更多相关python requests库详解内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

python安装requests库的实例代码

requests是python实现的简单易用的HTTP库,使用起来比urllib简洁很多因为是第三方库,所以使用前需要cmd安装 pip install requests 安装完成后import一下,正常则说明可以开始使用了. 基本用法: requests.get()用于请求目标网站,类型是一个HTTPresponse类型 import requests response = requests.get('http://www.baidu.com') print(response.status_
离线安装python的requests库方法

目录前言 1.下载安装包 1.1 检查requests模块所需依赖包 1.2 下载requests所需依赖包 1.3 下载requests包 2.安装 2.1 安装requests所需依赖包 2.2 安装requests 3.检查是否安装成功总结前言本文详细记录了在win7中离线安装python requests的过程,包括安装requests所需依赖包. 环境:win7.python3.8.9(win7中可安装的最新python版本).无法连接互联网 1.下载安装包 1.1 检查req
python爬虫利器之requests库的用法(超全面的爬取网页案例)

requests库利用pip安装: pip install requests 基本请求 req = requests.get("https://www.baidu.com/") req = requests.post("https://www.baidu.com/") req = requests.put("https://www.baidu.com/") req = requests.delete("https://www.baid
Python requests库用法实例详解

本文实例讲述了Python requests库用法.分享给大家供大家参考,具体如下: requests是Python中一个第三方库,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库.它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求.接下来将记录一下requests的使用: 安装要使用requests库必须先要安装: pip install requests 创建请求通过requests库发出一个请求非常简单,首先我们先导入
Python Requests库基本用法示例

本文实例讲述了Python Requests库基本用法.分享给大家供大家参考,具体如下: requests是python的一个http client库,提供了一套简捷的API供开发者使用.下面简单介绍一下其安装和使用.这里是官方文档. 0 安装 pip install requests 1 发送请求 r=requests.get('https://www.baidu.com') print r.status_code,r.text r=requests.post('http://httpbin.
python爬虫之requests库的使用详解

目录 python爬虫-requests库的用法基本的get请求带参数的GET请求: 解析json 使用代理获取cookie 会话维持证书验证设置超时异常捕获异常处理总结 python爬虫-requests库的用法 requests是python实现的简单易用的HTTP库,使用起来比urllib简洁很多,requests 允许你发送 HTTP/1.1 请求.指定 URL并添加查询url字符串即可开始爬取网页信息等操作因为是第三方库,所以使用前需要cmd安装 pip install
python requests库的使用

requests模块使用requests可以模拟浏览器的请求,requests模块的本质是封装了urllib3模块的功能,比起之前用到的urllib,requests模块的api更加便捷 requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求,但是selenium模块就可以执行js的操作. 安装: pip3 install requests 请求方式:主要用到的就get和post两种 #各种请求方式:常用的就是reques
python爬虫入门教程--优雅的HTTP库requests（二）

前言 urllib.urllib2.urllib3.httplib.httplib2 都是和 HTTP 相关的 Python 模块,看名字就觉得很反人类,更糟糕的是这些模块在 Python2 与 Python3 中有很大的差异,如果业务代码要同时兼容 2 和 3,写起来会让人崩溃. 好在,还有一个非常惊艳的 HTTP 库叫 requests,它是 GitHUb 关注数最多的 Python 项目之一,requests 的作者是 Kenneth Reitz 大神. requests 实现了 HTTP
Python爬虫之requests库基本介绍

目录一.说明二.基本用法: 总结一.说明 requests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到,requests是Python语言的第三方的库,专门用于发送HTTP请求,使用起来比urllib简洁很多. Requests 有这些功能: 1.Keep-Alive & 连接池2.国际化域名和 URL3.带持久 Cookie 的会话4.浏览器式的 SSL 认证5.自动内容解码6.基本/摘要式的身份认证7.优雅的 key/value Cookie8.自
python中requests库安装与使用详解

目录前言 1.Requests介绍 2.requests库的安装 3.requests库常用的方法 4.response对象的常用属性 5.使用requests发送get请求 5.1 不带参数的get请求 5.2 带参数的get请求 5.2.1 查询参数params 5.2.2 SSL证书认证参数 verify 5.2.3 设置超时时间 timeout 5.2.4 代理IP参数 proxies 5.3 获取JSON数据 5.4 获取二进制数据 6.使用requests发送post请求 7.使
对Python中gensim库word2vec的使用详解

pip install gensim安装好库后,即可导入使用: 1.训练模型定义 from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4) 参数解释: 1.sg=1是skip-gram算法,对低频词敏感:默认sg=0为CBOW算法. 2.size是输出词向量的维数,值
python3中TQDM库安装及使用详解

在一众有趣的Python库中,TQDW也算是独树一帜了,原因主要是因为自身所存在的功能效果,比如我们如果在写项目,往往会忘记我们要完成多少量,而这个库主要就是帮我们实时掌握进度,现在这样跟大家讲解,是不是都来了兴趣呢?因此,那就开启本章正题,给大家详解TQDM库的安装及使用. 先来说下安装,常用方式: pipinstall tqdm 当for循环使用range函数时,只是把它替换为tqdm中的trange即可. fromtqdm import trangefor i in trange(100)
Python中第三方库Faker的使用详解

目录背景介绍实战:模拟1w条数据写入Excel Python库讲解 1. 生成姓名 2. 生成详细地址 3. 生成所在省份 4. 生成手机号 5. 生成身份证号 6. 生成出生年月 7. 生成邮箱补充 1. address 地址 2. person 人物 3. color 颜色 4. company 公司 5. credit_card 银行信用卡 6. date_time 时间日期 7. file 文件 8. internet 互联网 9. job 工作 10. lorem 乱数假文 11
python中selenium库的基本使用详解

什么是selenium selenium 是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样.支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等.selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid). S
python中第三方库pyecharts的使用详解

与pyecharts有关的两个网站:官方网站:pyecharts - A Python Echarts Plotting Library built with love.,画廊功能的网站: Document Description https://gallery.pyecharts.org/#/ 在画廊网站中可以查看各个图的实例 pyecharts的作用:用来做数据图表做一个图的步骤: 1.导包 2.创建一个图对象 3.添加数据 4.设置全局配置项 5.通过render方法将代码生成图像 1.
Python中BeautifuSoup库的用法使用详解

BeautifulSoup简介 Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: Beautiful Soup提供一些简单的.python式的函数用来处理导航.搜索.修改分析树等功能.它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序. Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码.你不需要考虑编码方式,除非文档没有指定一个编码方式,这时
python中requests库session对象的妙用详解

在进行接口测试的时候,我们会调用多个接口发出多个请求,在这些请求中有时候需要保持一些共用的数据,例如cookies信息. 妙用1 requests库的session对象能够帮我们跨请求保持某些参数,也会在同一个session实例发出的所有请求之间保持cookies. 举个栗子,跨请求保持cookies,在命令行上输入下面命令: # 创建一个session对象 s = requests.Session() # 用session对象发出get请求,设置cookies s.get('http://ht
python中requests库+xpath+lxml简单使用

python的requests 它是python的一个第三方库,处理URL比urllib这个库要方便的多,并且功能也很丰富. [可以先看4,5表格形式的说明,再看前面的] 安装直接用pip安装,anconda是自带这个库的. pip install requests 简单使用 requests的文档 1.简单访问一个url: import requests url='http://www.baidu.com' res = requests.get(url) res.text res.statu
Python中requests库的基本概念与具体使用方法

目录一. 基本概念 1. 简介 2. 获取 3. http 协议 3.1 URL 3.2 常用 http 请求方法二. 使用方法 1. 基本语法 2. 具体使用方法 2.1 get 2.2 post 2.3 response 2.4 head 2.5 put 总结一. 基本概念 1. 简介 requests 模块是 python 基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库.它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测