Python request使用方法及问题总结

一、总结说明

模拟postman访问接口,具体参照七、python接口开发(二)>>三、postman访问接口,本篇文章调用的接口,也是来自于接口开发的源码,阅读本篇文章最好先看下python接口是怎样开发的

模拟get方式访问:res = requests.get(url,params=data,headers = headers)

第一种方式:res = requests.get(url, params=data, headers = headers)

第二种方式:res = requests.get(url, data=data, headers = headers)

注意:

1.url格式入参只支持第一种方式访问(params=data),json格式入参,只支持第二种方式(data=data)访问,
form-data格式入参可以使用第一种与第二种方式访问。

2.不管是那种格式的入参,data入参格式都是{“key”:“vaue”,“key1”:“vaue1"},注意参数最好用 " 而不是 ' 。

3.如果是url与form-data入参,data参数必须为字典类型,如果json入参,data必须为字符类型,字典转字符方法如下:data =json.dumps(data,ensure_ascii=False);

4.参数headers必须为字典类型,字符转字典方法如下:json.loads(headers),判断是否是字典方法如:isinstance(data,dict)
模拟post方式访问:
第一种方式:res = requests.post(url, params=data, headers = headers)
第二种方式:res = requests.post(url, data=data, headers = headers)

注意:

1.url格式入参只支持第一种方式访问(params=data),json格式入参,只支持第二种方式(data=data)访问,
form-data格式入参可以使用第一种与第二种方式访问。

2.不管是那种格式的入参,data入参格式都是{“key”:“vaue”,“key1”:“vaue1"},注意参数最好用 " 而不是 ' 。

3.如果是url与form-data入参,data参数必须为字典类型,如果json入参,data必须为字符类型,字典转字符方法如下:data =json.dumps(data,ensure_ascii=False);

4.参数headers必须为字典类型,字符转字典方法如下:json.loads(headers),判断是否是字典方法如:isinstance(data,dict)
常用响应方法

  • res.text:查看响应内容,返回的是Unicode格式的数据
  • res.content:查看响应内容,返回的字节流数据(主要用于存储图片)
  • res.url:查看完整访问url地址
  • res.encoding:查看响应头部字符编码
  • res.status_code:查看响应码

session与cookies

cookies操作步骤:
1.访问:res = requests.get(url)
2.返回cookie对象:cookiejar = res.cookies
3.转为字典:cookiedict = requests.utils.dict_from_cookiejar(cookiejar)

session操作步骤:

1. 创建session对象:ssion = requests.session()
2. 设置 headers:headers = {"key": "vaule"}
3. 设置登录入参:{"loginName":"sss", "userPass":"sss"}
4. 发送附带用户名和密码的请求,并获取登录后的Cookie值,保存至sesion:ssion.post(url, data = data,headers=headers)
5. 直接访问需要登录的页面:ssion.get("https://www.sss.cn/preview/c_clg_web?d=233444")
ssl不验证
#https协议默认verify = True需要证书验证,verify = False表示不验证证书
res = requests.get(url,verify = False)

二、源码举例

#!/usr/bin/python3
# encoding:utf-8
'''
Created on 2020-04-21 08:20
@author: Administrator
'''
import requests
import json
from _ast import Try
from django.template.context_processors import request

class send():
  #1.get方式,无参数访问接口
  def send_get(self,url,data,headers = None):
    res = requests.get(url,params=data,headers = headers)
    return res
  #2.post方式,url格式入参访问接口
  def send_post_url(self,url,data,headers = None):
    res = requests.post(url, params=data, headers = headers)
    return res
  #3.post方式,form-data格式入参访问接口
  def send_post_fdata(self,url,data,headers = None):
    res = requests.post(url, params=data, headers = headers)
    return res
  #4.post方式,josn格式入参访问接口
  def send_post_json(self,url,data,headers = {'content-type': 'application/json'}):
    json_data =json.dumps(data,ensure_ascii=False)
    #特别注意,当文件头是json时 ,发送post请求参数data=值,值必须是json(字符型)
    res = requests.post(url, data=json_data, headers = headers)
    return res
  def cookies(self,url):
    res = requests.get(url)
    #保存CookieJar对象:
    cookiejar = res.cookies
    #将Cookie转为字典:
    cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
    return cookiedict
  def session(self):
    # 1. 创建session对象
    ssion = requests.session()
    # 2. 设置headers
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.2; WOW64; Trident/7.0; rv:11.0) like Gecko",
          "Accept":"image/gif, image/jpeg, image/pjpeg, application/x-ms-application, application/xaml+xml, application/x-ms-xbap, */*",
          "Accept-Language":"zh-Hans-CN,zh-Hans;q=0.5"}
    # 3. 设置登录入参
    data = {"loginName":"sss", "userPass":"sss"}
    # 4. 发送附带用户名和密码的请求,并获取登录后的Cookie值,保存至sesion
    ssion.post("https://passport.sss.cn/login/login", data = data,headers=headers)
    # 5. 直接访问需要登录的页面
    res = ssion.get("https://www.sss.cn/preview/c_clg_web?d=233444")
    return res
  def ssl(self):
    #https协议默认verify = True需要证书验证,verify = False表示不验证证书
    res = requests.get("https://www.12306.cn/index/",verify = False)
    return res
if __name__ == '__main__':
  #1.get方式,无参数访问接口
  res1 = send().send_get('http://127.0.0.1:8888/index',{})
  print('1.get方式,无参数访问接口,返回值:')
  #响应内容json格式转字典
  print(res1.json())
  print('-------开始打印request常见响应方法内容---------------')
  print('查看响应内容,res.text 返回的是Unicode格式的数据')
  print(res1.text)
  print('查看响应内容,res.content返回的字节流数据(主要用于存储图片)')
  print(res1.content)
  print('查看完整url地址,res.url')
  print(res1.url)
  print('查看响应头部字符编码,res.encoding')
  print(res1.encoding)
  print('查看响应码,res.status_code')
  print(res1.status_code)
  print('-------结束打印request常见响应方法内容---------------')
  #2.post方式,url格式入参访问接口
  res2 = send().send_post_url('http://127.0.0.1:8888/article',{'id':'12589','token':'ASDE23EEE9'})
  print('2.post方式,url格式入参访问接口,返回值:')
  print(res2.json())
  #3.post方式,form-data格式入参访问接口
  res3 = send().send_post_fdata('http://127.0.0.1:8888/login',{'usrname':'test','pwd':'123456'})
  print('3.post方式,form-data格式入参访问接口,返回值:')
  print(res3.json())
  #4.post方式,josn格式入参访问接口
  res4 = send().send_post_json('http://127.0.0.1:8888/loginjosn',{"usrname": "test","pwd": "123456"})
  print('4.post方式,josn格式入参访问接口,返回值:')
  print(res4.json())
  res5 = send().cookies('http://www.baidu.com')
  print('5.访问百度打印colies,返回值:')
  print(res5)
  res6 = send().session()
  print('6.需要登录才可以看到资源,通过session可直接查看,返响应状态码:')
  print(res6.status_code)
  res7 = send().ssl()
  print('7.访问12306,设置不验证ssl,verify = False,返响应状态码:')
  print(res7.status_code)

运行结果

1.get方式,无参数访问接口,返回值:
{'msg': '成功访问首页', 'msg_code': 200}
-------开始打印request常见响应方法内容---------------
查看响应内容,res.text 返回的是Unicode格式的数据
{"msg": "成功访问首页", "msg_code": 200}
查看响应内容,res.content返回的字节流数据(主要用于存储图片)
b'{"msg": "\xe6\x88\x90\xe5\x8a\x9f\xe8\xae\xbf\xe9\x97\xae\xe9\xa6\x96\xe9\xa1\xb5", "msg_code": 200}'
查看完整url地址,res.url
http://127.0.0.1:8888/index
查看响应头部字符编码,res.encoding
utf-8
查看响应码,res.status_code
200
-------结束打印request常见响应方法内容---------------
2.post方式,url格式入参访问接口,返回值:
{'msg': '成功访问文章', 'msg_code': 200}
3.post方式,form-data格式入参访问接口,返回值:
{'msg': '登录成功', 'msg_code': 200}
4.post方式,josn格式入参访问接口,返回值:
{'msg': '登录成功', 'msg_code': 200}
5.访问百度打印colies,返回值:
{'BDORZ': '27315'}
6.需要登录才可以看到资源,通过session可直接查看,返回值:
200
D:\pythonaz\lib\site-packages\urllib3\connectionpool.py:997: InsecureRequestWarning: Unverified HTTPS request is being made to host 'www.12306.cn'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
warnings.warn(
7.访问12306,设置不验证ssl,verify = False,返响应状态码:
200

三、问题

1. json转字典,json格式入参问题

问题描述,发送get请求,响应内容转字典,如requests.get(url).json(),报错:json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

原因:

1.响应内容不是json{key:vaule}格式;
2.json格式入参,如res = requests.post(url, data=data, headers = headers),入参data值为字典类型
3.字符转字典,字符个数不是key-value个数,或者key-vaule用的是单引号,如json.loads('key':'value')

解决方案:

1.响应内容必须是json格式才可以调用josn转字典json()方法
2.json格式入参,如res = requests.post(url, data=data, headers = headers),入参data值必须转换为字符类型
3.字符转字典,必须保证是key-vaule,并且参数引号必须用双引号,如json.loads("key":"value")

2. 接口无法访问

问题描述:发送get请求,requests.get(url),报错如下:

requests.exceptions.ConnectionError: HTTPConnectionPool(host='127.0.0.1', port=8888): Max retries exceeded with url: /index (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000025527634A00>: Failed to establish a new connection: [WinError 10061] 由于目标计算机积极拒绝,无法连接。'))

原因:1.8888端口无法访问;2.接口服务未开启

解决方案:1.设置8888端口可访问;2.开启接口服务

3. 发送个get/post失败

问题描述:发送get:request.get("http://www.baidu.com"),报错如下:

AttributeError: 'function' object has no attribute 'get'

原因:1.代码错误;2.变量名与系统(包括扩展库或者保留字)的重复

解决方法:本例是代码错误,request改为requests

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • 使用Python爬虫库requests发送请求、传递URL参数、定制headers

    首先我们先引入requests模块 import requests 一.发送请求 r = requests.get('https://api.github.com/events') # GET请求 r = requests.post('http://httpbin.org/post', data = {'key':'value'}) # POST请求 r = requests.put('http://httpbin.org/put', data = {'key':'value'}) # PUT请

  • Python爬虫库requests获取响应内容、响应状态码、响应头

    首先在程序中引入Requests模块 import requests 一.获取不同类型的响应内容 在发送请求后,服务器会返回一个响应内容,而且requests通常会自动解码响应内容 1.文本响应内容 获取文本类型的响应内容 r = requests.get('https://www.baidu.com') r.text # 通过文本的形式获取响应内容 '<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><m

  • Python requests设置代理的方法步骤

    指导文档: http://docs.python-requests.org/en/master/user/advanced/ 的Proxies http://docs.python-requests.org/en/latest/user/advanced/ 的SSL Cert Verification requests设置代理 import requests proxies = {'http': 'http://localhost:8888', 'https': 'http://localhos

  • python爬虫开发之使用Python爬虫库requests多线程抓取猫眼电影TOP100实例

    使用Python爬虫库requests多线程抓取猫眼电影TOP100思路: 查看网页源代码 抓取单页内容 正则表达式提取信息 猫眼TOP100所有信息写入文件 多线程抓取 运行平台:windows Python版本:Python 3.7. IDE:Sublime Text 浏览器:Chrome浏览器 1.查看猫眼电影TOP100网页原代码 按F12查看网页源代码发现每一个电影的信息都在"<dd></dd>"标签之中. 点开之后,信息如下: 2.抓取单页内容 在浏

  • 如何基于Python + requests实现发送HTTP请求

    这篇文章主要介绍了如何基于Python + requests实现发送HTTP请求,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 一.在接口自动化测试过程中,存在两种情况: 一种是不需要鉴权的接口,可以直接访问的. 还有一种情况是需要鉴权才可以访问的接口. 这里我们通过Python + requests 实现这两种发送请求的方法 """ ============================ author:Treasure丶

  • Python requests模块cookie实例解析

    cookie并不陌生,与session一样,能够让http请求前后保持状态.与session不同之处,在于cookie数据仅保存于客户端.requests也提供了相应到方法去处理cookie. 在python requests模块-session中,我们知道了requests中的session对象能够在请求之间保持cookie,它极大地方便了我们去使用cookie.当我们想设置方法级别中的请求时,可以如下面示例一样操作. import requests s = requests.session(

  • python爬虫开发之使用python爬虫库requests,urllib与今日头条搜索功能爬取搜索内容实例

    使用python爬虫库requests,urllib爬取今日头条街拍美图 代码均有注释 import re,json,requests,os from hashlib import md5 from urllib.parse import urlencode from requests.exceptions import RequestException from bs4 import BeautifulSoup from multiprocessing import Pool #请求索引页 d

  • Python request使用方法及问题总结

    一.总结说明 模拟postman访问接口,具体参照七.python接口开发(二)>>三.postman访问接口,本篇文章调用的接口,也是来自于接口开发的源码,阅读本篇文章最好先看下python接口是怎样开发的 模拟get方式访问:res = requests.get(url,params=data,headers = headers) 第一种方式:res = requests.get(url, params=data, headers = headers) 第二种方式:res = reques

  • 以windows service方式运行Python程序的方法

    本文实例讲述了以windows service方式运行Python程序的方法.分享给大家供大家参考.具体实现方法如下: #!/usr/bin/env python # coding: utf-8 # SmallestService.py # # A sample demonstrating the smallest possible service written in Python. import win32serviceutil import win32service import win3

  • python自动翻译实现方法

    本文实例讲述了python自动翻译实现方法.分享给大家供大家参考,具体如下: 以前学过python的基础,一般也没用过.后来有一个参数表需要中英文.想了一下,还是用python做吧.调用的百度翻译接口,经历了乱码.模块不全等问题.一般google,一边做的.分享一下. #encoding=utf-8 ## eagle_91@sina.com ## created 2014-07-22 import urllib import urllib2 import MySQLdb import json

  • Python request设置HTTPS代理代码解析

    之前版本的代理中,可以使用fiddler进行HTTP包的代理,但是代理HTTPS包时,执行错误 self._sslobj.do_handshake() ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:749) urllib或requests在打开https站点是会验证证书,简单的处理方式就是把发送https请求时把验证ssl证书关掉,即设置verify为False 具体代码设置如:

  • Python使用get_text()方法从大段html中提取文本的实例

    如下所示: <textarea rows="" cols="" name="id"><DIV style="TEXT-INDENT: 18pt; mso-char-indent-count: 2.0000" class=MsoNormal><SPAN style="FONT-FAMILY: 宋体; FONT-SIZE: 9pt; mso-spacerun: 'yes'; mso-font

  • python获取网络图片方法及整理过程详解

    这篇文章主要介绍了python获取网络图片方法及整理过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 方式1 使用urllib库 import urllib.request import os ,stat url = "https://cn.bing.com/th?id=OHR.Lidong2019_ZH-CN0761273672_1920x1080.jpg" try: urllib.request.urlretrieve(ur

  • Python requests.post方法中data与json参数区别详解

    在通过requests.post()进行POST请求时,传入报文的参数有两个,一个是data,一个是json. data与json既可以是str类型,也可以是dict类型. 区别: 1.不管json是str还是dict,如果不指定headers中的content-type,默认为application/json 2.data为dict时,如果不指定content-type,默认为application/x-www-form-urlencoded,相当于普通form表单提交的形式 3.data为s

  • Python request中文乱码问题解决方案

    Python request获取网页中文乱码问题 r = requests.get("http://www.baidu.com") **r.text返回的是Unicode型的数据. 使用r.content返回的是bytes型的数据. 也就是说,如果你想取文本,可以通过r.text. 如果想取图片,文件,则可以通过r.content.** 方法1:使用r.text Requests 会自动解码来自服务器的内容.大多数 unicode 字符集都能被无缝地解码.请求发出后,Requests

  • python request 模块详细介绍

    request Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库,其在Python内置模块的基础上进行了高度的封装,从而使得Pythoner进行网络请求时,变得美好了许多,使用Requests可以轻而易举的完成浏览器可有的任何操作. GET 请求 # 1.无参数实例     import requests     ret = requests.get('https://github.com/timeline.json')     print

  • Python requests.post()方法中data和json参数的使用方法

    目录 json和dict requests.post() post请求中json和data的区别 json和dict python中的dict类型要转换为json格式的数据需要用到json库: import json <json> = json.dumps(<dict>) <dict> = json.loads(<json>) 需要注意的是: python中并没有json类型这一说法,通过json.dumps(<dict>)转换的字典对象,最后得

随机推荐