Python requests设置代理的方法步骤

指导文档：
http://docs.python-requests.org/en/master/user/advanced/ 的Proxies
http://docs.python-requests.org/en/latest/user/advanced/ 的SSL Cert Verification

requests设置代理

import requests
proxies = {'http': 'http://localhost:8888', 'https': 'http://localhost:8888'}
url = 'http://www.baidu.com'
requests.post(url, proxies=proxies, verify=False) #verify是否验证服务器的SSL证书

执行结果：

基于 selenium的代理设置：

from selenium import webdriver

proxy='124.243.226.18:8888'

option=webdriver.ChromeOptions()

option.add_argument('--proxy-server=http://'+proxy)

driver = webdriver.Chrome(options=option)

driver.get('http://httpbin.org/get')

python3.8 request proxy(代理)失效解决方案

在使用python3.8版本的时候，我们使用request库的时候，可能会遇到

urllib3.exceptions.ProxySchemeUnknown: Not supported proxy scheme None

下面这样的错误，这是游戏底层修改了url解析模式，导致proxy代理解析失败导致的。

解决方案是：

如果不使用代理，那么就可以改成

proxies = {

"http": "",

"https": "",

}

request.get(url,proxies=proxies)

如果使用代理的话，就可以修改成：

proxies = {

"http":" http://127.0.0.1:1080",

"https":"https://127.0.0.1:1080",

}

需要注意的是，一定要写成http://+ip+port这种形式，不能去掉前面的http://，否则就会产生错误。

到此这篇关于Python requests设置代理的方法步骤的文章就介绍到这了,更多相关Python requests设置代理内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 解决Python requests库编码 socks5代理的问题

    编码问题 response = requests.get(URL, params=params, headers=headers, timeout=10) print 'self.encoding',response.encoding output: self.encoding ISO-8859-1 查了一些相关的资料,看了下requests的源码,只有在服务器响应的头部包含有Content-Type,且里面有charset信息,requests能够正确识别,否则就会使用默认的 ISO-8859

  • python中requests使用代理proxies方法介绍

    学习网络爬虫难免遇到使用代理的情况,下面介绍一下如何使用requests设置代理: 如果需要使用代理,你可以通过为任意请求方法提供 proxies 参数来配置单个请求: import requests proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } requests.get("http://examp

  • python3 requests中使用ip代理池随机生成ip的实例

    啥也不说了,直接上代码吧! # encoding:utf-8 import requests # 导入requests模块用于访问测试自己的ip import random pro = ['1.119.129.2:8080', '115.174.66.148', '113.200.214.164'] # 在(http://www.xicidaili.com/wt/)上面收集的ip用于测试 # 没有使用字典的原因是 因为字典中的键是唯一的 http 和https 只能存在一个 所以不建议使用字典

  • 基于python requests库中的代理实例讲解

    直接上代码: #request代理(proxy) """ 1.启动代理服务器Heroku,相当于aliyun 2.在主机1080端口启动Socks 服务 3.将请求转发到1080端口 4.获取相应资源 首先要安装包pip install 'requests[socksv5]' """ import requests #定义一个代理服务器,所有的http及https都走socks5的协议,sock5相当于http协议,它是在会话层 #把它转到本机的

  • python requests更换代理适用于IP频率限制的方法

    有些网址具有IP限制,比如同一个IP一天只能点赞一次. 解决方法就是更换代理IP. 从哪里获得成千上万的IP呢? 百度"http代理" 可获得一大堆网站. 比如某代理网站,1天6元,可以无限提取. 把提取的IP,保存到txt文件中. 写一个方法,读取文件,存入数组中 def getProxysFromFile(): with open("proxy.txt", "r") as f: l = f.readlines() return l 比如执行某

  • python requests 测试代理ip是否生效

    代码如下所示: import requests '''代理IP地址(高匿)''' proxy = { 'http': 'http://117.85.105.170:808', 'https': 'https://117.85.105.170:808' } '''head 信息''' head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.

  • Python requests设置代理的方法步骤

    指导文档: http://docs.python-requests.org/en/master/user/advanced/ 的Proxies http://docs.python-requests.org/en/latest/user/advanced/ 的SSL Cert Verification requests设置代理 import requests proxies = {'http': 'http://localhost:8888', 'https': 'http://localhos

  • Python爬虫设置代理IP(图文)

    在爬虫的过程中,我们经常会遇见很多网站采取了防爬取技术,或者说因为自己采集网站信息的强度和采集速度太大,给对方服务器带去了太多的压力. 如果你一直用同一个代理ip爬取这个网页,很有可能ip会被禁止访问网页,所以基本上做爬虫的都躲不过去ip的问题. 1.我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常爬取数据,一切看起来都是那么美好,然而不久之后可能会出现错误,比如 403 Forbidden,这时候你打开网页一看,可能会看到"您的 IP 访问频率太高"这样的提示.出现这

  • Python爬虫设置代理IP的方法(爬虫技巧)

    在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术,高强度.高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧,设置代理IP. (一)配置环境 安装requests库 安装bs4库 安装lxml库 (二)代码展示 # IP地址取自国内髙匿代理IP网站:http://www.xicidaili.com/nn/ # 仅仅爬取首页IP地址就足够一般使用 from bs4 import BeautifulSoup

  • Python requests模块基础使用方法实例及高级应用(自动登陆,抓取网页源码)实例详解

    1.Python requests模块说明 requests是使用Apache2 licensed 许可证的HTTP库. 用python编写. 比urllib2模块更简洁. Request支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动响应内容的编码,支持国际化的URL和POST数据自动编码. 在python内置模块的基础上进行了高度的封装,从而使得python进行网络请求时,变得人性化,使用Requests可以轻而易举的完成浏览器可有的任何操作. 现代,国际化

  • linux设置定时任务的方法步骤

    一,首先登录 二,找到文件夹 三,查看定时任务 crontab -l 四,vi root 编辑定时任务 编辑完成后,点ESC,然后:wq 时间格式 分钟 小时 日期 月份 周 命令 数字范围 0-59 0-23 1-31 1-12 0-7 echo "hello" >> abc.log 特殊字符的含义 *(星号) 代表任何时刻都接受. ,(逗号) 代表分隔时段的意思. -(减号) 代表一段时间范围内. /n(斜线) 那个 n 代表数字,每隔 n 单位间隔. eg1: 每年的

  • python爬虫http代理使用方法

    目前,许多网站都设置了相应的防爬虫机制.这是因为有些人在实际的防爬虫主权过程中恶意收集或恶意攻击.一般来说,爬虫类开发者为了能够正常收集数据,速度相对较慢,或者一部分爬虫类开发者在网上搜索免费的http代理. 但是,这个免费的http代理,因为稳定性和速度都不理想,如何在不侵犯对方利益的前提下正常收集数据成为问题. 解决办法 1.使用http代理提高访问速度,http代理店可以增加缓冲来提高访问速度,通常代理服务器设置大的缓冲区. 通过站点信息通过后,保存相应的信息,下次浏览相同的站点或相同的信

  • python解释器安装教程的方法步骤

    python解释器安装教程的方法步骤

    1.首先,打开python的官网:python.org 2.首页downloads下打开, 3.最上边是两个最新的版本,长期计划,推荐使用python3,如果长期打算用p3,默认使用最新版本.如果想要下载具体的哪个版本也是可以的 4.各个版本的区别,一般下载可执行的文件,双击可安装的. 5.下载完成后的两个安装包 6.双击,开始安装,不推荐"默认安装",容易找不到,推荐安装到"自定义的安装目录下",同时勾选"Add Python 3.6 to PATH&q

随机推荐