Python3使用requests模块实现显示下载进度的方法详解

2024-10-30 19:17:02

本文实例讲述了Python3使用requests模块实现显示下载进度的方法。分享给大家供大家参考，具体如下：

一、配置request

1. 相关资料

请求关键参数：stream=True。默认情况下，当你进行网络请求后，响应体会立即被下载。你可以通过 stream 参数覆盖这个行为，推迟下载响应体直到访问 Response.content 属性。

tarball_url = 'https://github.com/kennethreitz/requests/tarball/master'
r = requests.get(tarball_url, stream=True)

此时仅有响应头被下载下来了，连接保持打开状态，因此允许我们根据条件获取内容:

if int(r.headers['content-length']) < TOO_LONG:
 content = r.content
 ...

进一步使用 Response.iter_content 和 Response.iter_lines 方法来控制工作流，或者以 Response.raw 从底层urllib3的 urllib3.HTTPResponse

from contextlib import closing
with closing(requests.get('http://httpbin.org/get', stream=True)) as r:
  # Do things with the response here.

保持活动状态（持久连接）

归功于urllib3，同一会话内的持久连接是完全自动处理的，同一会话内发出的任何请求都会自动复用恰当的连接！

注意：只有当响应体的所有数据被读取完毕时，连接才会被释放到连接池；所以确保将 stream 设置为 False 或读取 Response 对象的 content 属性。

2. 下载文件并显示进度条

with closing(requests.get(self.url(), stream=True)) as response:
  chunk_size = 1024 # 单次请求最大值
  content_size = int(response.headers['content-length']) # 内容体总大小
  progress = ProgressBar(self.file_name(), total=content_size,
                   unit="KB", chunk_size=chunk_size, run_status="正在下载", fin_status="下载完成")
  with open(file_name, "wb") as file:
    for data in response.iter_content(chunk_size=chunk_size):
      file.write(data)
      progress.refresh(count=len(data))

二、进度条类的实现

在Python3中，print()方法的默认结束符（end='\n'），当调用完之后，光标自动切换到下一行，此时就不能更新原有输出。

将结束符改为“\r”，输出完成之后，光标会回到行首，并不换行。此时再次调用print()方法，就会更新这一行输出了。

结束符也可以使用“\d”，为退格符，光标回退一格，可以使用多个，按需求回退。

在结束这一行输出时，将结束符改回“\n”或者不指定使用默认

下面是一个格式化的进度条显示模块。代码如下：

class ProgressBar(object):
  def __init__(self, title,
         count=0.0,
         run_status=None,
         fin_status=None,
         total=100.0,
         unit='', sep='/',
         chunk_size=1.0):
    super(ProgressBar, self).__init__()
    self.info = "【%s】%s %.2f %s %s %.2f %s"
    self.title = title
    self.total = total
    self.count = count
    self.chunk_size = chunk_size
    self.status = run_status or ""
    self.fin_status = fin_status or " " * len(self.status)
    self.unit = unit
    self.seq = sep
  def __get_info(self):
    # 【名称】状态 进度 单位 分割线 总数 单位
    _info = self.info % (self.title, self.status,
               self.count/self.chunk_size, self.unit, self.seq, self.total/self.chunk_size, self.unit)
    return _info
  def refresh(self, count=1, status=None):
    self.count += count
    # if status is not None:
    self.status = status or self.status
    end_str = "\r"
    if self.count >= self.total:
      end_str = '\n'
      self.status = status or self.fin_status
    print(self.__get_info(), end=end_str)

三、参考资料

http://cn.python-requests.org/en/latest/user/advanced.html

更多关于Python相关内容感兴趣的读者可查看本站专题：《Python函数使用技巧总结》、《Python面向对象程序设计入门与进阶教程》、《Python数据结构与算法教程》、《Python字符串操作技巧汇总》、《Python编码操作技巧总结》及《Python入门与进阶经典教程》

希望本文所述对大家Python程序设计有所帮助。

Python 通过requests实现腾讯新闻抓取爬虫的方法

最近也是学习了一些爬虫方面的知识.以我自己的理解,通常我们用浏览器查看网页时,是通过浏览器向服务器发送请求,然后服务器响应以后返回一些代码数据,再经过浏览器解析后呈现出来.而爬虫则是通过程序向服务器发送请求,并且将服务器返回的信息,通过一些处理后,就能得到我们想要的数据了. 以下是前段时间我用python写的一个爬取TX新闻标题及其网址的一个简单爬虫: 首先需要用到python中requests(方便全面的http请求库)和 BeautifulSoup(html解析库). 通过pip来安装这两个
详解Python requests 超时和重试的方法

网络请求不可避免会遇上请求超时的情况,在 requests 中,如果不设置你的程序可能会永远失去响应. 超时又可分为连接超时和读取超时. 连接超时连接超时指的是在你的客户端实现到远端机器端口的连接时(对应的是 connect() ),Request 等待的秒数. import time import requests url = 'http://www.google.com.hk' print(time.strftime('%Y-%m-%d %H:%M:%S')) try: html = re
Python requests发送post请求的一些疑点

前言在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法.一般是发送GET请求或者POST请求,对于GET请求没有什么好说的,而发送POST请求,有很多朋友不是很清楚,主要是因为容易混淆 POST提交的方式 .今天在微信交流群里,就有朋友遇到了这种问题,特地讲解一下. 在HTTP协议中,post提交的数据必须放在消息主体中,但是协议中并没有规定必须使用什么编码方式,从而导致了提交方式的不同.服务端根据请求头中的 Content-Type 字段来获知请求中的消息主体
python requests证书问题解决

用requests包请求https的网站时,我们偶尔会遇到证书问题.也就是常见的SSLerror,遇到这种问题莫慌莫慌. 这里没有找到合适的网站去报SSL证书的错误,所以就假装请求了一个https的网站,然后给报了SSLerror了,然后下面是解决方法可以直接关闭验证ssl证书 import requests ''' :param proxies: (optional) Dictionary mapping protocol to the URL of the proxy. :param ve
解决python3中的requests解析中文页面出现乱码问题

第一部分关于requests库 (1) requests是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到. (2) 其中的Request对象在访问服务器后会返回一个Response对象,这个对象将返回的Http响应字节码保存到content属性中. (3) 但是如果你访问另一个属性text时,会返回一个unicode对象,乱码问题就会常常发成在这里. (4) 因为Response对象会通过另一个属性encoding来将字节码编码成unicode,而这个en
python中requests库session对象的妙用详解

在进行接口测试的时候,我们会调用多个接口发出多个请求,在这些请求中有时候需要保持一些共用的数据,例如cookies信息. 妙用1 requests库的session对象能够帮我们跨请求保持某些参数,也会在同一个session实例发出的所有请求之间保持cookies. 举个栗子,跨请求保持cookies,在命令行上输入下面命令: # 创建一个session对象 s = requests.Session() # 用session对象发出get请求,设置cookies s.get('http://ht
浅谈python requests 的put, post 请求参数的问题

post, put请求的参数有两种形式一种是把参数拼接在url中对应postman 第二种是把参数放在body中对应postman 在Python requests 库中一般在的资料都会介绍 post,put请求的参数用data 这种情况下参数会放在body中但是有些接口参数通过body传入获取不到只能获取到URL中的参数我们就需要用到类似于get请求中的 params 传入参数 requests.post(url=url, params=data, verify=False,
Python3使用requests模块实现显示下载进度的方法详解

本文实例讲述了Python3使用requests模块实现显示下载进度的方法.分享给大家供大家参考,具体如下: 一.配置request 1. 相关资料请求关键参数:stream=True.默认情况下,当你进行网络请求后,响应体会立即被下载.你可以通过 stream 参数覆盖这个行为,推迟下载响应体直到访问 Response.content 属性. tarball_url = 'https://github.com/kennethreitz/requests/tarball/master' r =
python下载文件时显示下载进度的方法

本文实例讲述了python下载文件时显示下载进度的方法.分享给大家供大家参考.具体分析如下: 将这段代码放入你的脚本中,类似:urllib.urlretrieve(getFile, saveFile, reporthook=report) 第三个参数如下面的函数定义report,urlretrieve下载文件时会实时回调report函数,显示下载进度 def report(count, blockSize, totalSize): percent = int(count*blockSize*10
Python argparse模块实现解析命令行参数方法详解

argparse是Python的一个标准模块,用于解析命令行参数,即解析sys.argv中定义的参数.实现在:传送门 argparse模块还会自动生成帮助和使用信息,即在最后加-h或--help.当用户输入的参数无效时,会触发error,并给出出错原因. python test_argparse.py -h python test_argparse.py --help 使用argparse的步骤: 1.创建解析器:argparse.ArgumentParser(),ArgumentParser是
通过numba模块给Python代码提速的方法详解

简介:numba是Anaconda公司开发的针对Python的开源JIT编译器,用于提供Python版CPU和GPU编程,速度比原生Python快数十倍.numba是第三方库,可以在运行时将Python代码编译为本地机器指令,而不会强制大幅度的改变普通的Python代码,使得在部分场景下执行Python的效率得到飞速的提升. 工作原理对比: Python文件执行过程 1..py文件通过解释器转化为虚拟机可以执行的字节码(.pyc):字节码在虚拟机上执行,得到结果. 2.字节码是一种只能运行在虚拟
Python3.5 Pandas模块缺失值处理和层次索引实例详解

本文实例讲述了Python3.5 Pandas模块缺失值处理和层次索引.分享给大家供大家参考,具体如下: 1.pandas缺失值处理 import numpy as np import pandas as pd from pandas import Series,DataFrame df3 = DataFrame([ ["Tom",np.nan,456.67,"M"], ["Merry",34,345.56,np.nan], [np.nan,np
js显示动态时间的方法详解

本文实例讲述了js显示动态时间的方法.分享给大家供大家参考,具体如下: Date对象的方法 Date 对象能够使你获得相对于国际标准时间(格林威治标准时间,现在被称为 UTC-Universal Coordinated Time)或者是 Flash 播放器正运行的操作系统的时间和日期.要使用Date对象的方法,你就必须先创建一个Date对象的实体(Instance). Date 对象必须使用 Flash 5 或以后版本的播放器. Date 对象的方法并不是静态的,但是在使用时却可以应用于所指定的
c#实现隐藏与显示任务栏的方法详解

1.导入System.Runtime.InteropServices命名空间. 2.API函数ShowWindow()能够控制人和窗体的现实状态,其声明格式如下: 复制代码代码如下: [DllImport("user32.dll")]public static extern int ShowWindow(int hwnd,int nCmdShow); 其中hwnd表示窗体的句柄,nCmdShow表示窗体的现实状态. 3.API函数FindWindow()可用于返回任务栏所在窗体类&q
python通过http下载文件的方法详解

1.通过requests.get方法 r = requests.get("http://200.20.3.20:8080/job/Compile/job/aaa/496/artifact/bbb.iso") with open(os.path.join(os.path.dirname(os.path.abspath("__file__")),"bbb.iso"),"wb") as f: f.write(r.content) 2
对Python3中dict.keys()转换成list类型的方法详解

在python3中使用dict.keys()返回的不在是list类型了,也不支持索引,我们可以看一下下面这张图片那么我们应该怎么办呢,其实解决的方法也是非常简单的,只需要使用list()就可以了,可以看下面的代码 list(dict.keys()) 我们可以看一下下面这张图片,现在就支持索引了以上这篇Python3中dict.keys()转换成list类型就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.
安装python3.7编译器后如何正确安装opnecv的方法详解

1.测试python是否安装成功在cmd界面中输入如下命令,如图所示: 一个是python命令另一个是pip命令记住不要在python环境下输入pip命令,否则出现如下情况,以免对后续安装opencv走弯路. 2.改变镜像源如上述图所示,我所执行命令是在C:\Users\Administrator这个位置下进行的,于是我在C:\Users\Administrator\pip这个文件夹下新建一个pip.ini文件,在里面插入[global] index-url = https://pypi

Python3使用requests模块实现显示下载进度的方法详解

相关推荐

随机推荐