http通过StreamingHttpResponse完成连续的数据传输长链接方式

目录
  • http通过StreamingHttpResponse完成连续的数据传输长链接
    • 问题
    • 输出
    • 输入
  • StreamingHttpResponse和HttpResponse

http通过StreamingHttpResponse完成连续的数据传输长链接

问题

http服务之间传递结果流

一个由flask封装起来的算法，一个由django封装的后台，我希望在django里通过requests调用flask的算法接口，flask可以分析一帧返回一帧结果，追求分析结果的实时返回，而不是完全分析完再完整返回结果

为了能完整返回结果，暂时想到的模式有以下三种：

  • 一问一答：等待完整的分析结果，然后返回，最不济就用这种
  • 我要你给（长链接）：flask返回一个generator，django取next就得到下一个的结果
  • 你有你给（理想，长链接）：建立长链接，flask每分析出一帧结果，就返回

一次结果，直到分析结束，关闭连接

看到flask中有个flask_socketio建立socket连接，还没有实验

暂时用StreamingHttpResponse，generater能实现实时分析的感觉，属于第三种模式（你有你给）

django的StreamingHttpResponse可以返回generater，request调用返回generate的接口的时候，通过contextlib 的closing对流进行处理：

输出

#django 算法端，输出流
from django.http import StreamingHttpResponse
def stream_response(request):                  
    def generate():                            
        for i in range(10):                    
            print(i)                           
            yield 'hi ' + str(i)               
            print('sleep 3')                   
            time.sleep(1)                      
    return StreamingHttpResponse(generate(), ) 
#flask 算法端，输出流
@app.route('/re', methods=('POST', ))
def re():
    @flask.stream_with_context
    def generate():
        for i in range(10):                    
            print(i)                           
            yield 'hi ' + str(i)
            print('sleep 3')                   
            time.sleep(1)
    return flask.Response(generate())

输入

不区分flask，django，都可以通过request，contextlib 实现

#flask 算法端
@app.route('/test', methods=['POST', 'GET'])
def test():
    url = 'http://172.16.68.151:8000/test2'
    from contextlib import closing
    with closing(requests.get(url, stream=True)) as r1:
        for i in r1.iter_content():
            print(i)

StreamingHttpResponse和HttpResponse

在修改以前的文件下载功能时，发现一个文件有5G，用HttpResponse实现时，服务器返回502错误，查看nginx log时，发现nginx log记录的是： upstream prematurely closed connection while reading response header from upstream。应该是nginx服务器从上游获取数据时超时了。

查了很多办法，修改了nginx的配置，但是仍然超时。

绝望之下，查了一下Django的文档，发现了StreamingHttpResponse，试了一下效率提高了很多。

后来仔细查了一下发现HttpResponse在使用文件迭代器时：

HttpResponse will consume the iterator immediately, store its content as a string, and discard it.

HttpResponse会直接使用迭代器对象，将迭代器对象的内容存储城字符串，然后返回给客户端，同时释放内存。可以当文件变大看出这是一个非常耗费时间和内存的过程。

而StreamingHttpResponse是将文件内容进行流式传输，

StreamingHttpResponse在官方文档的解释是：

The StreamingHttpResponse class is used to stream a response from Django to the browser. You might want to do this if generating the response takes too long or uses too much memory.

这是一种非常省时省内存的方法。但是因为StreamingHttpResponse的文件传输过程持续在整个response的过程中，所以这有可能会降低服务器的性能。

参考文档

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 详解Django关于StreamingHttpResponse与FileResponse文件下载的最优方法

    1 StreamingHttpResponse下载 StreamingHttpResponse(streaming_content):流式相应,内容的迭代器形式,以内容流的方式响应. 注:StreamingHttpResponse一般多现实在页面上,不提供下载. 以下为示例代码 def streamDownload(resquest): def file_iterator(filepath, chunk_size = 512): with open(filepath, 'rb') as f: w

  • 超简单的Python HTTP服务

    超如果你急需一个简单的Web Server,但你又不想去下载并安装那些复杂的HTTP服务程序,比如:Apache,ISS等.那么, Python 可能帮助你.使用Python可以完成一个简单的内建 HTTP 服务器.于是,你可以把你的目录和文件都以HTTP的方式展示出来.佻只需要干一件事情,那就是安装一个Python. 实际上来说,这是一个可以用来共享文件的非常有用的方式.实现一个微型的HTTP服务程序来说是很简单的事情,在Python下,只需要一个命令行.下面是这个命令行:(假设我们需要共享我

  • Python实现基于HTTP文件传输实例

    本文实例讲述了Python实现基于HTTP文件传输的方法.分享给大家供大家参考.具体实现方法如下: 一.问题: 因为需要最近看了一下通过POST请求传输文件的内容 并且自己写了Server和Client实现了一个简单的机遇HTTP的文件传输工具 二.实现代码: Server端: 复制代码 代码如下: #coding=utf-8 from BaseHTTPServer import BaseHTTPRequestHandler import cgi class   PostHandler(Base

  • http通过StreamingHttpResponse完成连续的数据传输长链接方式

    目录 http通过StreamingHttpResponse完成连续的数据传输长链接 问题 输出 输入 StreamingHttpResponse和HttpResponse http通过StreamingHttpResponse完成连续的数据传输长链接 问题 http服务之间传递结果流 一个由flask封装起来的算法,一个由django封装的后台,我希望在django里通过requests调用flask的算法接口,flask可以分析一帧返回一帧结果,追求分析结果的实时返回,而不是完全分析完再完整

  • IOS 长链接与短链接之间的转换

    IOS 长链接与短链接之间的转换 首先需要将字符串使用md5加密,添加NSString的md5的类别方法如下 .h文件 #import <CommonCrypto/CommonDigest.h> @interface NSString (md5) -(NSString *) md5HexDigest; @end .m文件 #import "NSString+md5.h" @implementation NSString (md5) - (NSString *) md5Hex

  • node.js chat程序如何实现Ajax long-polling长链接刷新模式

    废话不多说,开始今天的主题.纵观这个程序,感觉它的最可贵之处,在于展示了,如何用nodejs实现长链接模式的刷新技术. (这个程序不详细介绍,重点讲解这个功能) Client.js 首先看一段核心代码: 复制代码 代码如下: function longPoll (data) { //....此处省略**行 $.ajax({ cache: false , type: "GET" , url: "/recv" , dataType: "json" ,

  • iOS WebSocket长链接的实现方法

    WebSocket WebSocket 是 HTML5 一种新的协议.它实现了浏览器与服务器全双工通信,能更好的节省服务器资源和带宽并达到实时通讯,它建立在 TCP 之上,同 HTTP 一样通过 TCP 来传输数据,但是它和 HTTP 最大不同是:WebSocket 是一种双向通信协议. 由于项目需要创建一个聊天室,需要通过长链接,和后台保持通讯,进行聊天,并且实时进行热点消息的推送. 目前Facebook的SocketRocket应该是目前最好的关于SocketRocket使用的框架了.而且简

  • 使用pandas实现连续数据的离散化处理方式(分箱操作)

    Python实现连续数据的离散化处理主要基于两个函数,pandas.cut和pandas.qcut,前者根据指定分界点对连续数据进行分箱处理,后者则可以根据指定箱子的数量对连续数据进行等宽分箱处理,所谓等宽指的是每个箱子中的数据量是相同的. 下面简单介绍一下这两个函数的用法: # 导入pandas包 import pandas as pd ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32] # 待分箱数据 bins = [18, 25,

  • Pytorch DataLoader 变长数据处理方式

    关于Pytorch中怎么自定义Dataset数据集类.怎样使用DataLoader迭代加载数据,这篇官方文档已经说得很清楚了,这里就不在赘述. 现在的问题:有的时候,特别对于NLP任务来说,输入的数据可能不是定长的,比如多个句子的长度一般不会一致,这时候使用DataLoader加载数据时,不定长的句子会被胡乱切分,这肯定是不行的. 解决方法是重写DataLoader的collate_fn,具体方法如下: # 假如每一个样本为: sample = { # 一个句子中各个词的id 'token_li

  • BootStrap Table实现server分页序号连续显示功能（当前页从上一页的结束序号开始）

    BootStrap Table实现server分页序号连续显示功能（当前页从上一页的结束序号开始）

    前言 在使用bootstrap table的时候难免会用到分页,分页它提供了两种方式:client客户端分页.server服务端分页两种方式. 在项目中一般是不用client分页的,一般表格数据量大,用client分页会导致缓存爆炸,所以我们选择server分页. 存在即合理,client也是可以用的(数据量特别少的时候),相对于server方式,它的分页序号是自动连续的.而server方式分页的序号就不连续的了(每一页都是从1开始,而不是从上一页的结束序号开始),本文就着重解决这个问题. 原始

  • PHP长网址与短网址的实现方法

    顾名思义,长链接就是一个很长的链接;短链接就是一个很短的链接.长链接可以生成短链接,短链接来源于长链接. 什么是长链接.短链接 顾名思义,长链接就是一个很长的链接;短链接就是一个很短的链接.长链接可以生成短链接,短链接来源于长链接. 为什么要使用长链接.短链接 更加美观,我们可以对长链接和短链接进行对比,很显然可以看出短链接相对成链接来说更加的短小,显得更加的美观. 安全性,长链接可能会携带一些参数,例如http://xxx.xxx.xxx?id=1¶m1=san,我们能够轻松的看出,该url采

  • Android ListView长按弹出菜单二种实现方式示例

    复制代码 代码如下: /** * 知识点1:ListView item:两种长按弹出菜单方式* 知识点2:ListView SimpleAdapter的使用* 知识点 3:在java代码中创建一个ListView*/ public class ListOnLongClickActivity extends Activity {         private LinearLayout myListViewlayout;         private ListView mListView;   

  • Python爬取视频时长场景实践示例

    Python爬取视频时长场景实践示例

    目录 简介: 获取视频时长的方式 安装 获取视频时长的3种方式对比 简介: 在视频相关测试场景下,例如:有时需要知道全部视频的汇总时长,显然一个个打开并且手工计算耗时耗力,我们可以通过编写脚本进行快速汇总. 获取视频时长的方式 1.通过subprocess进行获取. 2.通过moviepy库中VideoFileClip获取. 3.通过cv2库获取. 安装 1.subprocess:无需安装,Python内置. 2.moviepy:pip install moviepy. 3.cv2:pip in

随机推荐