node实现分片下载的示例代码
本文基于http Range Requests协议，实现了分片下载的功能。
使用场景包括基于浏览器的流文件片段传输、基于客户端的分片下载等。
原理
http通过Range Requests相关的header，可以与服务器进行协商，实现分部分的请求。
这里就不细说具体协议内容了，具体可以参考这两篇文章，解释的非常详细：
- https://tools.ietf.org/html/rfc7233
- https://www.jb51.net/article/68284.htm
下面贴一下实现过程。
服务端代码
服务端用node实现：
app.use(async ctx => {
const file = path.join(__dirname, `${PATH}${ctx.path}`);
// 1、404检查
try {
fs.accessSync(file);
} catch (e) {
return ctx.response.status = 404;
}
const method = ctx.request.method;
const { size } = fs.statSync(file);
// 2、响应head请求，返回文件大小
if ('HEAD' == method) {
return ctx.set('Content-Length', size);
}
const range = ctx.headers['range'];
// 3、通知浏览器可以进行分部分请求
if (!range) {
return ctx.set('Accept-Ranges', 'bytes');
}
const { start, end } = getRange(range);
// 4、检查请求范围
if (start >= size || end >= size) {
ctx.response.status = 416;
return ctx.set('Content-Range', `bytes */${size}`);
}
// 5、206分部分响应
ctx.response.status = 206;
ctx.set('Accept-Ranges', 'bytes');
ctx.set('Content-Range', `bytes ${start}-${end ? end : size - 1}/${size}`);
ctx.body = fs.createReadStream(file, { start, end });
});
app.listen(3000, () => console.log('partial content server start'));
function getRange(range) {
var match = /bytes=([0-9]*)-([0-9]*)/.exec(range);
const requestRange = {};
if (match) {
if (match[1]) requestRange.start = Number(match[1]);
if (match[2]) requestRange.end = Number(match[2]);
}
return requestRange;
}
代码实现的功能逻辑大致是：
- 对请求的资源做检查，不存在则响应404
- 对于HEAD请求，返回资源大小
- 如果GET请求没有告知range，返回Content-Length，告知浏览器可以进行分片请求
- 如果请求设置了range，则检查range是否合法，不合法返回合法的rangge
- 一切正常，获取文件range范围部分，做流响应
代码很简单，把Range Requests协议对应实现一遍就ok了，当然这里没有完全实现协议的内容，但已经满足了这里演示的需求。
服务端代码ok了，用一个浏览器的demo来检验一下。
浏览器例子
现代浏览器基本都实现了Range Requests，这里用audio标签作为例子。
<html>
<head>
<title>分片流传输</title>
<script type="text/javascript">
function jump() {
const player = document.getElementById('musicPlayer');
// 从30s开始播放
player.currentTime = 30;
}
</script>
</head>
<body>
<audio id="musicPlayer" src="http:127.0.0.1:3000/source.mp3" controls></audio>
<button onclick="jump()">切到30s</button>
</body>
</html>
最终的效果是这样的：
对比两张图，当html加载完成，浏览器自动请求资源，此时header有Range: bytes=0-，表示从第0 byte开始加载资源；当点击跳到30s处播放时，此时header变成了Range: bytes=3145728-。
同样用这个服务端代码，还可以实现一个客户端，模拟一下分包下载。
node分包下载
这个例子演示了，对一个资源，并发的实现分部分的下载，然后再合并成一个文件。
这里也是用node实现：
import request from 'request';
import path from 'path';
import fs from 'fs';
const SINGLE = 1024 * 1000;
const SOURCE = 'http://127.0.0.1:3000/source.mp3';
request({
method: 'HEAD',
uri: SOURCE,
}, (err, res) => {
if (err) return console.error(err);
const file = path.join(__dirname, './download/source.mp3');
try {
fs.closeSync(fs.openSync(file, 'w'));
} catch (err) {
return console.error(err);
}
const size = Number(res.headers['content-length']);
const length = parseInt(size / SINGLE);
for (let i=0; i<length; i++) {
let start = i * SINGLE;
let end = i == length ? (i + 1) * SINGLE - 1 : size - 1;
request({
method: 'GET',
uri: SOURCE,
headers: {
'range': `bytes=${start}-${end}`
},
}).on('response', (resp) => {
const range = resp.headers['content-range'];
const match = /bytes ([0-9]*)-([0-9]*)/.exec(range);
start = match[1];
end = match[2];
}).pipe(fs.createWriteStream(file, {start, end}));
}
});
代码比较简单，就是开启多个http请求，并发的下载资源，然后根据响应的content-range，写到文件的对应位置。
参考文章：
https://tools.ietf.org/html/rfc7233
https://www.jb51.net/article/68284.htm
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。
相关推荐
-
Nodejs实现批量下载妹纸图
听说最近下载妹子图很火? Nodejs (javascrpt)自然不能落后~ 虽然从没写过像样的Nodejs程序,但作为至少翻过书的前端同学来说,Nodejs用得还蛮顺手的哈~ 花了一点事件学习了下Nodejs的网页获取和文件下载方法,没事乱捣腾就写了这个半成品的下载器 使用方法: 1)新建一个download目录 2)新建download.js(其实名字随便取),并复制到download目录下 3)复制两段代码到download.js中 4)打开命令行工具,并将当前目录转到与download目
-
nodejs批量下载图片的实现方法
今天想获取一大批猫的图片,然后就在360流浪器搜索框中输入猫,然后点击图片.就看到了一大波猫的图片:http://image.so.com/i?q=%E7%8...,我在想啊,要是审查元素,一张张手动下载,多麻烦,所以打算写程序来实现.不写不知道,一写发现里面还是有很多道道的. 1. 爬取图片链接 因为之前也写过nodejs爬虫功能,所以觉得应该很简单,就用cheerio来处理dom啦,结果打印一下啥也没有,后来查看源代码: 发现waterfall_zoom里面空空如也,查找了一下,发现所有的数
-
node.js读取Excel数据（下载图片）的方法示例
前言 因为组织观影活动需要统计报名和收集影评,选择微信小程序"报名工具",管理员下载数据发现影评只是一个图片的URL链接,需要自己手动下载,哪里能难倒程序员? 1. 下载的Excel数据表: 2. 代码: const xlsx = require('xlsx'); const mkdirp = require('mkdirp'); const request = require('request'); const fs = require('fs'); const workbook =
-
nodejs multer实现文件上传与下载
本文实例为大家分享了nodejs实现文件上传下载的具体代码,供大家参考,具体内容如下 1.介绍 做了一个关于文件上传和下载的demo ,选择了Multer 作为中间件进行数据处理. 关于multer请参考中文翻译文档 https://github.com/expressjs/multer/blob/master/doc/README-zh-cn.md 或者官方文档 2. upload 文件上传 html form标签内设置enctype="multipart/form-data"是必须
-
node.js 模块和其下载资源的镜像设置的方法
以前安装 electron 时总是失败,然后就在淘宝镜像上下载好相应版本的文件放到用户目录来解决问题. 后来研究发现 npm 不仅可以设置 node.js 模块仓库的代理, 同样可以设置像 electron.phantomjs. node-sass 等模块的镜像代理 一.设置淘宝镜像 (共三种方法) 1.环境变量 Unix: # electron export ELECTRON_MIRROR=https://npm.taobao.org/mirrors/electron/ # phantomjs
-
NodeJS使用Range请求实现下载功能的方法示例
前言 本篇使用 NodeJS 的 HTTP 服务创建客户端,使用 Range 请求实现下载功能,并通过本篇的 Demo 扩展在业务中实现断点续传等功能的思路. 服务端的实现 我们通过 http 模块创建服务器处理 Range 请求,在服务器代码中我们为了减少回调嵌套使用 async 函数,所以需要将异步的操作方法转换成 Promise,以往我们使用 util 的 promisify 来一个一个转换异步方法,比较麻烦,我们这次使用第三方模块 mz 并直接引入转换好的替代模块. 使用 mz 之前需要
-
node实现分片下载的示例代码
本文基于http Range Requests协议,实现了分片下载的功能. 使用场景包括基于浏览器的流文件片段传输.基于客户端的分片下载等. 原理 http通过Range Requests相关的header,可以与服务器进行协商,实现分部分的请求. 这里就不细说具体协议内容了,具体可以参考这两篇文章,解释的非常详细: https://tools.ietf.org/html/rfc7233 https://www.jb51.net/article/68284.htm 下面贴一下实现过程. 服务端代
-
node实现定时发送邮件的示例代码
本文介绍了node实现定时发送邮件的示例代码,分享给大家,具体如下: 定时发送,可做提醒使用 nodemailer nodemailer 是一款简单易用的基于于SMTP协议(或 Amazon SES)的邮件发送组件 cron cron可以指定每隔一段时间执行指定的程序.也可以指定每天的某个时刻执行某个程序.还可以按照星期.月份来指定. npm install nodemailer -S npm install nodemailer-smtp-transport -S npm install cr
-
Python爬虫实现vip电影下载的示例代码
爬虫目的 实现对各大视频网站vip电影的下载,因为第三方解析网站并没有提供下载的渠道,因此想要实现电影的下载. 实现思路 1.选择一个合适的vip解析网站,这里选择了无名小站的接口,因为尝试了很多网站,有些网站想要爬取很困难,无名小站相对简单,接口为www.wmxz.wang/video.php?url=[vip电影的链接] 2.利用Fiddler进行抓包,模拟浏览器发送post请求,获取电影实际下载地址. 3.使用PyQt5进行包装,实现多样化的功能.(可选) 页面分析 我使用Fiddler抓
-
python爬取音频下载的示例代码
抓取"xmly"鬼故事音频 import json # 在这个url,音频链接为JSON动态生成,所以用到了json模块 import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36" } # 请求网页
-
Go Gin实现文件上传下载的示例代码
Go Gin 实现文件的上传下载流读取 文件上传 router router.POST("/resources/common/upload", service.UploadResource) service type: POST data:{ "saveDir":"保存的路径", "fileName":"文件名称不带后缀" } // 上传文件 func UploadResource(c *gin.Conte
-
Spring Cloud Feign实现文件上传下载的示例代码
目录 独立使用Feign 上传文件 下载文件 使用Spring Cloud Feign 上传文件 下载文件 总结 Feign框架对于文件上传消息体格式并没有做原生支持,需要集成模块feign-form来实现. 独立使用Feign 添加模块依赖: <!-- Feign框架核心 --> <dependency> <groupId>io.github.openfeign</groupId> <artifactId>feign-core</arti
-
PHP实现文件上传和下载的示例代码
目录 1.效果图 2.首先是封装好的图片类(缩放及生成水印) 1.GDBasic.php 2.Image.php 3.ajax类封装文件 1.index.php 2.图片相关功能处理 3.封装好的文件上传类 4.搜索功能实现 4.最后数据库格式 1.效果图 2.首先是封装好的图片类(缩放及生成水印) 1.GDBasic.php <?php /** * GDBasic.php * description GD基础类 */ namespace test\Lib; class GDBasic { pr
-
JS下载文件|无刷新下载文件示例代码
后台代码Handler.ashx 复制代码 代码如下: <%@ WebHandler Language="C#" Class="Handler" %> using System; using System.Web; public class Handler : IHttpHandler { public void ProcessRequest (HttpContext context) { string fileName = "web.conf
-
Koa2 之文件上传下载的示例代码
前言 上传下载在 web 应用中还是比较常见的,无论是图片还是其他文件等.在 Koa 中,有很多中间件可以帮助我们快速的实现功能. 文件上传 在前端中上传文件,我们都是通过表单来上传,而上传的文件,在服务器端并不能像普通参数一样通过 ctx.request.body 获取.我们可以用 koa-body 中间件来处理文件上传,它可以将请求体拼到 ctx.request 中. // app.js const koa = require('koa'); const app = new koa(); c
-
Spring Boot 文件上传与下载的示例代码
文件的上传及下载功能是开发人员在日常应用及编程开发中经常会遇到的.正好最近开发需要用到此功能,虽然本人是 Android 开发人员,但还是业余客串了一下后台开发. 在本文中,您将学习如何使用 Spring Boot 实现 Web 服务中的文件上传和下载功能.首先会构建一个 REST APIs 实现上传及下载的功能,然后使用 Postman 工具来测试这些接口,最后创建一个 Web 界面使用 JavaScript 调用接口演示完整的功能.最终界面及功能如下: 项目环境 - Spring Boot