说说node中的可读流和可写流的区别
前言
nodejs中大量的api与流有关，曾经看到公司的一些大神的node代码，实现一个接口只需要pipe一下另一个java接口就可以了。简单的一行代码实在让人困惑。作为小白的自己一脸懵逼却又不敢问，因为根本不知道从何问起。现在终于通过学习，也能对流说出个123，希望和大家共同交流。
流简介
流分为缓冲模式和对象模式，缓冲模式只能处理buffer或字符串，对象模式可以处理js对象。流又分为四种类型：可读流、可写流、双工流和转换流。后两种其实是对可读和可写流的应用。所以我想先聊聊可读流和可写流。
可读流
可读流有两种模式，并随时可以转换，我们可以通过监听可读流的事件来操作它。
两种模式(引用自node中文网的描述)：
1、流动模式：可读流自动读取数据，通过EventEmitter接口的事件尽快将数据提供给应用。
2、暂停模式：必须显式调用stream.read()方法来从流中读取数据片段。
暂停模式切换到流动模式的api有：
1、监听“data”事件
2、调用 stream.resume()方法
3、调用 stream.pipe()方法将数据发送到可写流
流动模式切换到暂停模式的api有：
1、如果不存在管道目标，调用stream.pause()方法
2、如果存在管道目标，调用 stream.unpipe()并取消'data'事件监听
可读流事件：'data','readable','error','close','end'
可写流
可写流相对较为简单，我们也可以通过监听它的事件来操作它。
可写流事件： 'close','drain','error','finish','pipe','unpipe'
举个栗子
我以一个简单的例子描述一个流最常见的场景，谈谈对这个过程的理解。例子就是:我要读取一个文件，然后把它的内容写到另一个文件（当然是用“流”的api，而不是用‘fs'模块的api）。
接下来我解释一下这张图：
如上图，当我们创建了一个可读流的时候，readable._readableState.flowing属性默认为null，这时我们有两种选择：
1、监听‘readable'事件，这时可读流会读取64k（可以在创建可读流时，通过option参数中的highWaterMark更改）数据到流的缓存区中，等待你用read方法去读取并消费数据，当你用read方法读了64k数据之后，会再次触发readable事件，直到你读完了源文件的所有数据。记住，之所以叫暂停模式是因为如果你不调用read方法，代码永远会停在这里，什么事情也不会发生了。
2、如果你选择监听‘data'事件，可读流会直接读取64k数据并通过‘data'事件的回掉函数提供给你消费，并且这个过程不会停止，如果源文件中有很多数据，会不停的触发‘data'事件，直到全部读取完成。当然，在这个过程中你随时可以通过stream.pause()方法暂停它。
那么，这两种模式有什么区别呢？在我理解，如果你不需要对数据进行精确控制，首先选择流动模式，因为它的效率更高。如果需要对流的过程进行精确控制则可以选择暂停模式。也就是说暂停模式是流更高级一些的用法。其实官方建议我们尽量不要手动去操作流，如果可以，尽量使用pipe方法。
接下来，不论我们以哪种方式读到了文件中的数据，这时我们都可以创建一个可写流并调用可写流的write方法来消费读到的数据。调用write方法会向文件中写入数据，但是因为写入的速度较慢，如果当前写入还在进行，而你又调用了write方法，node会将你要写入的数据缓存在一个缓存区中，等到文件写入完毕会从缓存区中取出数据，继续写入。
write方法拥有一个布尔类型的返回值，用来表示目前是否还可以继续调用write方法写入内容。如果返回false，我们应当停止读取数据以避免消耗过多内存。那么什么时候会返false呢？就是当缓存区的大小大于16k（可以在创建可读流时，通过option参数中的highWaterMark更改）时。
缓存区满后，文件写入一直在进行，不一会儿会把缓存区的内容全部写入，缓存区处于清空状态，这时会触发可写流的‘drain'事件，这时我们可以继续向文件写入数据了。注意：如果缓存区从未满过，‘drain'事件永远也不会触发。
那么这张图对应到代码是什么样的呢：
let fs = require('fs');
//创建可读可写流
let rs = fs.createReadStream('./1.txt');
let ws = fs.createWriteStream('./2.txt');
//监听‘data'事件，开启流动模式
rs.on('data',function (data) {
//对应图中的可写流true和false
let flag = ws.write(data);
if(!flag){
//如果可写流返回false，我们应当停止读取，以避免消耗过多内存
rs.pause();
}
});
//对应图中的drain事件
ws.on('drain',function () {
//重新开启流动模式
rs.resume();
});
//使用可读流的暂停模式
function read() {
let data = rs.read()
let flag = ws.write(data);
if(flag){
read()
}
}
rs.on('readable',function(){
read()
})
ws.on('drain',function () {
read()
});
结尾
可读和可写流的用法和api还有很多，这里只是简单的梳理了一下基本过程，如果有描述不准确的地方还请大家在评论区多指正。
参考资料
- https://nodejs.org/dist/latest-v8.x/docs/api/stream.html
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。
相关推荐
-
node.js 利用流实现读写同步,边读边写的方法
如下所示: //10个数 10个字节,每次读4b,写1b let fs=require("fs"); function pipe(source,target) { //先创建可读流,再创建可写流 //先读一次,rs.on(data) //将读到的类容写入目标中 ,返回布尔值,如果是ture,继续写,默认情况应该是false,暂停读取 //ws.on('drain'),抽干后,回复读取 //监听读取文件完毕后,关闭读取rs.on('end') let rs=fs.createReadSt
-
详解NODEJS基于FFMPEG视频推流测试
以ffmpeg为核心,包装一款局域网内接收转码并推送互联网的客户端软件.本文仅使用ffmpeg基础功能,拉流.转码.推流及简单播放设置. 工作流程 拉取远端视频流,视频流格式为 rtsp 转换为常用播放格式 rtmp 推送至播放端口 rtmp://您的推送端地址,用户使用播放软件连接该地址后可以直接进行内容播放 所需工具及软件 1.ffmpeg 命令行工具官网链接,选择它的优势在于: 免费 无需安装,很大的减少用户操作复杂度 命令行启动调用 2.nodejs 版本号为 v6.11.3.(实际项目
-
Node.js 使用流实现读写同步边读边写功能
废话不多说了,直接给大家贴代码了,具体代码如下所示: //10个数 10个字节,每次读4b,写1b let fs=require("fs"); function pipe(source,target) { //先创建可读流,再创建可写流 //先读一次,rs.on(data) //将读到的类容写入目标中 ,返回布尔值,如果是ture,继续写,默认情况应该是false,暂停读取 //ws.on('drain'),抽干后,回复读取 //监听读取文件完毕后,关闭读取rs.on('end') l
-
Node.js中流(stream)的使用方法示例
前言 本文主要给大家介绍了关于Node.js 流(stream)的使用方法,分享出来供大家参考学习,下面话不多说,来一起看看详细的介绍: 流是基于事件的API,用于管理和处理数据,而且有不错的效率.借助事件和非阻塞I/O库,流模块允许在其可用的时候动态处理,在其不需要的时候释放掉. 使用流的好处 举一个读取文件的例子: 使用fs.readFileSync同步读取一个文件,程序会被阻塞,所有的数据都会被读取到内存中. 换用fs.readFile读取文件,程序不会被阻塞,但是所有的数据依旧会被一次性
-
浅谈Node.js之异步流控制
前言 在没有深度使用函数回调的经验的时候,去看这些内容还是有一点吃力的.由于Node.js独特的异步特性,才出现了"回调地狱"的问题,这篇文章中,我比较详细的记录了如何解决异步流问题. 文章会很长,而且这篇是对异步流模式的解释.文中会使用一个简单的网络蜘蛛的例子,它的作用是抓取指定URL的网页内容并保存在项目中,在文章的最后,可以找到整篇文章中的源码demo. 1.原生JavaScript模式 本篇不针对初学者,因此会省略掉大部分的基础内容的讲解: (spider_v1.js) con
-
深入nodejs中流(stream)的理解
nodejs的fs模块并没有提供一个copy的方法,但我们可以很容易的实现一个,比如: var source = fs.readFileSync('/path/to/source', {encoding: 'utf8'}); fs.writeFileSync('/path/to/dest', source); 这种方式是把文件内容全部读入内存,然后再写入文件,对于小型的文本文件,这没有多大问题,比如grunt-file-copy就是这样实现的.但是对于体积较大的二进制文件,比如音频.视频文件,动
-
使用 Node.js 开发资讯爬虫流程
最近项目需要一些资讯,因为项目是用 Node.js 来写的,所以就自然地用 Node.js 来写爬虫了 项目地址:github.com/mrtanweijie-,项目里面爬取了 Readhub . 开源中国 . 开发者头条 . 36Kr 这几个网站的资讯内容,暂时没有对多页面进行处理,因为每天爬虫都会跑一次,现在每次获取到最新的就可以满足需求了,后期再进行完善 爬虫流程概括下来就是把目标网站的HTML下载到本地再进行数据提取. 一.下载页面 Node.js 有很多http请求库,这里使用 req
-
详解nodeJs文件系统（fs）与流（stream）
一.简介 本文将介绍node.js文件系统(fs)和流(stream)的一些API已经参数使用情况. 二.目录 文件系统将介绍以下方法: 1.fs.readFile 2.fs.writeFile 3.fs.open 4.fs.read 5.fs.stat 6.fs.close 7.fs.mkdir 8.fs.rmdir 9.fs.readdir 10.fs.unlink stream流的四种类型readable,writable,duplex,transform以及stream对象的事件. 三.
-
详解Node.js串行化流程控制
串行任务:需要一个接着一个坐的任务叫做串行任务. 可以使用回调的方式让几个异步任务按顺序执行,但如果任务过多,必须组织一下,否则过多的回调嵌套会把代码搞得很乱. 为了用串行化流程控制让几个异步任务按顺序执行,需要先把这些任务按预期的执行顺序放到一个数组中,这个数组将起到队列的作用:完成一个任务后按顺序从数组中取出下一个. 数组中的每个任务都是一个函数.任务完成后应该调用一个处理器函数,告诉它错误状态和结果. 为了演示如何实现串行化流程控制,我们准备做个小程序,让它从一个随机选择的RSS预定源中获
-
说说node中的可读流和可写流的区别
前言 nodejs中大量的api与流有关,曾经看到公司的一些大神的node代码,实现一个接口只需要pipe一下另一个java接口就可以了.简单的一行代码实在让人困惑.作为小白的自己一脸懵逼却又不敢问,因为根本不知道从何问起.现在终于通过学习,也能对流说出个123,希望和大家共同交流. 流简介 流分为缓冲模式和对象模式,缓冲模式只能处理buffer或字符串,对象模式可以处理js对象.流又分为四种类型:可读流.可写流.双工流和转换流.后两种其实是对可读和可写流的应用.所以我想先聊聊可读流和可写流.
-
node.js中stream流中可读流和可写流的实现与使用方法实例分析
本文实例讲述了node.js中stream流中可读流和可写流的实现与使用方法.分享给大家供大家参考,具体如下: node.js中的流 stream 是处理流式数据的抽象接口.node.js 提供了很多流对象,像http中的request和response,和 process.stdout 都是流的实例. 流可以是 可读的,可写的,或是可读可写的.所有流都是 events 的实例. 一.流的类型 node.js中有四种基本流类型: 1.Writable 可写流 (例:fs.createWriteS
-
python中使用xlrd读excel使用xlwt写excel的实例代码
在数据分析和运营的过程中,有非常多的时候需要提供给别人使用,提供的形式有很多种,最经常使用的是Excel, 而 数据的统计和分析采用的是 python, 使用 python 把数据存在Excel 也是常见的事情,也有很多的库帮我们做了很多引擎的事情,比如说xlrd 和xlwt, 分别为读excel和写excel. 安装xlrd和xlwt python中安装第三方模块都较为简单,同样的使用pip 命令就可以: pip install xlrd pip install xlwt 在这里准备上一份Ex
-
Node中的streams流的具体使用
目录 Node中的streams流 转换流 创建 对象模式 最后 Node中的streams流 streams流是Node中的最好的特性之一.它在我们的开发过程当中可以帮助我们做很多事情.比如通过流的方式梳理大量数据,或者帮我们分离应用程序. 和streams流相关的内容有哪些呢?大致有这么几点: 处理大量数据 使用管道方法 转换流 读写流 解耦I/O 转换流 Node中的流其实是允许我们进行异步编程的.最常见的就是转换流,它就像是一个接收输入并且产生输出的大黑盒子. 举个例子: const t
-
详解如何模拟实现node中的Events模块(通俗易懂版)
Nodejs 的大部分核心 API 都是基于异步事件驱动设计的,事件驱动核心是通过 node 中 Events 对象来实现事件的发送和监听回调绑定,我们常用的 stream 模块也是依赖于 Events 模块是来实现数据流之间的回调通知,如在数据到来时触发 data 事件,流对象为可读状态触发 readable 事件,当数据读写完毕后发送 end 事件. 既然 Events 模块如此重要,我们有必要来学习一下 Events 模块的基本使用,以及如何模拟实现 Events 模块中常用的 api 一
-
详解C++编程中的重载流插入运算符和流提取运算符
C++的流插入运算符"<<"和流提取运算符">>"是C++在类库中提供的,所有C++编译系统都在类库中提供输入流类istream和输出流类ostream.cin和cout分别是istream类和ostream类的对象.在类库提供的头文件中已经对"<<"和">>"进行了重载,使之作为流插入运算符和流提取运算符,能用来输出和输入C++标准类型的数据.因此,凡是用"cout&
-
node中使用shell脚本的方法步骤
背景 在开发中我们在特定的场合下可能需要一些脚本来批量处理我们的业务逻辑,在nodejs如何调用shell脚本呢? 新建 项目下新建脚本文件 touch newFile.sh 修改文件权限 chmod 777 newFile.sh 修改文件为可读可写可执行 nodejs调用 文件读取 //使用nodejs的子进程里面的文件读取方法 const { execFile } = require('child_process'); 示例 DocsService.publishAllDocs = (req
-
浅谈node中的exports与module.exports的关系
因为是做前端的,对node的生态一直也比较关注,对于node中对commonJS模块化的实现给了我们很大的方便,之前对于导出的module.exports和exports一直模模糊糊,今天做一个整理 先来个js基础部分的复习 let obj1 = {} let obj2 = obj1 obj2.a = 'a' obj1.b = 'b' console.log(obj1) //{a: 'a', b: 'b'} console.log(obj2) //{a: 'a', b: 'b'} obj2 =
-
详解Node中导入模块require和import的区别
ES6标准发布后,module成为标准,标准的使用是以export指令导出接口,以import引入模块,但是在我们一贯的node模块中,我们采用的是CommonJS规范,使用require引入模块,使用module.exports导出接口. 不把require和import整清楚,会在未来的标准编程中死的很难看. require时代的模块 node编程中最重要的思想之一就是模块,而正是这个思想,让JavaScript的大规模工程成为可能.模块化编程在js界流行,也是基于此,随后在浏览器端,req
-
深入理解Node中的buffer模块
在Node.ES2015出现之前,前端工程师只需要进行一些简单的字符串或DOM操作就可以满足业务需要,所以对二进制数据是比较陌生.node出现以后,前端面对的技术场景发生了变化,可以深入到网络传输.文件操作.图片处理等领域,而这些操作都与二进制数据紧密相关. Node里面的buffer,是一个二进制数据容器,数据结构类似与数组,数组里面的方法在buffer都存在(slice操作的结果不一样).下面就从源码(v6.0版本)层面分析,揭开buffer操作的面纱. 1. buffer的基本使用 在No