详解NODEJS的http实现

一、前言

目前,HTTP协议是互联网上应用最为广泛的一种网络协议,也是前端er接触最多的一种协议。通过阅读http模块在nodejs中的实现,能够更深入的了解HTTP协议。HTTP协议是基于TCP协议之上的应用层协议,它的实现离不开TCP/IP协议族。而具体到代码实现,http模块依赖于net模块。

如下图所示:在nodejs中,http通过net模块传输数据,得到数据之后依靠HTTP_PARSER对数据进行解析。

二、源码

启动一个HTTP服务

nodejs中启动一个HTTP服务很简单,就是实例化一个Server对象,并且监听某个端口:

const Server = require('./libs/http').Server
const server = new Server( function(req, res) {
 res.writeHead(200)
 res.end('hello world')
})
server.listen(9999) 

SERVER类

Server类继承于net.Server,并监听'connection‘事件。

在Server类中,主要做了两件事: 1. 初始化NET模块并建立TCP网络监听 2. 监听自身的request事件

当客户端请求到来的时候,Server实例会首先监听到 'connection' 事件,建立起TCP连接并在connectionListener中暴露出socket对象。接下来,HTTP模块就通过socket对象与客户端进行数据交互。

当一个请求到来后,Server会触发自身的 request 事件,调用 requestListener 方法,即创建Server实例时传入的回调函数。

new Server( function(req, res) {
 res.writeHead(200)
 res.end('hello world')
})

注: socket对象类似于TCP协议的一个实现,可以通过它与客户端进行数据交互 注: 在 connectionListener 函数中,还初始化了parser实例,并给它绑定了一个 onIncoming 函数 HTTP Parser
整个解析流程在 connectionListener 中进行,socket 通过 'data' 事件获取TCP推入的数据

当socket获取到数据之后,会先对数据进行解析,即:parser.excute(),解析工具是parser。值得说明的是,作者为了实现对 parser 的重用, parser是从一个'FreeList池'中获取的。

...
const parser = parsers.alloc()
...
connectionListener(socket) {
  socket.on('data', socketOnData)

  // TCP推入数据,parser进行解析
  function socketOnData(d) {
    ...
    const ret = parser.execute(d)
    ...
  }
}

1、TCP数据到达时, 先执行execute()

2、顺藤摸瓜,我们发现parser.excute 就是 Excute(node_http_parser.cc)。而Excute也只是一个外包而已,具体工作是http_parser_excute(http_parser.c)搞定的。

node_http_parser.cc 只是对 http_parser.c 的一层包装,http_parser.c依靠对外暴露的7个回调周期函数与 node_http_parser.cc 进行数据交互。

3、http_parser.c只有两类回调:HTTP_CB、HTTP_DATA_CB。通过重载的方式,在这两类函数中注册了8个周期函数,如下图:

4、虽然http_parser注册有8个回调函数,但 node_http_parser.cc 对外只暴露出四个周期函数:

parserOnHeaders

parserOnHeadersComplete

parserOnBody

parserOnMessageComplete

5、当 http_parser.c 解析到 on_headers_complete 时,执行HTTP_CB(on_headers_complete)回调函数,如图:

函数内会执行 kOnHeadersComplete 回调函数,即:parserOnHeadersComplete 函数(common.js)

6、此时请求头解析基本完成,接下来创建一个IncomingMessage的实例,然后把请求头数据包装到该实例上。
执行 onIncoming 回调函数,并把得到的IncomingMessage实例作为参数传递进去。

function parserOnHeadersComplete (versionMajor, versionMinor, headers, method, url, statusCode, statusMessage, upgrade, shouldKeepAlive) {
  ...
  parser.incoming = new IncomingMessage(parser.socket)
  parser.incoming.httpVersionMajor = versionMajor
  parser.incoming.httpVersionMinor = versionMinor
  parser.incoming.httpVersion = versionMajor + '.' + versionMinor
  parser.incoming.url = url
  ...
  skipBody = parser.onIncoming(parser.incoming, shouldKeepAlive)

}

7、 在 parserOnIncoming 中,创建一个ServerResponse实例。

具备了req、res两个实例,接下来触发Server监听的 request 事件。

在 Server 实例化时的,requestListener是作为函数参数对 request 事件进行监听的。

8、回到Server创建时:

const server = new Server( function(req, res) {
  var data = ''
  req.on('data', function(chunk){
    console.log('chunk: ' + chunk)
    data += chunk;
  })
  res.writeHead(200)
  res.end('hello world')
})

综上所述,http_parser 解析完 header 之后,就会触发 request 事件。

那body数据放到哪里呢,其实body数据会一直放到流里面,直到用户使用data事件接收数据。也就是说,触发request的时候,body并不会被解析。

三、流程梳理

完整的http请求是这样的: - 客户端发起HTTP请求,首先触发Server端的connection事件,建立TCP链接。

Server接收到connection事件后,建立TCP连接,并暴露出套接字,通过套接字监听'data'事件;初始化http-parser,为后续解析数据备用。

HTTP请求数据到达Server端,parser执行execute方法进行解析,请求头解析成功后,通过回调触发request事件。

至此,我们在Server回调函数中,就接收到了此次http请求的request

四、结语

由于nodejs不少底层库都是C++/C编写的,在阅读、调试的过程中非常不便。我自己在读源码的时候,也只是着重看的JS部分源码。比如,TCP的三次握手、四次挥手,就没深究它的实现细节啦。 以上分析没有涉及到http-body的解析,对于有body的网络请求,实际情况要更加复杂一些,还有一些细节没有完全搞清。等下次总结、分享,我会尽量把漏掉细节都补上。

以上就是本次为大家分享的全部内容,感谢你对我们的支持。

(0)

相关推荐

  • 详解nodejs内置模块

    概述 nodejs内置模块指的是除默认提供的语法之外,提供的美容,无需下载,直接引入,引入只写名称即可. nodejs内置模块: 1.path模块  用于处理文件路径. path.normalize(路径解析,得到规范路径): path.join(路径合并): path.resolve(获取绝对路径): path.relative(获取相对路径). ...... 2.until模块  弥补js功能不足,新增API. util.format(格式化输出字符串); util.isArray(检查是否

  • 详解nodejs中的异步迭代器

    前言 从 Node.jsv10.0.0 开始,异步迭代器就出现中了,最近它们在社区中的吸引力越来越大.在本文中,我们将讨论异步迭代器的作用,还将解决它们可能用于什么目的的问题. 什么是异步迭代器 那么什么是异步迭代器?它们实际上是以前可用的迭代器的异步版本.当我们不知道迭代的值和最终状态时,可以使用异步迭代器,最终我们得到可以解决{value:any,done:boolean}对象的 promise.我们还获得了 for-await-of 循环,以帮助我们循环异步迭代器.就像 for-of 循环

  • 详解NodeJS模块化

    目录 一.前言 二.正文 2.1.什么是模块 2.2.Resolving 2.3.require.resolve 2.4.模块间的父子依赖关系 2.5.exports, module.exports 2.6.模块循环依赖 2.7..json和.node 2.8.Wrapping 2.9.Cache 三.总结 一.前言 我们知道,Node.js是基于CommonJS规范进行模块化管理的,模块化是面对复杂的业务场景不可或缺的工具,或许你经常使用它,但却从没有系统的了解过,所以今天我们来聊一聊Node

  • 详解nodeJs文件系统(fs)与流(stream)

    一.简介 本文将介绍node.js文件系统(fs)和流(stream)的一些API已经参数使用情况. 二.目录 文件系统将介绍以下方法: 1.fs.readFile 2.fs.writeFile 3.fs.open 4.fs.read 5.fs.stat 6.fs.close 7.fs.mkdir 8.fs.rmdir 9.fs.readdir 10.fs.unlink stream流的四种类型readable,writable,duplex,transform以及stream对象的事件. 三.

  • 详解Nodejs内存治理

    s运行的宿主环境不同,相应的对内存治理的要求也不一样,当宿主环境是浏览器时,由于网页的运行时间短,且只运行在用户的机器上(相当于分布式),即使内存使用过多或者存在一定的内存泄漏,也并不会对终端用户产生太大的影响.当宿主环境编程服务器(Node)时,情况就大不相同了,本身代码运行在固定的几台机器(集中式)上,而且运行的时间是长时间运行,一旦内存治理不好出现了内存膨胀甚至是内存泄漏的情况的话,就会出现服务器端响应时间变长甚至是服务crash的情况. Nodejs是基于V8构建的,所以在Node中使用

  • 详解NodeJS Https HSM双向认证实现

    工作中需要建立一套HSM的HTTPS双向认证通道,即通过硬件加密机(Ukey)进行本地加密运算的HTTPS双向认证,和银行的UKEY认证类似. NodeJS可以利用openSSL的HSM plugin方式实现,但是需要编译C++,太麻烦,作者采用了利用Node Socket接口,纯JS自行实现Https/Http协议的方式实现 具体实现可以参考如下 node-https-hsm TLS规范自然是参考RFC文档 The Transport Layer Security (TLS) Protocol

  • 详解Nodejs get获取远程服务器接口数据

    本文实例为大家分享了Nodejs get获取远程服务器接口数据的具体代码,供大家参考,具体内容如下 1.GET模块:_get.js /** * Created by jinx on 7/7/17. */ var http = require('http'); module.exports = { /** * 测试获取所有的区域 * / locations: function (cb) { http.get('http://wx.xx.com/locations', function (res)

  • 详解nodejs通过响应回写的方式渲染页面资源

    我们一般通过node框架提供的api操作页面渲染,如何利用原始回写的方式来实现同样的功能呢 下面是通过node 提供的异步地读取一个文件的全部内容api readFile进行操作,代码如下: html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content=&quo

  • 详解Nodejs 部署到阿里云全过程

    整个部署过程学到了不少东西,记录一下. 1. 到阿里云购买云服务器 ECS . https://www.aliyun.com/product/ecs 如果是在校学生,在淘宝有实名认证,且在学信网有注册,可以试试抢学生的首月优惠套餐. https://www.aliyun.com/act/aliyun/campus.html 作为一个穷逼+不熟悉服务器配置的菜鸟.选了最便宜的套餐: CPU: 1核 / 内存: 1024 MB / 带宽:1Mbps / 操作系统: CentOS 7.0 购买环节会设

  • 详解NodeJs项目 CentOs linux服务器线上部署

    1.安装nodejs 官网仓库下载好NodeJs的Linux包(我用的 node-v9.9.0-linux-x64.tar.gz)到本地然后通过FTP(filezilla)上传到服务器;或者可以直接在服务器终端使用 wget 命令下载. [root@10 /] wget https://nodejs.org/dist/v9.9.0/node-v9.9.0-linux-x64.tar.gz 1.解压 node-v9.9.0-linux-x64.tar.gz 找到你上传的位置目录 [root@10

随机推荐