一文详解Golang中net/http包的实现原理

目录
  • 前言
    • http包执行流程
  • http包源码分析
    • 端口监听
    • 请求解析
    • 路由分配
    • 响应处理

前言

Go语言自带的net/http包提供了HTTP客户端和服务端的实现,实现一个简单的http服务非常容易,其自带了一些列结构和方法来帮助开发者简化HTTP服务开发的相关流程,因此我们不需要依赖任何第三方组件就能构建并启动一个高并发的HTTP服务器,net/http包在编写web应用中有很重要的作用,这篇文章会学习如何用 net/http 自己编写实现一个 HTTP Server 并探究其实现原理,具体讲解Go语言是如何接收和处理请求的,希望能够对大家的学习或工作具有一定的帮助,需要的朋友可以参考下。

http包执行流程

net/http包的web工作原理大致就是如下四个部分组成了:端口监听、请求解析、路由分配、响应处理。更加代码化的说就是:创建 ServerSocket, 绑定并listen,accept连接,创建go协程服务一个连接。

具体流程如下:

  • 服务端创建Listen Socket,绑定并监听指定的IP地址和端口,等待客户端请求到来; ListenAndServer(...)
  • 客户端与Listen Socket连接,确认请求后,客户端得到Client Socket,客户端通过这个与Listen Socket 通信;srv.Server(...)
  • 服务端创建一个协程来处理客户端请求,首先从Client Socket读取Http请求的协议头和数据,交给响应的Handler处理,
  • Handler处理完毕后,结果通过Client Socket写给客户端。c.server(...)

http包源码分析

在上面的流程中中,起关键作用的函数为http.ListenAndServe,Go就是利用这个方法,实现了web服务中的端口监听、请求解析、路由分配、响应处理四大功能。

端口监听

服务器中的http.ListenAndServer()方法启动服务:

func ListenAndServe(addr string, handler Handler) error {
	server := &Server{Addr: addr, Handler: handler}
	return server.ListenAndServe()
}

生成Server结构体,调用其方法ListenAndServer

func (srv *Server) ListenAndServe() error {
	if srv.shuttingDown() {
		return ErrServerClosed
	}
	addr := srv.Addr
	if addr == "" {
		addr = ":http"
	}
	ln, err := net.Listen("tcp", addr)
	if err != nil {
		return err
	}
	return srv.Serve(ln)
}

net.Listen来进行对地址的监听,返回一个listener,传递给server.Server()方法。

func (srv *Server) Serve(l net.Listener) error {
	if fn := testHookServerServe; fn != nil {
		fn(srv, l) // call hook with unwrapped listener
	}

	origListener := l
	l = &onceCloseListener{Listener: l}
	defer l.Close()

	if err := srv.setupHTTP2_Serve(); err != nil {
		return err
	}

	if !srv.trackListener(&l, true) {
		return ErrServerClosed
	}
	defer srv.trackListener(&l, false)

	baseCtx := context.Background()
	if srv.BaseContext != nil {
		baseCtx = srv.BaseContext(origListener)
		if baseCtx == nil {
			panic("BaseContext returned a nil context")
		}
	}

	var tempDelay time.Duration // how long to sleep on accept failure

	ctx := context.WithValue(baseCtx, ServerContextKey, srv)
	for { //循环逻辑,接收请求处理
          //有新的连接
		rw, err := l.Accept()
		if err != nil {
			select {
			case <-srv.getDoneChan():
				return ErrServerClosed
			default:
			}
			if ne, ok := err.(net.Error); ok && ne.Temporary() {
				if tempDelay == 0 {
					tempDelay = 5 * time.Millisecond
				} else {
					tempDelay *= 2
				}
				if max := 1 * time.Second; tempDelay > max {
					tempDelay = max
				}
				srv.logf("http: Accept error: %v; retrying in %v", err, tempDelay)
				time.Sleep(tempDelay)
				continue
			}
			return err
		}
		connCtx := ctx
		if cc := srv.ConnContext; cc != nil {
			connCtx = cc(connCtx, rw)
			if connCtx == nil {
				panic("ConnContext returned nil")
			}
		}
		tempDelay = 0
        //创建新的连接
		c := srv.newConn(rw)
		c.setState(c.rwc, StateNew) // before Serve can return
        //启动新的goroutine进行处理
		go c.serve(connCtx)
	}
}

主要进行了两项工作,一项是在for死循环里面,通过l.Accept()来接受请求返回连接Conn,并处理相关的报错,根据该连接创建对应的goroutine来执行conn.serve(ctx),各个请求之间是相互不影响的,提高并发性能。 另一项工作是新建context用于管理这些生成的goroutinecontext作为参数被传入;

请求解析

// Serve a new connection.
func (c *conn) serve(ctx context.Context) {
    // ...
}

函数代码比较多,就不贴出来了,具体可以到/net/http/server.go文件中查看,其中使用了defer func() {...}()匿名函数来实现错误输入和恢复、连接关闭;

该方法用于服务一个新的连接。首先,通过readRequest来读取数据,解析请求中的HeaderBody和一些校验。接着,使用serverHandler方法来处理request和response。 主要功能实现是serverHandler{c.server}.ServeHTTP(w, w.req),其构造serverHandler类型,并调用ServeHTTP方法;值得注意的是,这里不允许服务器同时处理多个请求;

路由分配

使用者注册一个HandlerFunc,被转为Handler

func HandleFunc(pattern string, handler func(ResponseWriter, *Request)) {
	DefaultServeMux.HandleFunc(pattern, handler)
}

ServeMux的Handle方法,将会对pattern和Handler做map映射。

handler会创建一个锁,同时调用match方法返回一个Handler和pattern。

func (mux *ServeMux) Handle(pattern string, handler Handler) {
	mux.mu.Lock()
	defer mux.mu.Unlock()

	if pattern == "" {
		panic("http: invalid pattern")
	}
	if handler == nil {
		panic("http: nil handler")
	}
	if _, exist := mux.m[pattern]; exist {
		panic("http: multiple registrations for " + pattern)
	}

	if mux.m == nil {
		mux.m = make(map[string]muxEntry)
	}
	e := muxEntry{h: handler, pattern: pattern}
	mux.m[pattern] = e
	if pattern[len(pattern)-1] == '/' {
		mux.es = appendSorted(mux.es, e)
	}

	if pattern[0] != '/' {
		mux.hosts = true
	}
}

响应处理

其实就是如何根据路由,找到对应的handler。

在match方法中,对于handler,优先查找m表,若不能找到结果,则在es表中进行匹配,路径长的优先匹配。

func (mux *ServeMux) match(path string) (h Handler, pattern string) {
	// Check for exact match first.
	v, ok := mux.m[path]
	if ok {
		return v.h, v.pattern
	}

	// Check for longest valid match.
	var n = 0
	for k, v := range mux.m {
		if !pathMatch(k, path) {
			continue
		}
		if h == nil || len(k) > n {
			n = len(k)
			h = v.h
			pattern = v.pattern
		}
	}
	return
}

服务端处理完请求后,处理器可以通过ResponseWriter接口创建HTTP响应,ResponseWriter接口具有如下三个方法:

type ResponseWriter interface {
	Header() Header
	Write([]byte) (int, error)
	WriteHeader(statusCode int)
}

到此这篇关于一文详解Golang中net/http包的实现原理的文章就介绍到这了,更多相关Golang net http包内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • 快速掌握Go 语言 HTTP 标准库的实现方法

    目录 HTTP client Client 结构体 初始化请求 NewRequest 初始化请求 Request 准备 http 发送请求 Transport 获取空闲连接 queueForIdleConn 建立连接 queueForDial 等待响应 http server 监听 处理请求 Reference 本篇文章来分析一下 Go 语言 HTTP 标准库是如何实现的. 本文使用的go的源码1.15.7 基于HTTP构建的服务标准模型包括两个端,客户端(Client)和服务端(Server)

  • Go 语言入门之net/url 包

    目录 引言 URL 格式 Go url 包函数使用格式 如何使用 URL 包 在 Golang 中对查询字符串进行 URL 编码 在 Golang 中对多个查询参数进行 URL 编码 在 Golang 中对路径段进行 URL 编码 通过对各个部分进行编码来构建完整的 URL 在 Golang 中解析 URL 处理相对路径 解析空格 判断绝对地址 解析端口 引言 在 Golang 中,将 URL 打包用于从服务器获取数据非常重要.只需了解您是否正在处理任何应用程序并且您想从任何外部位置或服务器获取

  • Go语言net包RPC远程调用三种方式http与json-rpc及tcp

    目录 一.服务端 二.http客户端 三.TCP客户端 四.json客户端 五.运行结果 rpc有多种调用方式,http.json-rpc.tcp 一.服务端 在代码中,启动了三个服务 package main import ( "log" "net" "net/http" "net/rpc" "net/rpc/jsonrpc" "sync" ) //go对RPC的支持,支持三个级别:T

  • golang中的net/rpc包使用概述(小结)

    RPC,即 Remote Procedure Call(远程过程调用),说得通俗一点就是:调用远程计算机上的服务,就像调用本地服务一样. 我的项目是采用基于Restful的微服务架构,随着微服务之间的沟通越来越频繁,消耗的系统资源越来越多,于是乎就希望可以改成用rpc来做内部的通讯,对外依然用Restful.于是就想到了golang标准库的rpc包和google的grpc. 这篇文章重点了解一下golang的rpc包. 介绍 golang的rpc支持三个级别的RPC:TCP.HTTP.JSONR

  • 深入了解Golang网络编程Net包的使用

    目录 1.TCP 服务 2.TCP 连接在系统调用层面的实现 3.Go中TCP连接的实现 4.结语 ​最近做了一个项目,其中用到了网络编程,下面和大家分享下在Go中网络编程的实现.在Go中, 网络编程主要通过 net 包实现.支持 包括TCP/IP.UDP.域名解析和Unix域socket等连接,此外,还通过 net/http ,net/rpc 等提供了 HTTP,RPC等主流应用层的连接协议. 1.TCP 服务 TCP 是最常用的网络连接方式,以 TCP 连接为例,一个简单的 TCP 连接代码

  • 一文详解Golang中net/http包的实现原理

    目录 前言 http包执行流程 http包源码分析 端口监听 请求解析 路由分配 响应处理 前言 Go语言自带的net/http包提供了HTTP客户端和服务端的实现,实现一个简单的http服务非常容易,其自带了一些列结构和方法来帮助开发者简化HTTP服务开发的相关流程,因此我们不需要依赖任何第三方组件就能构建并启动一个高并发的HTTP服务器,net/http包在编写web应用中有很重要的作用,这篇文章会学习如何用 net/http 自己编写实现一个 HTTP Server 并探究其实现原理,具体

  • 一文详解Golang中的切片数据类型

    目录 含义 定义 三个要素 切片与数组的区别 示例代码 切片内存分布 切片定义分类 数组生成切片 示例代码 切片索引 直接声明切片 定义语法 代码示例 使用make定义切片 常用操作 长度计算 容量计算 判断是否为空 切片追加 语法格式 尾部追加 开始位置追加 中间位置追加 复制 引用和复制 切片的删除 删除开头 删除中间 删除结尾 指定位置 排序 迭代器 含义 切片是一个种特殊的数组.是对数组的一个连续片段的引用,所以切片是一个引用类型.切片可以是数组中的一部分,也可以是由起始和终止索引标识的

  • 一文详解Golang中consul的基本使用

    目录 consul consul的安装和部署 docker安装 consul镜像的启动 启动一个tcp_health_check的服务注册 http版 服务发现 consul consul是一个开源服务注册和服务发现的中心,可以用于微服务的注册和服务之间的调用的发现,帮助上游服务找到下游服务的具体ip:port或者是domain,也可以使用dns的方式让consul帮你去做转发,具体介绍请看consul的官网,consul区分server-agent和client-agent,client-ag

  • 一文详解Golang协程调度器scheduler

    目录 1. 调度器scheduler的作用 2. GMP模型 3. 调度机制 1. 调度器scheduler的作用 我们都知道,在Go语言中,程序运行的最小单元是gorouines. 然而程序的运行最终都是要交给操作系统来执行的,以Java为例,Java中的一个线程对应的就是操作系统中的线程,以此来实现在操作系统中的运行.在Go中,gorouines比线程更轻量级,其与操作系统的线程也不是一一对应的关系,然而,最终我们想要执行程序,还是要借助操作系统的线程来完成,调度器scheduler的工作就

  • 一文详解Golang 定时任务库 gron 设计和原理

    目录 cron 简介 gron 定时参数 源码解析 Cron Entry 按照时间排序 新增定时任务 启动和停止 Schedule 扩展性 经典写法-控制退出 结语 cron 简介 在 Unix-like 操作系统中,有一个大家都很熟悉的 cli 工具,它能够来处理定时任务,周期性任务,这就是: cron. 你只需要简单的语法控制就能实现任意[定时]的语义.用法上可以参考一下这个Crontab Guru Editor,做的非常精巧. 简单说,每一个位都代表了一个时间维度,* 代表全集,所以,上面

  • 详解Golang中的各种时间操作

    需求 时间格式的转换比较麻烦,自己写了个工具,可以通过工具中的这些方法相互调用转成自己想要的格式,代码如下,后续有新的函数再添加 实现代码 package utils import "time" const ( TIMEFORMAT = "20060102150405" NORMALTIMEFORMAT = "2006-01-02 15:04:05" ) // 当前时间 func GetTime() time.Time{ return time.

  • 详解Golang中Channel的用法

    如果说goroutine是Go语言程序的并发体的话,那么channels则是它们之间的通信机制.一个channel是一个通信机制,它可以让一个goroutine通过它给另一个goroutine发送值信息. 1 创建channel 每个channel都有一个特殊的类型,也就是channels可发送数据的类型.一个可以发送int类型数据 的channel一般写为chan int.使用内置的make函数,如果第二个参数大于0,则表示创建一个带缓存的channel. ch := make(chan in

  • 详解golang中的method

    什么是method(方法)?method是函数的另外一种形态,隶属于某个类型的方法. method的语法: func (r Receiver) funcName (parameters) (result) receiver可以看作是method的第一个参数,method并且支持继承和重写. Go中虽没有class,但依旧有method 通过显示说明receiver来实现与某个类型的结合 只能为同一个包中的类型定义方法 receiver可以是类型的值或者指针 不存在方法重载 可以使用值或指针来调用

  • 一文详解JS中的事件循环机制

    目录 前言 1.JavaScript是单线程的 2.同步和异步 3.事件循环 前言 我们知道JavaScript 是单线程的编程语言,只能同一时间内做一件事,按顺序来处理事件,但是在遇到异步事件的时候,js线程并没有阻塞,还会继续执行,这又是为什么呢?本文来总结一下js 的事件循环机制. 1.JavaScript是单线程的 JavaScript 是一种单线程的编程语言,只有一个调用栈,决定了它在同一时间只能做一件事.在代码执行的时候,通过将不同函数的执行上下文压入执行栈中来保证代码的有序执行.在

  • 一文详解Java中的类加载机制

    目录 一.前言 二.类加载的时机 2.1 类加载过程 2.2 什么时候类初始化 2.3 被动引用不会初始化 三.类加载的过程 3.1 加载 3.2 验证 3.3 准备 3.4 解析 3.5 初始化 四.父类和子类初始化过程中的执行顺序 五.类加载器 5.1 类与类加载器 5.2 双亲委派模型 5.3 破坏双亲委派模型 六.Java模块化系统 一.前言 Java虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验.转换解析和初始化,最 终形成可以被虚拟机直接使用的Java类型,这个过程

随机推荐