使用Go HTTP客户端打造高性能服务

目录
  • 问题一：默认的 HTTP Client
  • 问题二：默认的 Http Transport
  • 总结

HTTP（超文本传输协议）是一种用于客户端和服务器之间传输数据的通信协议。如果想要访问服务器资源，HTTP 请求是必不可少的。Go 语言里，net/http 包附带了默认配置，我们可以适当调整便可以获得高性能。

大多数语言都有提供各自的 HTTP 客户端，文章接下来部分我们将动手实践如何使用 Go 语言发起 HTTP 请求，并讨论其中有可能遇到的问题。

在做 Go 项目时，我就意识到 HTTP 客户端如果配置不正确可能会随时导致服务器崩溃。

在使用 HTTP Client 时，我观察到一些问题并总结出相应的解决方案，如下所示：

问题一：默认的 HTTP Client

默认情况下，net/http 包自带的 HTTP 客户端不带超时时间。如果你使用的是默认的客户端 http.DefaultClient()，这个是不带超时时间的。

假如你请求外部的 API 挂了，发出的请求没响应导致连接一直出于打开状态。随着请求数越来越多，连接数随之增加，导致耗尽服务器的资源，最后服务器随之崩溃。

解决办法：不要使用默认的 HTTP 客户端，根据实际情况设置超时时间。

var httpClient = &http.Client{
  Timeout: time.Second * 10,
}

对于 API 接口，超时时间建议不需要超过 10s，如果请求在 10s 内没有返回，则请求会取消并报错：request canceled (Client.Timeout exceeded …) 。

问题二：默认的 Http Transport

默认情况下，HTTP 客户端会维护一个连接池。当请求完成之后，连接会保持打开状态直到空闲时间超时（默认是 90s）自动断开。如果有请求过来，会优先使用已打开的连接而不是创建新的连接，请求完成之后，连接会返还到连接池中。

使用连接池将使用最少的服务器资源处理更多的 API 请求。

如果没有自定义 HTTP 客户端的 transport，将会使用默认配置。

HTTP Transport 的默认配置如下：

var DefaultTransport RoundTripper = &Transport{
    ...
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    ...
}

const DefaultMaxIdleConnsPerHost = 2

MaxIdleConns 表示连接池大小，是可以打开的最大连接数，默认值是 100。

参数 DefaultMaxIdleConnsPerHost 的默认值是 2，表示每个主机（host）的打开连接数。这意味着，连接池中 100 个连接只有两个连接分配给该主机。

随着请求增多，但是只有两个请求被处理，其他请求只能被迫等待并进入 TIME_WAIT 状态。请求增多，进入 TIME_WAIT 状态的连接数增多，消耗越来越多的服务器资源，当达到服务器瓶颈时，服务器将会崩溃。

解决办法：提高 MaxIdleConnsPerHost 数值，不要使用默认的 Transport。

t := http.DefaultTransport.(*http.Transport).Clone()
t.MaxIdleConns = 100
t.MaxConnsPerHost = 100
t.MaxIdleConnsPerHost = 100

httpClient = &http.Client{
  Timeout:   10 * time.Second,
  Transport: t,
}

通过增加每个主机的连接数和空闲连接数，就有助于提高性能并以最少的服务器资源处理更多请求。

可以根据服务器资源和实际需求适当增加连接池大小和每个主机的连接数。

总结

这篇文章中，我们围绕 net/http 包讨论了默认配置的一些问题。通过更改 HTTP 客户端的一些默认设置，在生产环境中也可以获得高性能的 HTTP 客户端。

到此这篇关于使用Go HTTP客户端打造高性能服务的文章就介绍到这了,更多相关Go HTTP客户端高性能内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • golang高性能的http请求 fasthttp详解

    fasthttp是golang下的一个http框架,顾名思义,与原生的http实现相比,它的特点在于快,按照官网的说法,它的客户端和服务端性能比原生有了十倍的提升. 它的高性能主要源自于"复用",通过服务协程和内存变量的复用,节省了大量资源分配的成本. fasthttp 据说是目前golang性能最好的http库,相对于自带的net/http,性能说是有10倍的提升,具体介绍可以看看官方介绍:valyala/fasthttp 1,首先安装fasthttp go get -u githu

  • go语言实现http服务端与客户端的例子

    go语言的net/http包的使用非常的简单优雅 (1)服务端 package main import ( "flag" "fmt" "net/http" ) func main() { host := flag.String("host", "127.0.0.1", "listen host") port := flag.String("port", "8

  • 详解Golang语言HTTP客户端实践

    目录 HTTP客户端封装 测试脚本 测试服务 最近在学习Golang语言,中间遇到一个前辈指点,有一个学习原则:Learning By Doing.跟我之前学习Java的经验高度契合.在前一段时间学习洼坑中挣扎了好几天,差点就忘记这个重要的成功经验. 那么那什么来做练习呢?当然结合当下的工作啦,所以我列了一个路线给自己,那就是从接口测试开始学起来,从功能测试到性能测试,然后掌握基本Server开发技能. 首先,得先把HTTP接口测试常用的几个功能实现了,主要是获取HTTPrequest对象,发送

  • go语言实现一个简单的http客户端抓取远程url的方法

    本文实例讲述了go语言实现一个简单的http客户端抓取远程url的方法.分享给大家供大家参考.具体实现方法如下: 复制代码 代码如下: package main import (  "fmt"  "log"  "net/http"  "net/url"  "io/ioutil" ) func main() { resp, err := http.Get("http://www.google.co.

  • Go语言的http/2服务器功能及客户端使用

    Go语言的http/2服务器功能及客户端使用

    前言 大家都知道,Go的标准库HTTP服务器默认支持HTTP/2.那么,在这篇文章中,我们将首先展示Go的http/2服务器功能,并解释如何将它们作为客户端使用. 在这篇文章中,我们将首先展示Go的http/2服务器功能,并解释如何将它们作为客户端使用.Go的标准库HTTP服务器默认支持HTTP/2. 下面话不多说了,来一起看看详细的介绍吧 HTTP/2 服务器 首先,让我们在Go中创建一个http/2服务器!根据http/2文档,所有东西都是为我们自动配置的,我们甚至不需要导入Go的标准库ht

  • 使用Go HTTP客户端打造高性能服务

    目录 问题一:默认的 HTTP Client 问题二:默认的 Http Transport 总结 HTTP(超文本传输协议)是一种用于客户端和服务器之间传输数据的通信协议.如果想要访问服务器资源,HTTP 请求是必不可少的.Go 语言里,net/http 包附带了默认配置,我们可以适当调整便可以获得高性能. 大多数语言都有提供各自的 HTTP 客户端,文章接下来部分我们将动手实践如何使用 Go 语言发起 HTTP 请求,并讨论其中有可能遇到的问题. 在做 Go 项目时,我就意识到 HTTP 客户

  • Ajax客户端异步调用服务端的实现方法(js调用cs文件)

    ajax的使用方法,在js中调用cs文件中的一直方式,使用步骤如下 (1)下载ajax.dll,并添加项目的引用. (2)在项目的webconfig的<httpHandlers>节点中,添加<add verb="POST,GET" path="ajax/*.ashx" type="Ajax.PageHandlerFactory, Ajax"/>节点 (3)在aspx页面的pageload方法中添加Ajax.Utility.

  • Java通过socket客户端保持连接服务端实现代码

    这篇文章主要介绍了Java通过socket客户端保持连接服务端实现代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 业务场景:现在有一个socket服务端给我们发送数据,我们需要建立一个socket Client来连接这个socket Server,然后接受server发送过来的数据.但是这个server可能会中断,所以在Client要有一个while死循环去时刻保持与Server的连接. package com.thinkgem.wlw.m

  • 客户端Socket与服务端ServerSocket串联实现网络通信

    目录 引导语 1.类属性 2.初始化 3.bind 4.accept 5.面试题 5.1.说说你对Socket和ServerSocket的理解? 5.2.说说对SocketOptions中的SO_TIMEOUT的理解? 5.3.在构造Socket的时候,我可以选择TCP或UDP么?应该如何选择? 5.4.TCP有自动检测服务端是否存活的机制么?有没有更好的办法? 总结 引导语 上一小节我们学习了 Socket,本文我们来看看服务端套接字 API:ServerSocket,本文学习完毕之后,我们就

  • Angular客户端请求Rest服务跨域问题的解决方法

    Angular客户端请求Rest服务跨域问题的解决方法

    1.问题描述:通过Origin是http://localhost:4200请求http://localhost:8081的服务,控制台报错如下,但是Response为200.客户端和服务端IP相同,但是端口不同,存在跨域问题. 复制代码 代码如下: XMLHttpRequest cannot load http://localhost:8081/api/v1/staffs. No 'Access-Control-Allow-Origin' header is present on the req

  • udp socket客户端和udp服务端程序示例分享

    Udp Socket 复制代码 代码如下: #include <WinSock2.h>#include <stdio.h>#pragma comment(lib, "ws2_32.lib")int main(){// initial socket libraryWORD wVerisonRequested;WSADATA wsaData;int err;wVerisonRequested = MAKEWORD(1, 1);err = WSAStartup(wVe

  • 使用AjaxPro.Net框架实现在客户端调用服务端的方法

    此文档将使用AjaxPro.Net框架实现Ajax功能:在客户端异步调用服务端方法.AjaxPro.Net是一个优秀的.net环境下的Ajax框架,用法很简单,可以查阅相关资料,本文档是一个简单的实例讲述使用AjaxPro的几个关键点. 1.下载AjaxPro 组件.并将AjaxPro.dll引用到网站(或项目).下载:Download latest version 7.7.31.1. 2.修改Web.config.在 <system.web> 元素中添加以下代码. <configura

  • Ubuntu Server Rsync服务端与Windows cwRsync客户端数据同步配置方法

    Ubuntu Server Rsync服务端与Windows cwRsync客户端数据同步配置方法

    说明: 1.Rsync服务端 系统:Ubuntu Server 11.10 IP地址:192.168.21.168 数据存放目录:/home/mysql_data 2.cwRsync客户端 系统:Windows Server 2003 IP地址:192.168.21.130 同步的目录:D:\mysql_data 实现目的: cwRsync客户端每天凌晨3:00钟自动同步Rsync服务端/home/mysql_data目录中的数据到D:\mysql_data目录 一.Rsync服务端配置 1.开

  • Win2003下cwRsyncServer服务端与cwRsync客户端数据同步实例教程

    Win2003下cwRsyncServer服务端与cwRsync客户端数据同步实例教程

    说明: cwRsyncServer服务端   IP:192.168.21.128 cwRsync客户端   IP:192.168.21.129 实现目的: 把服务端D:\data目录中的数据通过任务计划定期同步到客户端D:\data目录中 附件: cwRsyncServer下载地址与cwRsync下载地址:http://s.jb51.net 具体操作: 一.在服务端安装cwRsyncServer 解压cwRsyncServer_4.0.3_Installer.zip,双击cwRsyncServe

  • CentOS 6.3 Rsync客户端与Win2003 cwRsyncServer服务端实现数据同步

    CentOS 6.3 Rsync客户端与Win2003 cwRsyncServer服务端实现数据同步

    说明: 1.cwRsyncServer服务端 系统:Windows Server 2003 IP地址:192.168.21.134 数据存放目录:D:\osyunwei 2.Rsync客户端 系统:CentOS 6.3 IP地址:192.168.21.132 同步的目录:/osyunwei 实现目的: Rsync客户端每天凌晨3:00自动同步cwRsyncServer服务端D:\osyunwei目录中的数到/osyunwei目录 一.cwRsyncServer服务端配置 附件: cwRsyncS

随机推荐