Go 如何基于IP限制HTTP访问频率的方法实现

如果你运行 HTTP 服务,并且希望限制 HTTP 的访问频率,那么你可以借助一些比较稳定的工具,例如: github.com/didip/tollbooth。不过如果你构建的应用比较简单,也可以自己来实现。

我们可以使用一个现有的 Go 包 x/time/rate。

本课程,我们将创建一个简单的中间件实现基于 IP 限制 HTTP 访问频率。

简单的 HTTP 服务

让我们从创建一个简单的 HTTP 服务开始,它有非常简单的终端。 但是,因为它的访问频率可能非常高,因此我们要为它添加频率限制。

package main

import (
 "log"
 "net/http"
)

func main() {
 mux := http.NewServeMux()
 mux.HandleFunc("/", okHandler)

 if err := http.ListenAndServe(":8888", mux); err != nil {
  log.Fatalf("unable to start server: %s", err.Error())
 }
}

func okHandler(w http.ResponseWriter, r *http.Request) {
 // 某些消耗很高的数据库请求
 w.Write([]byte("alles gut"))
}

通过 main.go 我们启动服务,监听 :8888 端口,这样我们就有了一个简单的终端 /。

golang.org/x/time/rate

我们将使用名为 x/time/rate 的 Go 包,它提供了一个令牌桶速率限制器算法。rate#Limiter 控制允许事件发生的频率。它实现了一个大小为 b 的「令牌桶」,最初是满的,并以每秒 r 的速度重新填充令牌。通俗地讲,就是在任何足够大的时间间隔内,限制器将速率限制为每秒 r 个令牌,最大突发大小为 b 个事件。

由于我们希望实现每个 IP 地址的速率限制器,我们还需要维护一个限制器映射。

package main

import (
 "sync"

 "golang.org/x/time/rate"
)

// IPRateLimiter .
type IPRateLimiter struct {
 ips map[string]*rate.Limiter
 mu *sync.RWMutex
 r rate.Limit
 b int
}

// NewIPRateLimiter .
func NewIPRateLimiter(r rate.Limit, b int) *IPRateLimiter {
 i := &IPRateLimiter{
  ips: make(map[string]*rate.Limiter),
  mu: &sync.RWMutex{},
  r: r,
  b: b,
 }

 return i
}

// AddIP 创建了一个新的速率限制器,并将其添加到 ips 映射中,
// 使用 IP地址作为密钥
func (i *IPRateLimiter) AddIP(ip string) *rate.Limiter {
 i.mu.Lock()
 defer i.mu.Unlock()

 limiter := rate.NewLimiter(i.r, i.b)

 i.ips[ip] = limiter

 return limiter
}

// GetLimiter 返回所提供的IP地址的速率限制器(如果存在的话).
// 否则调用 AddIP 将 IP 地址添加到映射中
func (i *IPRateLimiter) GetLimiter(ip string) *rate.Limiter {
 i.mu.Lock()
 limiter, exists := i.ips[ip]

 if !exists {
  i.mu.Unlock()
  return i.AddIP(ip)
 }

 i.mu.Unlock()

 return limiter
}

NewIPRateLimiter 创建一个 IP 限制器实例,HTTP 服务器必须调用这个实例的 GetLimiter 来获得指定 IP 的限制器 (从映射或生成一个新的)。

中间件

让我们升级的 HTTP 服务并将中间件添加到所有端点,如果 IP 达到限制,它将响应 429 Too Many Requests,否则,它将继续该请求。

每一个经过中间件的请求,我们都会调用 limitMiddleware 函数中的全局方法 Allow()。如果存储桶中没有令牌了,该方法会返回 false,该请求会收到 429 Too Many Requests 的响应。否则 Allow() 方法将消耗一个令牌,并将请求传递给下一个程序。

package main

import (
 "log"
 "net/http"
)

var limiter = NewIPRateLimiter(1, 5)

func main() {
 mux := http.NewServeMux()
 mux.HandleFunc("/", okHandler)

 if err := http.ListenAndServe(":8888", limitMiddleware(mux)); err != nil {
  log.Fatalf("unable to start server: %s", err.Error())
 }
}

func limitMiddleware(next http.Handler) http.Handler {
 return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
  limiter := limiter.GetLimiter(r.RemoteAddr)
  if !limiter.Allow() {
   http.Error(w, http.StatusText(http.StatusTooManyRequests), http.StatusTooManyRequests)
   return
  }

  next.ServeHTTP(w, r)
 })
}

func okHandler(w http.ResponseWriter, r *http.Request) {
 // 非常重要的数据请求(译者注:这句话没理解到位)
 w.Write([]byte("alles gut"))
}

编译 & 执行

go get golang.org/x/time/rate
go build -o server .
./server

测试

这是我喜欢使用的一个非常好的来进行 HTTP 负载测试的工具,它叫做 vegeta (它也是用 Go 编写的)。

brew install vegeta

我们需要创建一个简单的配置文件,来展示我们希望生成的请求。

GET http://localhost:8888/

然后运行攻击 10 秒,每个时间单位 100 个请求。

vegeta attack -duration=10s -rate=100 -targets=vegeta.conf | vegeta report

结果,您将看到一些请求返回了 200,但是大多数都返回了 429。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • Django 对IP访问频率进行限制的例子

    REST_FRAMEWORK 配置 对使用 rest_framework 框架的项目来说,可以使用框架的设置来对api的访问频率进行限制 REST_FRAMEWORK = { 'DEFAULT_PARSER_CLASSES': ( 'rest_framework.parsers.JSONParser', 'rest_framework.parsers.FormParser', 'rest_framework.parsers.MultiPartParser', ), 'DEFAULT_AUTHEN

  • Django REST framework 如何实现内置访问频率控制

    对匿名用户采用 IP 控制访问频率,对登录用户采用 用户名 控制访问频率. from rest_framework.throttling import SimpleRateThrottle class VisitThrottle(SimpleRateThrottle): """匿名用户访问频率限制""" scope = "AnonymousUser" # 随便写的,可以作为key保存在缓存中 def get_cache_key

  • Django 限制用户访问频率的中间件的实现

    一.定义限制访问频率的中间件 common/middleware.py import time from django.utils.deprecation import MiddlewareMixin MAX_REQUEST_PER_SECOND=2 #每秒访问次数 class RequestBlockingMiddleware(MiddlewareMixin): def process_request(self,request): now=time.time() request_queue =

  • Go 如何基于IP限制HTTP访问频率的方法实现

    如果你运行 HTTP 服务,并且希望限制 HTTP 的访问频率,那么你可以借助一些比较稳定的工具,例如: github.com/didip/tollbooth.不过如果你构建的应用比较简单,也可以自己来实现. 我们可以使用一个现有的 Go 包 x/time/rate. 本课程,我们将创建一个简单的中间件实现基于 IP 限制 HTTP 访问频率. 简单的 HTTP 服务 让我们从创建一个简单的 HTTP 服务开始,它有非常简单的终端. 但是,因为它的访问频率可能非常高,因此我们要为它添加频率限制.

  • C# 站点IP访问频率限制 针对单个站点的实现方法

    站点IP访问频率限制 针对单个站点 using System; using System.Collections.Generic; using System.IO; //using System.Linq; using System.Web; // <summary> // IP访问频率控制 // </summary> public static class IPCacheManager { /// <summary> /// IP缓存集合 /// </summa

  • nginx配置限制同一个ip的访问频率方法

    1.在nginx.conf里的http{}里加上如下代码: limit_conn_zone $binary_remote_addr zone=perip:10m; limit_conn_zone $server_name zone=perserver:10m; 2.在需要限制并发数和下载带宽的网站配置server{}里加上如下代码: limit_conn perip 2; limit_conn perserver 20; limit_rate 100k; 补充说明下参数: $binary_rem

  • 在nginx中实现单位时间内限制访问频率的教程

    首先说一下遇到这个问题是因为网站被攻击,阿里云报警,想到要限制一下访问频率,而不是限制ip(限制ip的方案稍后给出).nginx连接资源被吃空返回状态码是502,添加本方案限制后返回599,与正常状态码区别开. 步骤如下: 首先nginx.conf里面添加如下内容: map $http_x_forwarded_for $clientRealIp { "" $remote_addr; ~^(?P<firstAddr>[0-9\.]+),?.*$ $firstAddr; } #

  • php基于curl实现随机ip地址抓取内容的方法

    本文实例讲述了php基于curl实现随机ip地址抓取内容的方法.分享给大家供大家参考,具体如下: 使用php curl 我们可以模仿用户行为,既可以设置我们访问的ip及浏览器信息还可以设置post方式. curl是一个特别牛逼的东西!~ 居然还可以生成随机的ip来访问,甚至可以让服务器分辨不出真实ip.这个很牛!有人说这个是不算bug的bug.不过有这个功能也给我们带来了很大的方便. php基于curl实现随机ip访问: <?php function curl($url,$ifpost = 0,

  • Nginx 如何限制访问频率,下载速率和并发连接数的方法

    一. 限制访问频率.并发连接.下载速度用到的模块和指令概述 ngx_http_limit_req_module :用来限制单位时间内的请求数,即速率限制,采用的漏桶算法 "leaky bucket" ngx_http_limit_conn_module :用来限制同一时间连接数,即并发限制 limit_rate和limit_rate_after :下载速度设置 漏桶算法(leaky bucket) 算法思想是: 水(请求)从上方倒入水桶,从水桶下方流出(被处理) 来不及流出的水存在水桶

  • 详解Nginx 虚拟主机配置的三种方式(基于IP)

    Nginx配置虚拟主机支持3种方式:基于IP的虚拟主机配置,基于端口的虚拟主机配置,基于域名的虚拟主机配置. 详解Nginx 虚拟主机配置的三种方式(基于端口) https://www.jb51.net/article/14977.htm 详解Nginx 虚拟主机配置的三种方式(基于域名) https://www.jb51.net/article/14978.htm 1.基于IP的虚拟主机配置 如果同一台服务器有多个IP,可以使用基于IP的虚机主机配置,将不同的服务绑定在不同的IP上. 1.1

  • Django 限制访问频率的思路详解

    最近做了一个系统由于部分接口需要进行耗时操作,因而不希望用户进行频繁访问,需要进行访问频率限制.如果要自己实现一个访问限制功能相对来说也不会太复杂,并且网上有各种代码可以参考.如果自己不想实现这个代码可以使用 Django Ratelimit. Django Ratelimit is a ratelimiting decorator for Django views. https://travis-ci.org/jsocol/django-ratelimit.png?branch=master

  • Django限制API访问频率常用方法解析

    需求描述: 平台中需要编写接口供第三方调用,需要控制调用频率,需求为5s内调用一次后不得再次调用. 解决思路 1.Django官方插件库中有个django-ratelimit插件可以满足要求, django-ratelimit文档地址,很灵活很强大.只需要在我们的views函数上加上 @ratelimit(key='ip', rate='1/30s', block=True) 装饰器就可以了,网站上的资料不多,大部分都是英文的.在这里稍微解释下参数: key='ip', 必填项,标识按照IP划分

随机推荐