go实现限流功能示例

目录
  • 引言
  • 需求背景
  • web demo搭建
  • 限制访问次数编写
  • 功能测试
  • 总结

引言

在我们日常维护中，经常有爬虫进行爬取网页，少则1秒钟请求数十次，多则达百次，严重消耗了服务器带宽，且影响正常使用者，好在nginx可以配合lua可以完成类似的需求，本次我们将使用go来完成本需求。

需求背景

在我们日常维护中，可能需要这样一种工具，来对某些路由，对特定IP或者用户ID,在特定时间内，限制最大访问次数，这样有效的避免服务器带宽资源的浪费的同时也能接入更多用户请求，本次使用go来做一个类似的。

web demo搭建

我们先来使用SampleHttp编写一个最简单的web服务器，定义路由queryAll，收到后，假设将返回客户端1w字节的数据信息。

在启动web服务器后，我们使用curl进行测试

命令：

curl 127.0.0.1:8083/queryAll

限制访问次数编写

在上述整体需求的情况下，我们需要编写在规定时间限制访问次数的需求，这里我们为了方便，使用ip来作为限制条件，其核心功能分类大致分为：

  • 从未访问过web服务器
  • 访问过web服务器，在规定时间内没有超出限制
  • 访问过web服务器，在在规定时间内超出了限制
  • 访问过web服务器，时间间隔超过了规定时间

如上分类，除了第三种需要限流外，其他则视为正常访问即可。

核心存储，我们可以选择go map，其中key为ip，value为结构体，该结构体包含访问次数和创建间戳。

其定义如下

我们来根据如上定义的核心功能来编写程序

从未访问过服务器

我们根据map中是否存在这个key来判断，如

_, ok := visitHashMap[ip]; if !ok {
    // 如果没有该ip的访问次数,则新增记录
}

访问过服务器，在规定时间超过了限制

if time.Now().Unix()-visit.createUnixTime >= interval*60 {
    // 在规定时间超过了限制，需要重新计算阈值
}

超过最大允许访问数

if visitHashMap[ip].number >= maxNum {
    // 超过允许最大访问次数
}

整理为其核心函数如下

功能测试

我们在定义路由地方，将来访者IP传入，就可以根据其返回的bool值来判断是否需要限制访问了。

其main函数定义如下:

func main() {
	SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) {
		ip := strings.Split(info.RemoteIP,":")[0]
		if ! limits(ip) {
			info.Write([]byte(fmt.Sprintf("%s 已经被限制访问，在%d分钟内，访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
			return
		}
		info.Write([]byte(fmt.Sprintf("%s 收到queryAll请求,开始查询,返回1W字节数据信息...,统计信息: 在%d分钟内，访问达到%d次",time.Now(),interval,visitHashMap[ip].number)))
	})
	visitHashMap = make(map[string]visitInfo,0)
	SampleHttp.StartServer("0.0.0.0:8083")
}

我们将开启服务器来测试一下

通过上述执行结果图，可以看到，当1分钟内访问次数超过10次后，就被限制访问了，而从第一次访问时间到目前访问时间间隔达到1分钟以上后，限制就被解除了，可见功能已经完成了。

总结

如上只是实现了这种方法而已，在实际项目中，还需要详细的打磨才行，不然执行效率肯定堪忧，怎么样，限制这个看着好玩吧，快来试试吧，相关代码已经放置到了gitee上。

以上就是go实现限流功能示例的详细内容，更多关于go限流功能的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • golang高并发系统限流策略漏桶和令牌桶算法源码剖析

    golang高并发系统限流策略漏桶和令牌桶算法源码剖析

    目录 前言 漏桶算法 样例 源码实现 令牌桶算法 样例 源码剖析 Limit类型 Limiter结构体 Reservation结构体 Limiter消费token limiter归还Token 总结 前言 今天与大家聊一聊高并发系统中的限流技术,限流又称为流量控制,是指限制到达系统的并发请求数,当达到限制条件则可以拒绝请求,可以起到保护下游服务,防止服务过载等作用.常用的限流策略有漏桶算法.令牌桶算法.滑动窗口:下文主要与大家一起分析一下漏桶算法和令牌桶算法,滑动窗口就不在这里这介绍了.好啦,废

  • go实现一个分布式限流器的方法步骤

    目录 1. 接口定义 2. LocalCounterLimiter 3. LocalTokenBucketLimiter 4. RedisCounterLimiter 5. RedisTokenBucketLimiter 项目中需要对 api 的接口进行限流,但是麻烦的是,api 可能有多个节点,传统的本地限流无法处理这个问题.限流的算法有很多,比如计数器法,漏斗法,令牌桶法,等等.各有利弊,相关博文网上很多,这里不再赘述. 项目的要求主要有以下几点: 支持本地/分布式限流,接口统一 支持多种限

  • Go官方限流器的用法详解

    目录 限流器的内部结构 构造限流器 使用限流器 Wait/WaitN Allow/AllowN Reserve/ReserveN 动态调整速率和桶大小 总结 限流器是提升服务稳定性的非常重要的组件,可以用来限制请求速率,保护服务,以免服务过载.限流器的实现方法有很多种,常见的限流算法有固定窗口.滑动窗口.漏桶.令牌桶 简单来说,令牌桶就是想象有一个固定大小的桶,系统会以恒定速率向桶中放 Token,桶满则暂时不放.在请求比较的少的时候桶可以先"攒"一些Token,应对突发的流量,如果桶

  • Go 基于令牌桶的限流器实现

    目录 简介 原理概述 具体实现原理 限流器如何限流 简介 如果一般流量过大,下游系统反应不过来,这个时候就需要限流了,其实和上地铁是一样的,就是减慢上游访问下游的速度. 限制访问服务的频次或者频率,防止服务过载,被刷爆等. Golang 官方扩展包 time(golang.org/x/time/rate) 中,提供了一个基于令牌桶等限流器实现. 原理概述 令牌:每次拿到令牌,才可访问 桶 ,桶的最大容量是固定的,以固定的频率向桶内增加令牌,直至加满 每个请求消耗一个令牌. 限流器初始化的时候,令

  • Django REST framework 限流功能的使用

    正文开始 先说一个限流这个概念,最早接触这个概念是在前端.真实的业务场景是在搜索框中输入文字进行搜索时,并不希望每输一个字符都去调用后端接口,而是有停顿后才真正的调用接口.这个功能很有必要,一方面减少前端请求与渲染的压力,同时减轻后端接口访问的压力.类似前端的功能的代码如下: // 前端函数限流示例 function throttle(fn, delay) { var timer; return function () { var _this = this; var args = argumen

  • Go实现分布式系统高可用限流器实战

    Go实现分布式系统高可用限流器实战

    目录 前言 1. 问题描述 2. 信号量限流 2.1 阻塞方式 2.2 非阻塞方式 3. 限流算法 3.1 漏桶算法 3.2 令牌桶算法 3.3 漏桶算法的实现 改进 4. Uber 开源实现 RateLimit 深入解析 4.1 引入方式 4.2 使用 构造限流器 限流器Take() 阻塞方法 第一版本 第二版本 小结 前言 限流器,顾名思义用来对高并发的请求进行流量限制的组件. 限流包括 Nginx 层面的限流以及业务代码逻辑上的限流.流量的限制在众多微服务和 service mesh 中多

  • go实现限流功能示例

    目录 引言 需求背景 web demo搭建 限制访问次数编写 功能测试 总结 引言 在我们日常维护中,经常有爬虫进行爬取网页,少则1秒钟请求数十次,多则达百次,严重消耗了服务器带宽,且影响正常使用者,好在nginx可以配合lua可以完成类似的需求,本次我们将使用go来完成本需求. 需求背景 在我们日常维护中,可能需要这样一种工具,来对某些路由,对特定IP或者用户ID,在特定时间内,限制最大访问次数,这样有效的避免服务器带宽资源的浪费的同时也能接入更多用户请求,本次使用go来做一个类似的. web

  • Spring Cloud Alibaba之Sentinel实现熔断限流功能

    微服务中为了防止某个服务出现问题,导致影响整个服务集群无法提供服务的情况,我们在系统访问量和业务量高起来了后非常有必要对服务进行熔断限流处理. 其中熔断即服务发生异常时能够更好的处理:限流是限制每个服务的资源(比如说访问量). spring-cloud中很多使用的是Hystrix组件来进行限流的,现在我们这里使用阿里的sentinel来实现熔断限流功能. sentinel简介 这个在阿里云有企业级的商用版本 应用高可用服务 AHAS:现在有免费的入门级可以先体验下,之后再决定是否使用付费的专业版

  • spring 项目实现限流方法示例

    spring 项目实现限流方法示例

    目录 01.为什么AUSTIN项目需要限流 02.如何实现限流? 03.代码设计 04.总结 01.为什么AUSTIN项目需要限流 众所周知,服务器能处理的请求数是有限的,如果请求量特别大,我们就可能需要做限流. 限流处理的姿势:要么就让请求等待,要么就把请求给扔了 从系统架构来看,我们的统一处理入口在austin-api接入层上,austin-api接入层做完简单的参数校验以及参数拼接后,就将请求转发到消息队列上了 按正常来说,因为接了消息队列且接入层没有什么耗时的操作,那对外的接口压力不大的

  • RateLimit-使用guava来做接口限流代码示例

    RateLimit-使用guava来做接口限流代码示例

    本文主要研究的是RateLimit-使用guava来做接口限流的相关内容,具体如下. 一.问题描述 某天A君突然发现自己的接口请求量突然涨到之前的10倍,没多久该接口几乎不可使用,并引发连锁反应导致整个系统崩溃.如何应对这种情况呢?生活给了我们答案:比如老式电闸都安装了保险丝,一旦有人使用超大功率的设备,保险丝就会烧断以保护各个电器不被强电流给烧坏.同理我们的接口也需要安装上"保险丝",以防止非预期的请求对系统压力过大而引起的系统瘫痪,当流量过大时,可以采取拒绝或者引流等机制. 二.常

  • Springboot+Redis实现API接口限流的示例代码

    Springboot+Redis实现API接口限流的示例代码

    添加Redis的jar包. <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> 在application.yml中配置redis spring: ## Redis redis: database: 0 host: 127.0.0.1 p

  • SpringBoot利用限速器RateLimiter实现单机限流的示例代码

    目录 一. 概述 二. SpringBootDemo 2.1 依赖 2.2 application.yml 2.3 启动类 2.4 定义一个限流注解 RateLimiter.java 2.5 代理: RateLimiterAspect.java 2.6 使用 一. 概述 参考开源项目https://github.com/xkcoding/spring-boot-demo 在系统运维中, 有时候为了避免用户的恶意刷接口, 会加入一定规则的限流, 本Demo使用速率限制器com.xkcoding.r

  • Springboot使用redis实现接口Api限流的示例代码

    Springboot使用redis实现接口Api限流的示例代码

    前言 该篇介绍的内容如题,就是利用redis实现接口的限流(  某时间范围内 最大的访问次数 ) . 正文 惯例,先看下我们的实战目录结构: 首先是pom.xml 核心依赖: <!--用于redis数据库连接--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId>

  • SpringMVC 限流的示例代码

    在使用SpringBoot做接口访问如何做接口的限流,这里我们可以使用google的Guava包来实现,当然我们也可以自己实现限流,Guava中的限流是久经考验的我们没必需重新再去写一个,如果想了解限流原理的同学可以自己查阅一下相关的资料,本文不作过来说明噢. 使用说明 在项目中引入Guava相关包 http://mvnrepository.com/artifact/com.google.guava/guava/21.0 maven项目 <!-- https://mvnrepository.co

  • 基于.net的分布式系统限流组件示例详解

    基于.net的分布式系统限流组件示例详解

    前言 在互联网应用中,流量洪峰是常有的事情.在应对流量洪峰时,通用的处理模式一般有排队.限流,这样可以非常直接有效的保护系统,防止系统被打爆.另外,通过限流技术手段,可以让整个系统的运行更加平稳.今天要与大家分享一下限流算法和C#版本的组件. 一.令牌桶算法: 令牌桶算法的基本过程如下: 假如用户配置的平均发送速率为r,则每隔1/r秒速率将一个令牌被加入到桶中: 假设桶最多可以存发b个令牌.当桶中的令牌达到上限后,丢弃令牌. 当一个有请求到达时,首先去令牌桶获取令牌,能够取到,则处理这个请求 如

随机推荐