Asp.NET Core 限流控制(AspNetCoreRateLimit)的实现

起因:

近期项目中,提供了一些调用频率较高的api接口,需要保障服务器的稳定运行;需要对提供的接口进行限流控制。避免因客户端频繁的请求导致服务器的压力。

一、AspNetCoreRateLimit 介绍

AspNetCoreRateLimit 是一个ASP.NET Core速率限制的解决方案,旨在控制客户端根据IP地址或客户端ID向Web API或MVC应用发出的请求的速率。AspNetCoreRateLimit包含一个 IpRateLimitMiddlewareClientRateLimitMiddleware ,每个中间件可以根据不同的场景配置限制允许IP或客户端,自定义这些限制策略,也可以将限制策略应用在每​​个API URL或具体的HTTP Method上。

二、AspNetCoreRateLimit使用

由上面介绍可知AspNetCoreRateLimit支持了两种方式:基于 客户端IP( IpRateLimitMiddleware) 和客户端ID( ClientRateLimitMiddleware )速率限制  接下来就分别说明使用方式

添加Nuget包引用:

Install-Package AspNetCoreRateLimit 

基于客户端IP速率限制

1、修改Startup.cs中方法:

public class Startup
{
  public Startup(IConfiguration configuration)
  {
    Configuration = configuration;
  }

  public IConfiguration Configuration { get; }// This method gets called by the runtime. Use this method to add services to the container.
  public void ConfigureServices(IServiceCollection services)
  {
    //需要从加载配置文件appsettings.json
    services.AddOptions();
    //需要存储速率限制计算器和ip规则
    services.AddMemoryCache();

    //从appsettings.json中加载常规配置,IpRateLimiting与配置文件中节点对应
    services.Configure<IpRateLimitOptions>(Configuration.GetSection("IpRateLimiting"));

    //从appsettings.json中加载Ip规则
    services.Configure<IpRateLimitPolicies>(Configuration.GetSection("IpRateLimitPolicies"));

    //注入计数器和规则存储
    services.AddSingleton<IIpPolicyStore, MemoryCacheIpPolicyStore>();
    services.AddSingleton<IRateLimitCounterStore, MemoryCacheRateLimitCounterStore>();

    services.AddControllers();

    services.AddSingleton<IHttpContextAccessor, HttpContextAccessor>();
    //配置(解析器、计数器密钥生成器)
    services.AddSingleton<IRateLimitConfiguration, RateLimitConfiguration>();

    //Other Code
  }

  // This method gets called by the runtime. Use this method to configure the HTTP request pipeline.
  public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
  {
    //Other Code

    app.UseRouting();

    app.UseAuthorization();
     //启用客户端IP限制速率
    app.UseIpRateLimiting();

    app.UseEndpoints(endpoints =>
    {
      endpoints.MapControllers();
    });
  }
}

2、在appsettings.json中添加通用配置项节点:(IpRateLimiting节点与Startup中取的节点对应)

"IpRateLimiting": {
 //false,则全局将应用限制,并且仅应用具有作为端点的规则*。例如,如果您设置每秒5次调用的限制,则对任何端点的任何HTTP调用都将计入该限制
 //true, 则限制将应用于每个端点,如{HTTP_Verb}{PATH}。例如,如果您为*:/api/values客户端设置每秒5个呼叫的限制,
 "EnableEndpointRateLimiting": false,
 //false,拒绝的API调用不会添加到调用次数计数器上;如 客户端每秒发出3个请求并且您设置了每秒一个调用的限制,则每分钟或每天计数器等其他限制将仅记录第一个调用,即成功的API调用。如果您希望被拒绝的API调用计入其他时间的显示(分钟,小时等) //,则必须设置StackBlockedRequests为true。
 "StackBlockedRequests": false,
 //Kestrel 服务器背后是一个反向代理,如果你的代理服务器使用不同的页眉然后提取客户端IP X-Real-IP使用此选项来设置
 "RealIpHeader": "X-Real-IP",
 //取白名单的客户端ID。如果此标头中存在客户端ID并且与ClientWhitelist中指定的值匹配,则不应用速率限制。
 "ClientIdHeader": "X-ClientId",
 //限制状态码
 "HttpStatusCode": 429,
 ////IP白名单:支持Ip v4和v6
 //"IpWhitelist": [ "127.0.0.1", "::1/10", "192.168.0.0/24" ],
 ////端点白名单
 //"EndpointWhitelist": [ "get:/api/license", "*:/api/status" ],
 ////客户端白名单
 //"ClientWhitelist": [ "dev-id-1", "dev-id-2" ],
 //通用规则
 "GeneralRules": [
  {
   //端点路径
   "Endpoint": "*",
   //时间段,格式:{数字}{单位};可使用单位:s, m, h, d
   "Period": "1s",
   //限制
   "Limit": 2
  },   //15分钟只能调用100次
  {"Endpoint": "*","Period": "15m","Limit": 100},   //12H只能调用1000
  {"Endpoint": "*","Period": "12h","Limit": 1000},   //7天只能调用10000次
  {"Endpoint": "*","Period": "7d","Limit": 10000}
 ]
}

配置节点已添加相应注释信息。

规则设置格式:

端点格式: {HTTP_Verb}:{PATH} ,您可以使用asterix符号来定位任何HTTP谓词。

期间格式: {INT}{PERIOD_TYPE} ,您可以使用以下期间类型之一: s, m, h, d

限制格式: {LONG}

3、特点Ip限制规则设置,在appsettings.json中添加 IP规则配置节点

"IpRateLimitPolicies": {
 //ip规则
 "IpRules": [
  {
   //IP
   "Ip": "84.247.85.224",
   //规则内容
   "Rules": [
    //1s请求10次
    {"Endpoint": "*","Period": "1s","Limit": 10},
    //15分钟请求200次
    {"Endpoint": "*","Period": "15m","Limit": 200}
   ]
  },
  {
   //ip支持设置多个
   "Ip": "192.168.3.22/25",
   "Rules": [
    //1秒请求5次
    {"Endpoint": "*","Period": "1s","Limit": 5},
    //15分钟请求150次
    {"Endpoint": "*","Period": "15m","Limit": 150},
    //12小时请求500次
    {"Endpoint": "*","Period": "12h","Limit": 500}
   ]
  }
 ]
}

基于客户端ID速率限制

1、修改Startup文件:

public void ConfigureServices(IServiceCollection services)
{
  //需要从加载配置文件appsettings.json
  services.AddOptions();

  //需要存储速率限制计算器和ip规则
  services.AddMemoryCache();

  //从appsettings.json中加载常规配置
  services.Configure<ClientRateLimitOptions>(Configuration.GetSection("IPRateLimiting"));

  //从appsettings.json中加载客户端规则
  services.Configure<ClientRateLimitPolicies>(Configuration.GetSection("ClientRateLimitPolicies"));

  //注入计数器和规则存储
  services.AddSingleton<IClientPolicyStore, MemoryCacheClientPolicyStore>();
  services.AddSingleton<IRateLimitCounterStore, MemoryCacheRateLimitCounterStore>();

  services.AddControllers();

    // https://github.com/aspnet/Hosting/issues/793
    // the IHttpContextAccessor service is not registered by default.
    //注入计数器和规则存储
    services.AddSingleton<IHttpContextAccessor, HttpContextAccessor>();

    //配置(解析器、计数器密钥生成器)
    services.AddSingleton<IRateLimitConfiguration, RateLimitConfiguration>();
}

public void Configure(IApplicationBuilder app, IHostingEnvironment env)
{
    //启用客户端限制
  app.UseClientRateLimiting();

  app.UseMvc();
}

2、通用配置采用IP限制相同配置,添加客户端限制配置:

//客户端限制设置
"ClientRateLimitPolicies": {
 "ClientRules": [
  {
   //客户端id
   "ClientId": "client-id-1",
   "Rules": [
    {"Endpoint": "*","Period": "1s","Limit": 10},
    {"Endpoint": "*","Period": "15m","Limit": 200}
   ]
  },
  {
   "ClientId": "client-id-2",
   "Rules": [
    {"Endpoint": "*","Period": "1s","Limit": 5},
    {"Endpoint": "*","Period": "15m","Limit": 150},
    {"Endpoint": "*","Period": "12h","Limit": 500}
   ]
  }
 ]
}

3、调用结果:

设置规则:1s只能调用一次:首次调用

调用第二次:自定义返回内容

三、其他

 运行时更新速率限制

添加 IpRateLimitController控制器:

/// <summary>
/// IP限制控制器
/// </summary>
[Route("api/[controller]")]
[ApiController]
public class IpRateLimitController : ControllerBase
{

  private readonly IpRateLimitOptions _options;
  private readonly IIpPolicyStore _ipPolicyStore;

  /// <summary>
  ///
  /// </summary>
  /// <param name="optionsAccessor"></param>
  /// <param name="ipPolicyStore"></param>
  public IpRateLimitController(IOptions<IpRateLimitOptions> optionsAccessor, IIpPolicyStore ipPolicyStore)
  {
    _options = optionsAccessor.Value;
    _ipPolicyStore = ipPolicyStore;
  }

  /// <summary>
  /// 获取限制规则
  /// </summary>
  /// <returns></returns>
  [HttpGet]
  public async Task<IpRateLimitPolicies> Get()
  {
    return await _ipPolicyStore.GetAsync(_options.IpPolicyPrefix);
  }

  /// <summary>
  ///
  /// </summary>
  [HttpPost]
  public async Task Post(IpRateLimitPolicy ipRate)
  {
    var pol = await _ipPolicyStore.GetAsync(_options.IpPolicyPrefix);
    if (ipRate != null)
    {
      pol.IpRules.Add(ipRate);
      await _ipPolicyStore.SetAsync(_options.IpPolicyPrefix, pol);
    }
  }
}

分布式部署时,需要将速率限制计算器和ip规则存储到分布式缓存中如Redis

修改注入对象

// inject counter and rules distributed cache stores
services.AddSingleton<IClientPolicyStore, DistributedCacheClientPolicyStore>();
services.AddSingleton<IRateLimitCounterStore,DistributedCacheRateLimitCounterStore>();

添加Nuget包  Microsoft.Extensions.Caching.StackExchangeRedis

在Startup中设置Redis连接

services.AddStackExchangeRedisCache(options =>
{
  options.ConfigurationOptions = new ConfigurationOptions
  {
    //silently retry in the background if the Redis connection is temporarily down
    AbortOnConnectFail = false
  };
  options.Configuration = "localhost:6379";
  options.InstanceName = "AspNetRateLimit";
});

限制时自定义相应结果:

//请求返回
  "QuotaExceededResponse": {
   "Content": "{{\"code\":429,\"msg\":\"Visit too frequently, please try again later\",\"data\":null}}",
   "ContentType": "application/json;utf-8",
   "StatusCode": 429
  },

调用时返回结果:

其他:

示例代码:https://github.com/cwsheng/WebAPIVersionDemo

到此这篇关于Asp.NET Core 限流控制(AspNetCoreRateLimit)的实现的文章就介绍到这了,更多相关Asp.NET Core 限流控制内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • ASP.NET Core对不同类型的用户进行区别限流详解

    前言 老板提出了一个新需求,从某某天起,免费用户每天只能查询100次,收费用户100W次. 这是一个限流问题,聪明的你也一定想到了如何去做:记录用户每一天的查询次数,然后根据当前用户的类型使用不同的数字做比较,超过指定的数字就返回错误. 嗯,原理就是这么简单.不过真正写起来还要考虑更多问题: 统计数据的数据结构是什么样的?字典 or 行记录? 统计数据记录到哪里?内存 or MySQL or Redis? 分布式应用怎么精确计数?分布式锁 or 队列 or 事务? 吞吐量比较大时如何扛得住?内存

  • Asp.NET Core 限流控制(AspNetCoreRateLimit)的实现

    起因: 近期项目中,提供了一些调用频率较高的api接口,需要保障服务器的稳定运行:需要对提供的接口进行限流控制.避免因客户端频繁的请求导致服务器的压力. 一.AspNetCoreRateLimit 介绍 AspNetCoreRateLimit 是一个ASP.NET Core速率限制的解决方案,旨在控制客户端根据IP地址或客户端ID向Web API或MVC应用发出的请求的速率.AspNetCoreRateLimit包含一个 IpRateLimitMiddleware 和 ClientRateLim

  • ASP.NET Core中使用滑动窗口限流的问题及场景分析

    目录 算法原理 漏检 太刚 算法实现 进程内即内存滑动窗口算法 基于Redis的滑动窗口算法 应用算法 1.安装Nuget包 2.使用中间件 滑动窗口算法用于应对请求在时间周期中分布不均匀的情况,能够更精确的应对流量变化,比较著名的应用场景就是TCP协议的流量控制,不过今天要说的是服务限流场景中的应用. 算法原理 这里假设业务需要每秒钟限流100次,先来看固定窗口算法的两个问题: 漏检 如下图所示,单看第1秒和第2秒,其请求次数都没有超过100,所以使用固定窗口算法时不会触发限流.但是第1秒的后

  • 解决ASP.NET Core中使用漏桶算法限流的问题

    目录 算法原理 算法实现 进程内即内存漏桶算法 基于Redis的漏桶算法 应用算法 1.安装Nuget包 2.使用中间件 漏桶算法是限流的四大主流算法之一,其应用场景各种资料中介绍的不多,一般都是说应用在网络流量控制中.这里举两个例子: 1.目前家庭上网都会限制一个固定的带宽,比如100M.200M等,一栋楼有很多的用户,那么运营商怎么保证某些用户没有使用过多的带宽,从而影响到别人呢?这时就可以使用漏桶算法,限制每个用户访问网络的最大带宽,当然实际会比这复杂很多. 2.有一个祖传接口,当时写的时

  • ASP.NET Core基于滑动窗口实现限流控制

    目录 前言: 二.固定窗口算法 三.滑动窗口算法 四.实现 六.使用 结论: 前言: 在实际项目中,为了保障服务器的稳定运行,需要对接口的可访问频次进行限流控制,避免因客户端频繁请求导致服务器压力过大. 而​AspNetCoreRateLimit是目前ASP.NET Core下最常用的限流解决方案. 查看它的实现代码,我发现它使用的固定窗口算法. var entry = await _counterStore.GetAsync(counterId, cancellationToken); if

  • ASP.NET Core中间件实现限流的代码

    目录 一.限流算法 1.计数器算法 1.1固定窗口算法 1.2滑动窗口算法 2.令牌桶算法 3.漏桶算法 二.ASP.NETCore中间件实现限流 1.中间件代码 2.在管道中的使用 一.限流算法 在高并发系统中,有三把利器用来保护系统:缓存.降级和限流. 本文主要是介绍限流,限流算法主要有以下三种: 1.计数器算法 固定窗口 滑动窗口 2.令牌桶算法 3.漏桶算法 1.计数器算法 1.1 固定窗口算法 计数器算法是限流算法里最简单也是最容易实现的一种算法.比如我们规定,对于A接口来说,我们1分

  • ASP.NET Core中使用令牌桶限流的实现

    在限流时一般会限制每秒或每分钟的请求数,简单点一般会采用计数器算法,这种算法实现相对简单,也很高效,但是无法应对瞬时的突发流量. 比如限流每秒100次请求,绝大多数的时间里都不会超过这个数,但是偶尔某一秒钟会达到120次请求,接着很快又会恢复正常,假设这种突发的流量不会对系统稳定性带来实质性的影响,则可以在一定程度上允许这种瞬时的突发流量,从而为用户带来更好的可用性体验.这就是令牌桶算法的用武之地. 该算法的基本原理是:有一个令牌桶,容量是X,每Y单位时间会向桶中放入Z个令牌,如果桶中的令牌数超

  • ASP.NET Core使用固定窗口限流

    目录 算法原理 算法实现 进程内即内存固定窗口算法 基于Redis的固定窗口算法 算法应用 1.安装Nuget包 2.使用中间件 算法原理 固定窗口算法又称计数器算法,是一种简单的限流算法.在单位时间内设定一个阈值和一个计数值,每收到一个请求则计数值加一,如果计数值超过阈值则触发限流,如果达不到则请求正常处理,进入下一个单位时间后,计数值清零,重新累计. 如上图所示,时间单位是1秒,阈值是3. 第1秒3个请求,不会触发限流: 第2秒1个请求,不会触发限流: 第3秒4个请求,这一秒的前3个请求正常

  • ASP.NET Core设置Ocelot网关限流

    1.限流(Rate Limiting) 很多时候为了防止DoS攻击,我们会通过限流方式对上游请求进行限制,以保护下游服务不会负荷过载,为客户端提供高质量的资源服务.在Ocelot限流项目示例中,通过APIGateway项目路由RateLimitOptions选项可以配置限流.对解决方案的示例APIServices项目Get方法进行限流,文件配置具体代码如下: { "Routes": [ { "DownstreamPathTemplate": "/api/v

  • 详解ASP.NET Core中配置监听URLs的五种方式

    默认情况下,ASP. NET Core应用会监听一下2个Url: http://localhost:5000 https://localhost:5001 在本篇博文中,我将展示如何使用五种不同的方式改变应用监听的URLs. 在ASP.NET Core项目启动时,有多种配置监听Url的方式,在我之前的一篇博客中,已经展示了在ASP.NET Core 1.0中如何应用不同的方式配置,在ASP.NET Core 3.x中,大部分方式还是一样的. UseUrls() - 在Program.cs配置程序

随机推荐