详解Spring Cloud Netflix Zuul中的速率限制

Spring Cloud Netflix Zuul是一个包含Netflix Zuul的 开源网关。它为Spring Boot应用程序添加了一些特定功能。不幸的是,开箱即用不提供速率限制。

除了Spring Cloud Netflix Zuul依赖项之外,我们还需要将Spring Cloud Zuul RateLimit 添加到我们的应用程序的pom.xml中:

<dependency>
 <groupId>org.springframework.cloud</groupId>
 <artifactId>spring-cloud-starter-netflix-zuul</artifactId>
</dependency>
<dependency>
 <groupId>com.marcosbarbero.cloud</groupId>
 <artifactId>spring-cloud-zuul-ratelimit</artifactId>
 <version>2.2.0.RELEASE</version>
</dependency>

首先,让我们创建几个REST端点,我们将在其上应用速率限制。

下面是一个简单的Spring Controller类,有两个端点:

@Controller
@RequestMapping("/greeting")
public class GreetingController {

 @GetMapping("/simple")
 public ResponseEntity<String> getSimple() {
  return ResponseEntity.ok("Hi!");
 }

 @GetMapping("/advanced")
 public ResponseEntity<String> getAdvanced() {
  return ResponseEntity.ok("Hello, how you doing?");
 }
}

让我们在application.yml文件中添加以下Zuul属性  :

zuul:
 routes:
 serviceSimple:
  path: /greeting/simple
  url: forward:/
 serviceAdvanced:
  path: /greeting/advanced
  url: forward:/
 ratelimit:
 enabled: true
 repository: JPA
 policy-list:
  serviceSimple:
  - limit: 5
   refresh-interval: 60
   type:
   - origin
  serviceAdvanced:
  - limit: 1
   refresh-interval: 2
   type:
   - origin
 strip-prefix: true

在zuul.routes下,我们提供端点详细信息。在zuul.ratelimit.policy-list下,我们为端点提供速率限制配置。该限属性指定的时间端点可以在内部被称为数字刷新间隔。

我们可以看到,我们为serviceSimple  端点添加了每60秒5个请求的速率限制。相比之下,  serviceAdvanced的速率限制为每2秒1个请求。

该类型配置指定其速率限制的方法,以下是可能的值:

  • origin - 基于用户原始请求的速率限制
  • url - 基于下游服务的请求路径的速率限制
  • user - 基于经过身份验证的用户名或“匿名”的速率限制
  • No value - 充当每项服务的全局配置。要使用这种方法,请不要设置参数'type'

接下来,让我们测试一下速率限制:

@Test
public void whenRequestNotExceedingCapacity_thenReturnOkResponse() {
 ResponseEntity<String> response = restTemplate.getForEntity(SIMPLE_GREETING, String.class);
 assertEquals(OK, response.getStatusCode());

 HttpHeaders headers = response.getHeaders();
 String key = "rate-limit-application_serviceSimple_127.0.0.1";

 assertEquals("5", headers.getFirst(HEADER_LIMIT + key));
 assertEquals("4", headers.getFirst(HEADER_REMAINING + key));
 assertEquals("60000", headers.getFirst(HEADER_RESET + key));
}

在这里,我们只对一个端点/ greeting / simple进行一次调用。请求成功,因为它在速率限制内。

另一个关键点是,对于每个响应,我们返回标头Header,为我们提供有关速率限制的更多信息。对于上述请求,我们将获得以下标头:

X-RateLimit-Limit-rate-limit-application_serviceSimple_127.0.0.1: 5

X-RateLimit-Remaining-rate-limit-application_serviceSimple_127.0.0.1: 4

X-RateLimit-Reset-rate-limit-application_serviceSimple_127.0.0.1: 60000

解释:

  • X-RateLimit-Limit- [key]:为端点配置 的限制
  • X-RateLimit-Remaining- [key]:  调用端点的剩余尝试次数
  • X-RateLimit-Reset- [key]:为端点配置 的刷新间隔的剩余毫秒数

另外,如果我们再次立即触发相同的端点,我们可以得到:

X-RateLimit-Limit-rate-limit-application_serviceSimple_127.0.0.1: 5

X-RateLimit-Remaining-rate-limit-application_serviceSimple_127.0.0.1: 3

X-RateLimit-Reset-rate-limit-application_serviceSimple_127.0.0.1: 57031

请注意减少的剩余尝试次数和剩余的毫秒数。

让我们看看当我们超过速率限制时会发生什么:

@Test
public void whenRequestExceedingCapacity_thenReturnTooManyRequestsResponse() throws InterruptedException {
 ResponseEntity<String> response = this.restTemplate.getForEntity(ADVANCED_GREETING, String.class);
 assertEquals(OK, response.getStatusCode());

 for (int i = 0; i < 2; i++) {
  response = this.restTemplate.getForEntity(ADVANCED_GREETING, String.class);
 }

 assertEquals(TOO_MANY_REQUESTS, response.getStatusCode());

 HttpHeaders headers = response.getHeaders();
 String key = "rate-limit-application_serviceAdvanced_127.0.0.1";

 assertEquals("1", headers.getFirst(HEADER_LIMIT + key));
 assertEquals("0", headers.getFirst(HEADER_REMAINING + key));
 assertNotEquals("2000", headers.getFirst(HEADER_RESET + key));

 TimeUnit.SECONDS.sleep(2);

 response = this.restTemplate.getForEntity(ADVANCED_GREETING, String.class);
 assertEquals(OK, response.getStatusCode());
}

在这里,我们快速连续两次调用,由于我们已将速率限制配置为每2秒一个请求,因此第二个调用将失败。结果,错误代码429(Too Many Requests)返回给客户端。以下是达到速率限制时返回的标头:

X-RateLimit-Limit-rate-limit-application_serviceAdvanced_127.0.0.1: 1

X-RateLimit-Remaining-rate-limit-application_serviceAdvanced_127.0.0.1: 0

X-RateLimit-Reset-rate-limit-application_serviceAdvanced_127.0.0.1: 268

之后,我们休息了2秒钟。这是为端点配置的刷新间隔。最后,我们再次触发端点并获得成功的响应。

自定义密钥生成器

我们可以使用自定义密钥生成器自定义响应头中发送的密钥。这很有用,因为应用程序可能需要控制除type属性提供的选项之外的密钥策略。

例如,这可以通过创建自定义的RateLimitKeyGenerator实现类来完成。我们可以添加更多的限定符或完全不同的东西:

@Bean
public RateLimitKeyGenerator rateLimitKeyGenerator(RateLimitProperties properties,
 RateLimitUtils rateLimitUtils) {
 return new DefaultRateLimitKeyGenerator(properties, rateLimitUtils) {
  @Override
  public String key(HttpServletRequest request, Route route,
   RateLimitProperties.Policy policy) {
   return super.key(request, route, policy) + "_" + request.getMethod();
  }
 };
}

上面的代码将REST方法名称附加到键。例如:

X-RateLimit-Limit-rate-limit-application_serviceSimple_127.0.0.1_GET: 5

另一个关键点是  RateLimitKeyGenerator bean将由spring-cloud-zuul-ratelimit自动配置。

自定义错误处理

该框架支持速率限制数据存储的各种实现。例如,提供了Spring Data JPA和Redis。默认情况下,使用DefaultRateLimiterErrorHandler  类将故障记录为错误。

当我们需要以不同方式处理错误时,我们可以定义一个自定义的RateLimiterErrorHandler bean:

@Bean
public RateLimiterErrorHandler rateLimitErrorHandler() {
 return new DefaultRateLimiterErrorHandler() {
  @Override
  public void handleSaveError(String key, Exception e) {
   <i>// implementation</i>
  }

  @Override
  public void handleFetchError(String key, Exception e) {
   <i>// implementation</i>
  }

  @Override
  public void handleError(String msg, Exception e) {
   <i>// implementation</i>
  }
 };
}

与RateLimitKeyGenerator bean 类似  ,也将自动配置RateLimiterErrorHandler bean。

在GitHub上找到本文的完整代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • 了解spring中的CloudNetflix Hystrix弹性客户端

    一.为什么要有客户端弹性模式 所有的系统都会遇到故障,分布式系统单点故障概率更高.如何构建应用程序来应对故障,是每个软件开发人员工作的关键部分.但是通常在构建系统时,大多数工程师只考虑到基础设施或关键服务彻底发生故障,使用诸如集群关键服务器.服务间的负载均衡以及异地部署等技术.尽管这些方法考虑到组件系统的彻底故障,但他们之解决了构建弹性系统的一小部分问题.当服务崩溃时,很容易检测到该服务以及失效,因此应用程序可以饶过它.然而,当服务运行缓慢时,检测到这个服务性能越发低下并绕过它是非常困难的,因为

  • Spring Cloud Netflix架构浅析(小结)

    最近接触微服务这块的东西,对这方面有了一些了解,拿出来和大家分享一下. 1. 微服务框架Spring Boot+Spring Cloud  Spring Cloud是基于Spring Boot的一整套实现微服务的框架,可以说,Spring Boot作为框架,Spring Cloud作为微服务,一起构成了一种不可忽视的.新生的框架体系.它提供了微服务开发所需的配置管理.服务发现.断路器.智能路由.微代理.控制总线.全局锁.决策竞选.分布式会话和集群状态管理等组件,方便易用.Spring Cloud

  • 详解spring-cloud与netflixEureka整合(注册中心)

    基础依赖 compile('org.springframework.boot:spring-boot-starter-actuator') compile('org.springframework.boot:spring-boot-starter-web') compile('org.springframework.cloud:spring-cloud-starter') eureka(单机) 服务端: 依赖 compile('org.springframework.cloud:spring-c

  • Spring Cloud Hystrix 线程池队列配置(踩坑)

    背景: 有一次在生产环境,突然出现了很多笔还款单被挂起,后来排查原因,发现是内部系统调用时出现了Hystrix调用异常.在开发过程中,因为核心线程数设置的比较大,没有出现这种异常.放到了测试环境,偶尔有出现这种情况,后来在网上查找解决方案,网上的方案是调整maxQueueSize属性就好了,当时调整了一下,确实有所改善.可没想到在生产环境跑了一段时间后却又出现这种了情况,此时我第一想法就是去查看maxQueueSize属性,可是maxQueueSize属性是设置值了.当时就比较纳闷了,为什么ma

  • springcloud使用Hystrix进行微服务降级管理

    前言:目前我们的项目是微服务架构,基于dubbo框架,服务之间的调用是通过rpc调用的.刚开始没有任何问题,项目运行健康.良好.可是过了一段时间,线上总有人反应查询订单失败,等过了一段时间才能查到.这是怎么回事呢?打开后台的日志一看出现了一些RpcException和TimeOutException,原来是远程调用超时了,可能某个服务在请求的高发期访问数据库异常,IO阻塞,返回接口异常了.后来这个问题越来越频繁,如何解决这个棘手的问题呢? 一:Hystrix是什么? 1.1:基本解释 Hystr

  • 详解Spring Cloud Netflix Zuul中的速率限制

    Spring Cloud Netflix Zuul是一个包含Netflix Zuul的 开源网关.它为Spring Boot应用程序添加了一些特定功能.不幸的是,开箱即用不提供速率限制. 除了Spring Cloud Netflix Zuul依赖项之外,我们还需要将Spring Cloud Zuul RateLimit 添加到我们的应用程序的pom.xml中: <dependency> <groupId>org.springframework.cloud</groupId&g

  • 详解Spring Cloud Finchley版中Consul多实例注册的问题处理

    consul 简介 consul 具有以下性质: 服务发现:consul通过http 方式注册服务,并且服务与服务之间相互感应. 服务健康监测 key/value 存储 多数据中心 consul可运行在mac windows linux 等机器上. 由于Spring Cloud对Etcd的支持一直没能从孵化器中出来,所以目前来说大多用户还在使用Eureka和Consul,之前又因为Eureka 2.0不在开源的消息,外加一些博眼球的标题党媒体使得Eureka的用户有所减少,所以,相信在选择Spr

  • 详解Spring Cloud Zuul网关修改为短连接方法

    目录 一.问题分析 二.解决方式 一.问题分析 之前在用zuul网关的时候,请求几次然后连接就断开了.原因是因为http1.1之后,默认走的都是connection=keep-alive 长连接.但没有心跳维持,顾1分钟断开一次.但RestFul一般都是走短连接就行了.因此想着只要修改头部connection属性就行了. 就是在过滤器中修改Zuul的RequestContext ctx对象 //设置请求为短连接 ctx.addZuulRequestHeader("connection"

  • 详解spring cloud构建微服务架构的网关(API GateWay)

    前言 在我们前面的博客中讲到,当服务A需要调用服务B的时候,只需要从Eureka中获取B服务的注册实例,然后使用Feign来调用B的服务,使用Ribbon来实现负载均衡,但是,当我们同时向客户端暴漏多个服务的时候,客户端怎么调用我们暴漏的服务了,如果我们还想加入安全认证,权限控制,过滤器以及动态路由等特性了,那么就需要使用Zuul来实现API GateWay了,下面,我们先来看下Zuul怎么使用. 一.加入Zuul的依赖 <dependency> <groupId>org.spri

  • 详解spring cloud使用Hystrix实现单个方法的fallback

    本文介绍了spring cloud-使用Hystrix实现单个方法的fallback,分享给大家,具体如下: 一.加入Hystrix依赖 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-hystrix</artifactId> </dependency> 二.编写Controller package c

  • 详解Spring Cloud 跨服务数据聚合框架

    AG-Merge Spring Cloud 跨服务数据聚合框架 解决问题 解决Spring Cloud服务拆分后分页数据的属性或单个对象的属性拆分之痛, 支持对静态数据属性(数据字典).动态主键数据进行自动注入和转化, 其中聚合的静态数据会进行 一级混存 (guava). 举个栗子: 两个服务,A服务的某张表用到了B服务的某张表的值,我们在对A服务那张表查询的时候,把B服务某张表的值聚合在A服务的那次查询过程中 示例 具体示例代码可以看 ace-merge-demo 模块 |------- ac

  • 详解spring cloud整合Swagger2构建RESTful服务的APIs

    前言 在前面的博客中,我们将服务注册到了Eureka上,可以从Eureka的UI界面中,看到有哪些服务已经注册到了Eureka Server上,但是,如果我们想查看当前服务提供了哪些RESTful接口方法的话,就无从获取了,传统的方法是梳理一篇服务的接口文档来供开发人员之间来进行交流,这种情况下,很多时候,会造成文档和代码的不一致性,比如说代码改了,但是接口文档没有改等问题,而Swagger2则给我们提供了一套完美的解决方案,下面,我们来看看Swagger2是如何来解决问题的. 一.引入Swag

  • 详解spring cloud config实现datasource的热部署

    关于spring cloud config的基本使用,前面的博客中已经说过了,如果不了解的话,请先看以前的博客 spring cloud config整合gitlab搭建分布式的配置中心 spring cloud config分布式配置中心的高可用 今天,我们的重点是如何实现数据源的热部署. 1.在客户端配置数据源 @RefreshScope @Configuration// 配置数据源 public class DataSourceConfigure { @Bean @RefreshScope

  • 详解spring cloud config整合gitlab搭建分布式的配置中心

    在前面的博客中,我们都是将配置文件放在各自的服务中,但是这样做有一个缺点,一旦配置修改了,那么我们就必须停机,然后修改配置文件后再进行上线,服务少的话,这样做还无可厚非,但是如果是成百上千的服务了,这个时候,就需要用到分布式的配置管理了.而spring cloud config正是用来解决这个问题而生的.下面就结合gitlab来实现分布式配置中心的搭建.spring cloud config配置中心由server端和client端组成, 前提:在gitlab中的工程下新建一个配置文件config

  • 详解Spring Cloud Feign 熔断配置的一些小坑

    1.在使用feign做服务调用时,使用继承的方式调用服务,加入Hystrix的熔断处理fallback配置时,会报错,已解决. 2.使用feign默认配置,熔断不生效,已解决. 最近在做微服务的学习,发现在使用feign做服务调用时,使用继承的方式调用服务,加入Hystrix的熔断处理fallback配置时,会报错,代码如下: @RequestMapping("/demo/api") public interface HelloApi { @GetMapping("user/

随机推荐