详解Spring Cloud Gateway 数据库存储路由信息的扩展方案

动态路由背景

​ 无论你在使用Zuul还是Spring Cloud Gateway 的时候,官方文档提供的方案总是基于配置文件配置的方式

例如:

 # zuul 的配置形式
 routes:
  pig-auth:
   path: /auth/**
   serviceId: pig-auth
   stripPrefix: true
 # gateway 的配置形式
 routes:
 - id: pigx-auth
   uri: lb://pigx-auth
  predicates:
  - Path=/auth/**
  filters:
  - ValidateCodeGatewayFilter

配置更改需要重启服务,不能满足实际生产过程中的动态刷新、实时变更的业务需求。

​ 基于以上分析 pig已经提供了基于Zuul版本的动态路由功能,附Git 地址传送门,效果如下图可以实时配置修改刷新。

Spring Cloud Gateway 路由加载源码

  1. DispatcherHandler 接管用户请求
  2. RoutePredicateHandlerMapping 路由匹配
    1. 根据RouteLocator获取 RouteDefinitionLocator
    2. 返回多个RouteDefinitionLocator.getRouteDefinitions()的路由定义信息
  3. FilteringWebHandler执行路由定义中的filter 最后路由到具体的业务服务中

Spring Cloud Gateway 默认动态路由实现

GatewayControllerEndpoint 基于actuate端点的默认实现,支持JVM 级别的动态路由,不能序列化存储

// 上图动态路由的信息保存的默认实现是基于内存的实现
public class InMemoryRouteDefinitionRepository implements RouteDefinitionRepository {
  private final Map<String, RouteDefinition> routes = synchronizedMap(new LinkedHashMap<String, RouteDefinition>());
  @Override
  public Mono<Void> save(Mono<RouteDefinition> route){}
  @Override
  public Mono<Void> delete(Mono<String> routeId){}

  @Override
  public Flux<RouteDefinition> getRouteDefinitions(){}
}

扩展基于Mysql + Redis存储分布式动态组件

为什么使用Mysql的同时,又要使用Redis?

  • spring cloud gateway 基于webflux 背压,暂时不支持mysql 数据库
  • Redis-reactive 支持 spring cloudgateway 的背压,同时还可以实现分布式,高性能

扩展思路

  1. 增加一个路由管理模块,参考GatewayControllerEndpoint实现,启动时加载数据库中配置文件到Redis
  2. 网关模块重写RouteDefinitionRepository,getRouteDefinitions()取Redis中读取即可实现
  3. 前端配合 json-view 类似插件,直接修改展示。

具体实现

路由管理模块核心处理逻辑,获取路由和更新路由

/**
 * @author lengleng
 * @date 2018年11月06日10:27:55
 * <p>
 * 动态路由处理类
 */
@Slf4j
@AllArgsConstructor
@Service("sysRouteConfService")
public class SysRouteConfServiceImpl extends ServiceImpl<SysRouteConfMapper, SysRouteConf> implements SysRouteConfService {
  private final RedisTemplate redisTemplate;
  private final ApplicationEventPublisher applicationEventPublisher;

  /**
   * 获取全部路由
   * <p>
   * RedisRouteDefinitionWriter.java
   * PropertiesRouteDefinitionLocator.java
   *
   * @return
   */
  @Override
  public List<SysRouteConf> routes() {
    SysRouteConf condition = new SysRouteConf();
    condition.setDelFlag(CommonConstant.STATUS_NORMAL);
    return baseMapper.selectList(new EntityWrapper<>(condition));
  }

  /**
   * 更新路由信息
   *
   * @param routes 路由信息
   * @return
   */
  @Override
  public Mono<Void> editRoutes(JSONArray routes) {
    // 清空Redis 缓存
    Boolean result = redisTemplate.delete(CommonConstant.ROUTE_KEY);
    log.info("清空网关路由 {} ", result);

    // 遍历修改的routes,保存到Redis
    List<RouteDefinitionVo> routeDefinitionVoList = new ArrayList<>();
    routes.forEach(value -> {
      log.info("更新路由 ->{}", value);
      RouteDefinitionVo vo = new RouteDefinitionVo();
      Map<String, Object> map = (Map) value;

      Object id = map.get("routeId");
      if (id != null) {
        vo.setId(String.valueOf(id));
      }

      Object predicates = map.get("predicates");
      if (predicates != null) {
        JSONArray predicatesArray = (JSONArray) predicates;
        List<PredicateDefinition> predicateDefinitionList =
          predicatesArray.toList(PredicateDefinition.class);
        vo.setPredicates(predicateDefinitionList);
      }

      Object filters = map.get("filters");
      if (filters != null) {
        JSONArray filtersArray = (JSONArray) filters;
        List<FilterDefinition> filterDefinitionList
          = filtersArray.toList(FilterDefinition.class);
        vo.setFilters(filterDefinitionList);
      }

      Object uri = map.get("uri");
      if (uri != null) {
        vo.setUri(URI.create(String.valueOf(uri)));
      }

      Object order = map.get("order");
      if (order != null) {
        vo.setOrder(Integer.parseInt(String.valueOf(order)));
      }

      redisTemplate.setHashValueSerializer(new Jackson2JsonRedisSerializer<>(RouteDefinitionVo.class));
      redisTemplate.opsForHash().put(CommonConstant.ROUTE_KEY, vo.getId(), vo);
      routeDefinitionVoList.add(vo);
    });

    // 逻辑删除全部
    SysRouteConf condition = new SysRouteConf();
    condition.setDelFlag(CommonConstant.STATUS_NORMAL);
    this.delete(new EntityWrapper<>(condition));

    //插入生效路由
    List<SysRouteConf> routeConfList = routeDefinitionVoList.stream().map(vo -> {
      SysRouteConf routeConf = new SysRouteConf();
      routeConf.setRouteId(vo.getId());
      routeConf.setFilters(JSONUtil.toJsonStr(vo.getFilters()));
      routeConf.setPredicates(JSONUtil.toJsonStr(vo.getPredicates()));
      routeConf.setOrder(vo.getOrder());
      routeConf.setUri(vo.getUri().toString());
      return routeConf;
    }).collect(Collectors.toList());
    this.insertBatch(routeConfList);
    log.debug("更新网关路由结束 ");

    this.applicationEventPublisher.publishEvent(new RefreshRoutesEvent(this));
    return Mono.empty();
  }
}

网关自定义RedisRouteDefinitionRepository

 @Slf4j
 @Component
 @AllArgsConstructor
 public class RedisRouteDefinitionWriter implements RouteDefinitionRepository {
   private final RedisTemplate redisTemplate;

   @Override
   public Mono<Void> save(Mono<RouteDefinition> route) {
     return route.flatMap(r -> {
       RouteDefinitionVo vo = new RouteDefinitionVo();
       BeanUtils.copyProperties(r, vo);
       log.info("保存路由信息{}", vo);
       redisTemplate.opsForHash().put(CommonConstant.ROUTE_KEY, r.getId(), vo);
       return Mono.empty();
     });
   }
   @Override
   public Mono<Void> delete(Mono<String> routeId) {
     routeId.subscribe(id -> {
       log.info("删除路由信息{}", id);
       redisTemplate.opsForHash().delete(CommonConstant.ROUTE_KEY, id);
     });
     return Mono.empty();
   }

   @Override
   public Flux<RouteDefinition> getRouteDefinitions() {
     redisTemplate.setHashValueSerializer(new Jackson2JsonRedisSerializer<>(RouteDefinitionVo.class));
     List<RouteDefinitionVo> values = redisTemplate.opsForHash().values(CommonConstant.ROUTE_KEY);
     List<RouteDefinition> definitionList = new ArrayList<>();
     values.forEach(vo -> {
       RouteDefinition routeDefinition = new RouteDefinition();
       BeanUtils.copyProperties(vo, routeDefinition);
       definitionList.add(vo);
     });
     log.debug("redis 中路由定义条数: {}, {}", definitionList.size(), definitionList);
     return Flux.fromIterable(definitionList);
   }
 }

3.库表定义

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • spring cloud如何修复zuul跨域配置异常的问题

    前言 本文主要给大家介绍一下在zuul进行跨域配置的时候出现异常该如何解决的方法,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 异常 The 'Access-Control-Allow-Origin' header contains multiple values '*, *', but only one is allowed 实例 Access-Control-Allow-Credentials:true Access-Control-Allow-Credentials:t

  • Spring Cloud Gateway使用Token验证详解

    引入依赖 <dependencyManagement> <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-dependencies</artifactId> <version>${spring-cloud.version}</version> <ty

  • SpringCloud Gateway跨域配置代码实例

    这篇文章主要介绍了SpringCloud Gateway跨域配置代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 Springboot版本:2.1.8.RELEASE SpringCloud版本:Greenwich.SR2 yml配置: spring: cloud: gateway: globalcors: cors-configurations: '[/**]': # 允许携带认证信息 # 允许跨域的源(网站域名/ip),设置*为全部

  • springboot2.0和springcloud Finchley版项目搭建(包含eureka,gateWay,Freign,Hystrix)

    前段时间spring boot 2.0发布了,与之对应的spring cloud Finchley版本也随之而来了,两者之间的关系和版本对应详见我这边文章:spring boot和spring cloud对应的版本关系 项目地址:spring-cloud-demo spring boot 1.x和spring cloud Dalston和Edgware版本搭建的微服务项目现在已经很流行了,现在很多企业都已经在用了,这里就不多说了. 使用版本说明: spring boot 2.0.x spring

  • 详解SpringCloud Finchley Gateway 统一异常处理

    SpringCloud Finchley Gateway 统一异常处理 全文搜索[@@]搜索重点内容标记 1 . 问题:使用SpringCloud Gateway时,会出现各种系统级异常,默认返回HTML. 2 . Finchley版本的Gateway,使用WebFlux形式作为底层框架,而不是Servlet容器,所以常规的异常处理无法使用 翻阅源码,默认是使用DefaultErrorWebExceptionHandler这个类实现结构如下: 可以实现参考DefaultErrorWebExcep

  • SpringCloud Finchley Gateway 缓存请求Body和Form表单的实现

    在接入Spring-Cloud-Gateway时,可能有需求进行缓存Json-Body数据或者Form-Urlencoded数据的情况. 由于Spring-Cloud-Gateway是以WebFlux为基础的响应式架构设计,所以在原有Zuul基础上迁移过来的过程中,传统的编程思路,并不适合于Reactor Stream的开发. 网络上有许多缓存案例,但是在测试过程中出现各种Bug问题,在缓存Body时,需要考虑整体的响应式操作,才能更合理的缓存数据 下面提供缓存Json-Body数据或者Form

  • springcloud gateway聚合swagger2的方法示例

    问题描述 在搭建分布式应用时,每个应用通过nacos在网关出装配了路由,我们希望网关也可以将所有的应用的swagger界面聚合起来.这样前端开发的时候只需要访问网关的swagger就可以,而不用访问每个应用的swagger. 框架 springcloud+gateway+nacos+swagger 问题分析 swagger页面是一个单页面应用,所有的显示的数据都是通过和springfox.documentation.swagger.web.ApiResponseController进行数据交互,

  • 详解SpringCloud Gateway之过滤器GatewayFilter

    在Spring-Cloud-Gateway之请求处理流程文中我们了解最终网关是将请求交给过滤器链表进行处理,接下来我们阅读Spring-Cloud-Gateway的整个过滤器类结构以及主要功能 通过源码可以看到Spring-Cloud-Gateway的filter包中吉接口有如下三个,GatewayFilter,GlobalFilter,GatewayFilterChain,下来我依次阅读接口的主要实现功能. GatewayFilterChain 类图 代码 /** * 网关过滤链表接口 * 用

  • 详解Spring Cloud Gateway 数据库存储路由信息的扩展方案

    动态路由背景 ​ 无论你在使用Zuul还是Spring Cloud Gateway 的时候,官方文档提供的方案总是基于配置文件配置的方式 例如: # zuul 的配置形式 routes: pig-auth: path: /auth/** serviceId: pig-auth stripPrefix: true # gateway 的配置形式 routes: - id: pigx-auth uri: lb://pigx-auth predicates: - Path=/auth/** filte

  • 详解Spring Cloud Gateway基于服务发现的默认路由规则

    1.Spring Gateway概述 1.1 什么是Spring Cloud Gateway Spring Cloud Gateway是Spring官方基于Spring 5.0,Spring Boot 2.0和Project Reactor等技术开发的网关,Spring Cloud Gateway旨在为微服务架构提供一种简单而有效的统一的API路由管理方式.Spring Cloud Gateway作为Spring Cloud生态系中的网关,目标是替代Netflix ZUUL,其不仅提供统一的路由

  • 详解Spring Cloud Gateway修改请求和响应body的内容

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览 作为<Spring Cloud Gateway实战>系列的第九篇,咱们聊聊如何用Spring Cloud Gateway修改原始请求和响应内容,以及修改过程中遇到的问题 首先是修改请求body,如下图,浏览器是请求发起方,真实参数只有user-id,经过网关时被塞入字段user-name,于是,后台服务收到的请求就带有user-name字段

  • 详解Spring Cloud Gateway 限流操作

    开发高并发系统时有三把利器用来保护系统:缓存.降级和限流. API网关作为所有请求的入口,请求量大,我们可以通过对并发访问的请求进行限速来保护系统的可用性. 常用的限流算法比如有令牌桶算法,漏桶算法,计数器算法等. 在Zuul中我们可以自己去实现限流的功能 (Zuul中如何限流在我的书 <Spring Cloud微服务-全栈技术与案例解析>  中有详细讲解) ,Spring Cloud Gateway的出现本身就是用来替代Zuul的. 要想替代那肯定得有强大的功能,除了性能上的优势之外,Spr

  • 详解spring cloud构建微服务架构的网关(API GateWay)

    前言 在我们前面的博客中讲到,当服务A需要调用服务B的时候,只需要从Eureka中获取B服务的注册实例,然后使用Feign来调用B的服务,使用Ribbon来实现负载均衡,但是,当我们同时向客户端暴漏多个服务的时候,客户端怎么调用我们暴漏的服务了,如果我们还想加入安全认证,权限控制,过滤器以及动态路由等特性了,那么就需要使用Zuul来实现API GateWay了,下面,我们先来看下Zuul怎么使用. 一.加入Zuul的依赖 <dependency> <groupId>org.spri

  • 详解spring cloud使用Hystrix实现单个方法的fallback

    本文介绍了spring cloud-使用Hystrix实现单个方法的fallback,分享给大家,具体如下: 一.加入Hystrix依赖 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-hystrix</artifactId> </dependency> 二.编写Controller package c

  • 详解Spring Cloud 跨服务数据聚合框架

    AG-Merge Spring Cloud 跨服务数据聚合框架 解决问题 解决Spring Cloud服务拆分后分页数据的属性或单个对象的属性拆分之痛, 支持对静态数据属性(数据字典).动态主键数据进行自动注入和转化, 其中聚合的静态数据会进行 一级混存 (guava). 举个栗子: 两个服务,A服务的某张表用到了B服务的某张表的值,我们在对A服务那张表查询的时候,把B服务某张表的值聚合在A服务的那次查询过程中 示例 具体示例代码可以看 ace-merge-demo 模块 |------- ac

  • 详解spring cloud整合Swagger2构建RESTful服务的APIs

    前言 在前面的博客中,我们将服务注册到了Eureka上,可以从Eureka的UI界面中,看到有哪些服务已经注册到了Eureka Server上,但是,如果我们想查看当前服务提供了哪些RESTful接口方法的话,就无从获取了,传统的方法是梳理一篇服务的接口文档来供开发人员之间来进行交流,这种情况下,很多时候,会造成文档和代码的不一致性,比如说代码改了,但是接口文档没有改等问题,而Swagger2则给我们提供了一套完美的解决方案,下面,我们来看看Swagger2是如何来解决问题的. 一.引入Swag

  • 详解Spring cloud使用Ribbon进行Restful请求

    写在前面 本文由markdown格式写成,为本人第一次这么写,排版可能会有点乱,还望各位海涵.  主要写的是使用Ribbon进行Restful请求,测试各个方法的使用,代码冗余较高,比较适合初学者,介意轻喷谢谢. 前提 一个可用的Eureka注册中心(文中以之前博客中双节点注册中心,不重要) 一个连接到这个注册中心的服务提供者 一个ribbon的消费者 注意:文中使用@GetMapping.@PostMapping.@PutMapping.@DeleteMapping等注解需要升级 spring

  • 详解Spring Cloud Zuul网关修改为短连接方法

    目录 一.问题分析 二.解决方式 一.问题分析 之前在用zuul网关的时候,请求几次然后连接就断开了.原因是因为http1.1之后,默认走的都是connection=keep-alive 长连接.但没有心跳维持,顾1分钟断开一次.但RestFul一般都是走短连接就行了.因此想着只要修改头部connection属性就行了. 就是在过滤器中修改Zuul的RequestContext ctx对象 //设置请求为短连接 ctx.addZuulRequestHeader("connection"

随机推荐