SpringCloudGateway Nacos GitlabRunner全自动灰度服务搭建发布

目录
  • 1 | 业务场景说明
  • 2 | 具体实现方案
    • 2.1 | SCG
    • 2.2 | Nacos
    • 2.3 | GitlabRunner
  • 3 | 后续 TODO
  • 4 | 使用版本说明

1 | 业务场景说明

要实现的业务场景:

  • 可以根据单个用户id或者批量用户id,判断是否需要灰度该用户/批量用户
  • 可以根据请求头字段(可动态设定的任意kv),判断是否需要走灰度服务

2 | 具体实现方案

这里采用 SpringCloudGateway(SCG) + Nacos + GitlabRunner 来实现整个自动化的灰度发布。

  • SCG:统一的流量入口 + 正常/灰度服务选择分发逻辑处理
  • Nacos:loadbalancer 提供方,通过 metadata 维护灰度服务
  • GitlabRunner:灰度服务部署的自动化 CICD Pipeline 处理

下面分别从以上这三个组件来搭建。

2.1 | SCG

直接上代码,通过注释讲解。

  • GrayLoadBalancerClientFilter: 自定义灰度服务负载均衡过滤器
/**
 * 通过GrayLoadBalancer过滤实例
 */
@Component
@Slf4j
public class GrayLoadBalancerClientFilter implements GlobalFilter, Ordered {
    @Resource
    private LoadBalancerClientFactory clientFactory;
    @Resource
    private CustomProperty customProperty;
    @Override
    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
        URI url = exchange.getAttribute(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR);
        ServerWebExchangeUtils.addOriginalRequestUrl(exchange, url);
        if (url == null || BizConstant.HTTP.equalsIgnoreCase(url.getScheme())) {
            return chain.filter(exchange);
        }
        return doFilter(exchange, chain, url);
    }
    private Mono<Void> doFilter(ServerWebExchange exchange, GatewayFilterChain chain, URI url) {
        return this.choose(exchange).doOnNext(res -> {
            if (!res.hasServer()) {
                throw NotFoundException.create(true, "Unable to find instance for ".concat(url.getHost()));
            }
            URI uri = exchange.getRequest().getURI();
            String overrideScheme = null;
            DelegatingServiceInstance delegatingServiceInstance = new DelegatingServiceInstance(res.getServer(), overrideScheme);
            URI reqUrl = this.reconstructURI(delegatingServiceInstance, uri);
            if (log.isDebugEnabled()) {
                log.debug("GrayLoadBalancerClientFilter url chosen: {}", reqUrl.toString());
            }
            exchange.getAttributes().put(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR, reqUrl);
        }).then(chain.filter(exchange));
    }
    private URI reconstructURI(DelegatingServiceInstance delegatingServiceInstance, URI originalUri) {
        return LoadBalancerUriTools.reconstructURI(delegatingServiceInstance, originalUri);
    }
    private Mono<Response<ServiceInstance>> choose(ServerWebExchange exchange) {
        URI uri = exchange.getAttribute(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR);
        if (uri == null) {
            throw new MMException("{} is null", ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR);
        }
        GrayLoadBalancer loadBalancer = new GrayLoadBalancer(clientFactory.getLazyProvider(uri.getHost(), ServiceInstanceListSupplier.class), uri.getHost(), customProperty);
        return loadBalancer.choose(this.createRequest(exchange));
    }
    private Request createRequest(ServerWebExchange exchange) {
        return new DefaultRequest(exchange.getRequest().getHeaders());
    }
    @Override
    public int getOrder() {
        return FILTER_ORDER_GRAY;
    }
}

NOTE

FILTER_ORDER_GRAY 是一个 int 常量,其值不能随意定义(如-1,0,1,2之类)。从下表可以看到,SCG 的 LoadBalancerClientFilter 执行顺序是 10100,那么 GrayLoadBalancerClientFilter 的执行顺序必须 > 10100 (否则自定义的 Filter 里就会有变量未被赋值), 这里假定 FILTER_ORDER_GRAY = 10110

  • GrayLoadBalancer: 灰度发布负载均衡策略
/**
 * 灰度发布负载均衡策略
 */
@Slf4j
public class GrayLoadBalancer implements ReactorServiceInstanceLoadBalancer {
    private ObjectProvider<ServiceInstanceListSupplier> serviceInstanceListSupplierProvider;
    private String serviceId;
    private CustomProperty customProperty;
    public GrayLoadBalancer(ObjectProvider<ServiceInstanceListSupplier> serviceInstanceListSupplierProvider, String serviceId, CustomProperty customProperty) {
        this.serviceId = serviceId;
        this.serviceInstanceListSupplierProvider = serviceInstanceListSupplierProvider;
        this.customProperty = customProperty;
    }
    @Override
    public Mono<Response<ServiceInstance>> choose(Request request) {
        HttpHeaders headers = (HttpHeaders) request.getContext();
        if (this.serviceInstanceListSupplierProvider != null) {
            ServiceInstanceListSupplier supplier = this.serviceInstanceListSupplierProvider.getIfAvailable(NoopServiceInstanceListSupplier::new);
            return supplier.get().next().map(item -> getInstanceResponse(item, headers));
        }
        return null;
    }
    private Response<ServiceInstance> getInstanceResponse(List<ServiceInstance> instances, HttpHeaders headers) {
        if (instances.isEmpty()) {
            return getServiceInstanceEmptyResponse();
        }
        return getServiceInstanceResponseByUidsOrGrayTag(instances, headers);
    }
    /**
     * 从nacos获取服务实例列表,并根据策略返回灰度服务的实例还是正常服务的实例
     */
    private Response<ServiceInstance> getServiceInstanceResponseByUidsOrGrayTag(List<ServiceInstance> instances, HttpHeaders headers) {
        List<ServiceInstance> grayInstances = new ArrayList<>();
        List<ServiceInstance> normalInstances = new ArrayList<>();
        for (ServiceInstance instance : instances) {
            Map<String, String> metadata = instance.getMetadata();
            // nacos元数据包含“gray-tag”的key值,且value="true",则判定为灰度实例
            String isGrayInstance = metadata.get(BizConstant.GRAY_TAG);
            if (BizConstant.TRUE.equals(isGrayInstance)) {
                grayInstances.add(instance);
            } else {
                normalInstances.add(instance);
            }
        }
        //没有灰度服务,直接返回
        if (grayInstances.isEmpty()) {
            return new DefaultResponse(chooseOneInstance(normalInstances));
        }
        //有灰度服务,判断是否需要灰度
        if (checkIfNeedGray(headers)) {
            log.info("gray service of {} will be called", this.serviceId);
            return new DefaultResponse(chooseOneInstance(grayInstances));
        }
        return new DefaultResponse(chooseOneInstance(normalInstances));
    }
    /**
     * 从实例列表中获取其中一个实例的策略实现,这里采用的是随机挑选
     * pick strategy 可以根据业务需要,在这个方法里改写
     */
    private ServiceInstance chooseOneInstance(List<ServiceInstance> serviceInstances) {
        // strategy 1:可用的里面随机选择一个
        int size = serviceInstances.size();
        if (size == 1) {
            return serviceInstances.get(0);
        }
        Random rand = new Random();
        int random = rand.nextInt(size);
        return serviceInstances.get(random);
    }
    /**
     * 灰度判断逻辑:
     * 1. 判断请求header里是否用灰度标识的 kv,有则走灰度服务
     * 2. 如果 1 不满足,则判断请求的用户 id 是否在灰度用户池中,有则走灰度服务
     * 3. 1 和 2 都不满足,走正常服务
     */
    private boolean checkIfNeedGray(HttpHeaders headers) {
        String grayTag = headers.getFirst(BizConstant.GRAY_TAG);
        if (grayTag != null) {
            if (BizConstant.TRUE.equalsIgnoreCase(grayTag)) {
                // todo 可扩展点:目前是只判断header里是否有BizConstant.GRAY_TAG的kv不为空且v="true",后面v可以改为版本号
                return true;
            }
        }
        String uid = headers.getFirst(BizConstant.UID);
        if (uid != null && customProperty.getGraySetting().getGrayUids().contains(uid)) {
            return true;
        }
        return false;
    }
    private Response<ServiceInstance> getServiceInstanceEmptyResponse() {
        log.warn("No servers available for service: " + this.serviceId);
        return new EmptyResponse();
    }
}
  • Https2HttpFilter:将进入网关的 https 请求转换为 http 请求
/**
 * https scheme to http
 */
@Component
@Slf4j
public class Https2HttpFilter implements GlobalFilter, Ordered {
    @Override
    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
        ServerHttpRequest request = exchange.getRequest();
        URI originalUri = request.getURI();
        ServerHttpRequest.Builder mutate = request.mutate();
        String forwardUri = request.getURI().toString();
        if (forwardUri != null && forwardUri.startsWith(BizConstant.HTTPS)) {
            try {
                URI mutatedUri = new URI(BizConstant.HTTP,
                        originalUri.getUserInfo(),
                        originalUri.getHost(),
                        originalUri.getPort(),
                        originalUri.getPath(),
                        originalUri.getQuery(),
                        originalUri.getFragment());
                mutate.uri(mutatedUri);
            } catch (Exception e) {
                log.error(e.getMessage());
                throw new MMException("Https related error");
            }
        }
        ServerHttpRequest build = mutate.build();
        return chain.filter(exchange.mutate().request(build).build());
    }
    @Override
    public int getOrder() {
        return FILTER_ORDER_HTTPS_2_HTTP;
    }
}

NOTE

FILTER_ORDER_HTTPS_2_HTTP 是一个 int 常量,需要满足 LoadBalancerClientFilter 的执行顺序(10100) < FILTER_ORDER_HTTPS_2_HTTP < FILTER_ORDER_GRAY (10110)。这里可以假定 FILTER_ORDER_HTTPS_2_HTTP = 10105。之所以需要加一个Https2HttpFilter 过滤器,是因为如果 https 请求直接进入到 GrayLoadBalancerClientFilter 会报 NotSslRecordException 证书错误。

2.2 | Nacos

Nacos 主要做一件事情:通过 metadata 维护灰度服务。

从上图可以看出,metadata 里 gray-tag=true 的实例即为灰度服务的实例。

通过 webUI 的编辑按钮可以实时的新增修改 metadata。

那么,如何在代码侧配置呢?

可以直接在bootstrap.yml添加以下字段:

spring:
  cloud:
    nacos:
      discovery:
        metadata:
          # 如果${gray}变量不存在,则gray-tag=false
          gray-tag: ${gray:false}

2.3 | GitlabRunner

gitlab-runner 主要是 kube_deploy.yml 和 .gitlab-ci.yml 的一个联动配置

  • kube_deploy.yml添加以下环境变量:
apiVersion: apps/v1
kind: Deployment
metadata:
  name: ccc-deploy
  namespace: ccc
spec:
  template:
    spec:
      containers:
      - env:
          - name: gray
            value: "gray-tag" # 这里的gray-tag值 将会在在.gitlab-ci.yml的脚本中被替换
  • .gitlab-ci.yml 灰度服务部署 gitlab-runner 脚本关键部分:
...
stages:
  - k8s-deploy
k8s-deploy-gray-service:
  stage: k8s-deploy
  script:
    - echo "=============== 开始 k8s 部署任务 ==============="
    - sed -i "s/gray-tag/true/g" kube_deploy.yml # 这
    - kubectl apply -f kube_deploy.yml
  only:
    - /^tag_gray_.*$/
k8s-deploy-normal-service:
  stage: k8s-deploy
  script:
    - echo "=============== 开始 k8s 部署任务 ==============="
    - sed -i "s/gray-tag/false/g" kube_deploy.yml # 这里替换 gray-tag 为 false
    - kubectl apply -f kube_deploy.yml
  only:
    - /^tag_normal_.*$/
 ...

此时,当打了一个以 tag_gray_ 开头的 tag 之后,kube_deploy.yml里的gray-tag就会被替换成 true,那么,nacos 的元数据上就会有一个gray-tag=true的标签,就会走灰度服务的发布流程。同理,以 tag_normal_ 开头的 tag,就会走正常服务的发布流程。

把这段脚本嵌入到 pipeline 之后,就可以通过 tag 的方式,自动化部署灰度/正常服务了。

3 | 后续 TODO

目前实现的是后端服务的灰度发布,一个完整的灰度,还包含了前端应用的灰度,后续会就前端的灰度发布再做一次整理。

4 | 使用版本说明

实战依赖版本

Group Spring Cloud Spring Cloud Spring Cloud Spring Cloud Alibaba Nacos Spring Cloud Alibaba Nacos
Component Hoxton.SR3 Gateway LoadBalancer Config Discovery
Version - 2.2.2.RELEASE 2.2.2.RELEASE 2.2.5.RELEASE 2.2.5.RELEASE

需要注意的

在 Spring Cloud 全家桶中,最初的网关使用的是 Netflix 的 Zuul 1x 版本,但是由于其性能问题,Spring Cloud 在苦等 Zuul 2x 版本未果的情况下,推出了自家的网关产品,取名叫 Spring Cloud Gateway (以下简称 SCG),基于Webflux,通过底层封装Netty,实现异步IO,大大地提示了性能。

Zuul 1x 版本

本质上就是一个同步Servlet,采用多线程阻塞模型进行请求转发。简单讲,每来一个请求,Servlet容器要为该请求分配一个线程专门负责处理这个请求,直到响应返回客户端这个线程才会被释放返回容器线程池。如果后台服务调用比较耗时,那么这个线程就会被阻塞,阻塞期间线程资源被占用,不能干其它事情。我们知道Servlet容器线程池的大小是有限制的,当前端请求量大,而后台慢服务比较多时,很容易耗尽容器线程池内的线程,造成容器无法接受新的请求。且不支持任何长连接,如websocket

NOTE 由于两个网关的底层架构不一致,负载均衡的逻辑也完全不一致,本文只探讨 Spring Cloud Gateway 配合 Nacos 来实现灰度发布( Spring Cloud Zuul 网关的灰度发布不展开)。

至此,结合 SpringCloudGateway + Nacos + GitlabRunner 的全自动灰度服务搭建和发布实战全部完成。

以上就是SpringCloudGateway Nacos GitlabRunner的详细内容,更多关于SpringCloudGateway Nacos GitlabRunner的资料请关注我们其它相关文章!

(0)

相关推荐

  • springcloud gateway网关服务启动报错的解决

    目录 gateway网关服务启动报错 集成gateway 报错 原因分析 gateway网关运行时报错问题(版本问题) 父级中的版本问题 原因:父项目中的jdk版本问题 解决方法 gateway网关服务启动报错 集成gateway springcloud网关集成gateway服务 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter

  • SpringCloud Gateway之请求应答日志打印方式

    目录 Gateway请求应答日志打印 第一步 第二步 Gateway全局请求日志打印 把请求体的数据存入exchange 编写全局日志拦截器代码 在代码中配置全局拦截器 Gateway请求应答日志打印 请求应答日志时在日常开发调试问题的重要手段之一,那么如何基于Spring Cloud Gateway做呢,请看我上代码. 第一步 创建RecorderServerHttpRequestDecorator,缓存请求参数,解决body只能读一次问题. public class RecorderServ

  • SpringCloud Gateway读取Request Body方式

    目录 Gateway读取RequestBody 分析ReadBodyPredicateFactory 配置ReadBodyPredicateFactory 编写自定义GatewayFilterFactory 完整的yml配置 Gateway自定义filter获取body的数据为空 首先创建一个全局过滤器把body中的数据缓存起来 在自定义的过滤器中尝试获取body中的数据 解析body的工具类 Gateway读取Request Body 我们使用SpringCloud Gateway做微服务网关

  • SpringCloud Gateway动态路由配置详解

    目录 路由 动态 路由模型实体类 动态路径配置 路由模型JSON数据 路由 gateway最主要的作用是,提供统一的入口,路由,鉴权,限流,熔断:这里的路由就是请求的转发,根据设定好的某些条件,比如断言,进行转发. 动态 动态的目的是让程序更加可以在运行的过程中兼容更多的业务场景. 涉及到两个服务,一个是门户服务(作用是提供给运营人员管理入口--包括:管理路由.绑定路由),一个是网关服务(gateway组件,为门户服务提供:查询路由信息.添加路由.删除路由.编辑路由接口). 路由模型实体类 /*

  • SpringCloudGateway Nacos GitlabRunner全自动灰度服务搭建发布

    目录 1 | 业务场景说明 2 | 具体实现方案 2.1 | SCG 2.2 | Nacos 2.3 | GitlabRunner 3 | 后续 TODO 4 | 使用版本说明 1 | 业务场景说明 要实现的业务场景: 可以根据单个用户id或者批量用户id,判断是否需要灰度该用户/批量用户 可以根据请求头字段(可动态设定的任意kv),判断是否需要走灰度服务 2 | 具体实现方案 这里采用 SpringCloudGateway(SCG) + Nacos + GitlabRunner 来实现整个自动

  • SpringCloud Alibaba项目实战之nacos-server服务搭建过程

    目录 1.Nacos简介 1.1.什么是Nacos 1.2.Nacos基本原理 2.Nacos-Server服务部署 2.1.standalone 模式 2.2.cluster 模式 源码地址:https://gitee.com/fighter3/eshop-project.git 持续更新中-- 大家好,我是三分恶. 这一节我们来学习SpringCloud Alibaba体系中一个非常重要的组件--Nacos. 1.Nacos简介 Nacos官方网站:https://nacos.io/zh-c

  • 使用springCloud+nacos集成seata1.3.0搭建过程

    1.docker安装seata 1.3.0镜像 docker pull seataio/seata-server:1.3.0 2.运行容器获取配置文件 docker run --name seata-server -p 8091:8091 -d seataio/seata-server:1.3.0 3.将容器中的配置拷贝到/usr/local/seata-1.3.0 docker cp seata-server:/seata-server /usr/local/seata-1.3.0 4.停止容

  • Linux 下VSFTP服务搭建过程

    Vsftp服务 服务功能:文件传输 1.环境部署 ip=192.168.1.50 [root@localhost /]# rpm -ivh /mnt/Packages/vsftpd-2.2.2-11.el6_4.1.x86_64.rpm 2.匿名访问 1)设置配置文件 [root@localhost /]# vi /etc/vsftpd/vsftpd.conf chown ftp /var/ftp/pub --设置准备目录 anonymous_enable=YES --开启匿名访问 local_

  • nodejs服务搭建教程 nodejs访问本地站点文件

    本教程为大家分享了nodejs服务搭建和如何访问本地站点文件,供大家参考,具体内容如下 搭建nodejs服务器步骤: 1.安装nodejs服务(从官网下载安装) 2.在自己定义的目录下新建服务器文件如 server.js 例如,我在E:\PhpProject\html5\websocket下创建了server.js文件 var http = require('http');//引入http模块 //开启服务,监听8888端口 //端口号最好为6000以上 var server = http.cr

  • Python HTTP服务搭建显示本地文件

    Python HTTP服务搭建显示本地文件 我们常需要搭建HTTP服务,但是又不想搞那些复杂的Apache.IIS服务器等,这时我们就可以用Python帮我们搭建服务器. 例如之前讲过的用python建XMLRPC开服务进行server/client通信,但这里还有个问题,如果我需要显示本地文件(比如图片),但是rpc不可以直接访问本地文件怎么办? 这种情况下,只需要再开一个简单服务,显示指定文件夹下文件,再用那个rpc服务调这个服务的文件地址 即可. 下面是一个搭建HTTP服务显示本地文件的例

  • linux中ftp服务搭建需要注意的地方

    1.配置文件 /etc/vsftpd 目录下的vsftpd.conf文件 # Example config file /etc/vsftpd/vsftpd.conf # # The default compiled in settings are fairly paranoid. This sample file # loosens things up a bit, to make the ftp daemon more usable. # Please see vsftpd.conf.5 fo

  • CentOS 7.6 Telnet服务搭建过程(Openssh升级之战 第一任务备用运输线搭建)

    有不明的问题的时候,都来博客园转转,总能找到答案或者灵感,开博3个月都没发一篇帖(不晓得管理员有何感想,不会封我的号吧),不能只是索取没有付出.小白一枚琢磨了半天才扒拉明白Telnet服务搭建(照葫芦画瓢,也要知道葫芦从哪里来的),去繁就简,简单整理一下,分享一下. Linux上的ssh那么好用为什么还要用Telnet这么老旧的东东呢? 最近被SSH 暴力枚举漏洞弄得头疼,奈何CentOS7最后版本是7.7(里面只openssh7.4,想升级到openssh 8.0),用yum升级ssh是没戏了

  • 教你利用Nginx 服务搭建子域环境提升二维地图加载性能的步骤

    一.背景 最近有小伙伴遇到了大数据量地图加载慢的情况,观察iServer性能并未发挥到极致,所以通过搭建子域的方式成功实现了浏览速度的提升. 子域能对加载速度进行提升是因为浏览器对同一个域名服务的并发请求数量有限制,通过 Nginx 服务部署多个子域名,加大向 iServer 发送数据请求的并发量,从而达到提升加载速度的目的. 二.Nginx配置步骤 1.修改Nginx 配置nginx.conf,监控多个端口 server { listen 8881; listen 8882; listen 8

  • Centos7下NFS服务搭建介绍

    目录 一.服务端 二.客户端  三.测试服务 一.服务端 1.用YUM源下载NFS相关服务  2.创造共享目录并在NFS相关配置文件写入共享目录     3.使用exportfs使设置立刻生效  4.重启NFS相关服务  5.使用showmount命令测试NFS输出目录状态  二.客户端 1.下载NFS相关服务 2.查看服务端IP有哪些共享目录允许客户端连接  3.建立客户端目录并将服务端的输出目录挂载在客户端目录下  三.测试服务 1.在服务端重启NFS服务并给服务端输出目录所需权限 2.在服

随机推荐