使用远程Docker进行集成测试的环境搭建过程

需求背景

团队有集成测试的需求，集成测试需要依赖一些中间件，比如mysql，rabbitmq。每个研发人员有对自己开发的那部分代码进行测试编写和运行检测的需求。

为了不互相影响，可以选择在研发本地搭建自己的依赖环境，我们希望这些环境搭建要容易、快速，且方便清理。

使用docker进行环境搭建

而docker，则能很好实现上述诉求。
但仅仅这样还不够，我们还面临着以下一些问题

  • 本地环境搭建的繁琐。每个研发，都要在本地安装docker环境，这会导致在使用上的一些门槛和不便，以我司为例，由于有严格的网络管控，我们都是内网进行开发，无法联网。特别windows 在安装docker时，需要联网。虽然可以想办法解决，但每个新来小伙伴都要经历一些本地环境安装调试过程，实属繁琐
  • 测试运行速度无法保证。当一个项目依赖中间件较多时，基于本地的docker也会占用大量的资源影响测试速度
  • 多环境集成测试麻烦。由于集成测试依赖本地docker，那么这份代码在不同的环境，比如在Jenkins上打包运行时，需要在对应的环境也安装docker

总结来看，使用docker可以帮助我们快速的搭建项目依赖环境，但是本地化的docker依赖，依然让我们的代码在测试时，不够纯粹，对其各个运行环境，都有有本地docker安装的要求。

以中心化的docker server改进集成测试

而实际上，docker本身提供了远程链接模式，则使得我们可以中心化的部署docker，然后集成测试代码以tcp链接的方式，使用docker server，进行依赖中间件搭建，测试。

Docker Server远程链接配置

以centos 为例7.6为例，讲解如何将一个docker配置成可以远程链接。

在/etc/docker/daemon.json中开启远程链接端口

{"hosts": ["tcp://0.0.0.0:2375", "unix:///var/run/docker.sock"]}

添加文件/etc/systemd/system/docker.service.d/override.conf，注意上述路径不存在则手动创建

 [Service]
 ExecStart=
 ExecStart=/usr/bin/dockerd
  • 重载守护进程 systemctl daemon-reload
  • 重启docker容器systemctl restart docker.service

Testcontainers 框架

在部署好远程docker后，随之而来的问题是

  • 如何在代码中连接和使用远程docker环境
  • 两个研发同时跑测试用例时，怎么保证他们各自启动的container 在端口上不冲突
  • 使用完后的container，怎么清理

幸运的是，Testcontainers框架，帮我们很好的解决了上述问题。

  • 它能于junit 4 ,junit 5集成，帮助我们启停容器
  • 每一次运行测试，都会启动全新的容器，暴露不一样的端口，使得两个研发同时跑测试用例时，环境互不干扰
  • 它使用testcontainers/ryuk在指定延迟后，清理不再使用的container
  • 上述这一切对使用者都是透明的

Testcontainers 同spring boot集成

更进一步的，游戏公司Playtika提供了Testcontainers 同spring boot整合的测试框架https://github.com/Playtika/testcontainers-spring-boot，使得Spring Boot或Spring cloud生态的应用在编写集成测试时，更方便

环境变量依赖

使用Testcontainers 或 playtika的testcontainers-spring-boot进行远程docker链接时，都不需要在本地安装docker客户端。但需要进行相关环境变量配置，使得代码可以知道远程docker的地址。该地址的配置有如下几种方式

  • 方式1，系统环境变量配置，在当前系统配置环境变量DOCKER_HOST=tcp://remote_docker_server_ip:2375
  • 方式2，直接在java测试代码中，容器构造前，通过代码System.setProperty("DOCKER_HOST","tcp://remote_docker_server_ip:2375")指定环境变量
  • 方式3，如果集成测试使用maven failsafe插件，则在插件上配置环境变量

以command line远程使用和管理docker

上述测试代码不需要安装docker 客户端。但倘若我们需要以命令行的方式，管理docker，则可以安装一些docker客户端，来跟远程docker通信。当然上述的Testcontainers 相当于客户端的一种。

不同操作系统的客户端程序安装方式见: https://gist.github.com/kekru/4e6d49b4290a4eebc7b597c07eaf61f2

参考资料

https://www.testcontainers.org/
https://gist.github.com/styblope/dc55e0ad2a9848f2cc3307d4819d819f
https://github.com/Playtika/testcontainers-spring-boot
https://gist.github.com/kekru/4e6d49b4290a4eebc7b597c07eaf61f2

到此这篇关于使用远程Docker进行集成测试的文章就介绍到这了,更多相关Docker集成测试内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 详解Docker Swarm 在持续集成测试中的应用

    背景 敏捷(Agile)模式被广泛应用,测试显得尤为重要.由于需要频繁发布新的版本,我们需要更加频繁的执行测试用例,以确保没有新的 bug 被引入到版本中. 一个完整的测试流程所需要占用的时间和资源也不可忽视,包括对测试结果的分析都要占用大量的资源.如何在更短时间内,提供完整.全面的测试以保证质量,是我们急于解决的问题,也是保证敏捷开发能顺利进行的关键. Jenkins 实现了无人值守的测试流程,开发结束后,一旦在测试环境部署成功,下游的测试任务就会即刻执行. Jenkins 的应用在一定程度上

  • 使用远程Docker进行集成测试的环境搭建过程

    使用远程Docker进行集成测试的环境搭建过程

    需求背景 团队有集成测试的需求,集成测试需要依赖一些中间件,比如mysql,rabbitmq.每个研发人员有对自己开发的那部分代码进行测试编写和运行检测的需求. 为了不互相影响,可以选择在研发本地搭建自己的依赖环境,我们希望这些环境搭建要容易.快速,且方便清理. 使用docker进行环境搭建 而docker,则能很好实现上述诉求. 但仅仅这样还不够,我们还面临着以下一些问题 本地环境搭建的繁琐.每个研发,都要在本地安装docker环境,这会导致在使用上的一些门槛和不便,以我司为例,由于有严格的网

  • Docker+K8S 集群环境搭建及分布式应用部署

    1.安装docker yum install docker #启动服务 systemctl start docker.service systemctl enable docker.service #测试 docker version 2.安装etcd yum install etcd -y #启动etcd systemctl start etcd systemctl enable etcd #输入如下命令查看 etcd 健康状况 etcdctl -C http://localhost:2379

  • 详解Hadoop 运行环境搭建过程

    一,集群搭建步骤 1.先在一台虚拟机配置jdk,hadoop 2.克隆 3.修改网络等相关配置 当我们使用虚拟机时,可能自然而然的会想上面的步骤一样先搭建一台虚拟机,做好相关配置,然后进行克隆,继而修改一些网络配置来搭建集群,但是在生产过程中是买好的服务器,不存在克隆这一说,所以在此采用的步骤是: 1.建立一台虚拟机(仅带jdk安装包) 2.克隆 3.修改网络等相关配置 4.配置第一个hadoop节点,编写集群分发脚本使其他虚拟机完成配置 二,具体搭建过程 这里使用三台虚拟机来完成集群搭建,ha

  • hadoop分布式环境搭建过程

    1. Java安装与环境配置 Hadoop是基于Java的,所以首先需要安装配置好java环境.从官网下载JDK,我用的是1.8版本. 在Mac下可以在终端下使用scp命令远程拷贝到虚拟机linux中. danieldu@daniels-MacBook-Pro-857 ~/Downloads scp jdk-8u121-linux-x64.tar.gz root@hadoop100:/opt/software root@hadoop100's password: danieldu@daniels

  • Windows10下hyperledger fabric1.4环境搭建过程图解

    目录Windows10下hyperledger fabric1.4环境搭建PrerequisitesWindows10专业版Git bashcURLGO Progamming LanguageDocker and Docker-composeInstall Samples, Binaries and Docker Imagesshared drivers执行 Windows10下hyperledger fabric1.4环境搭建 Prerequisites 大部分内容参考官方配置 Windows

  • Android开发环境搭建过程图文详解

    一.工具 IDE:Android Studio4.1+genymotion (Android studio 自带AVD着实有些不好用,这里选择使用genymotion模拟器) JDK:1.8 SDK:7.1 版本管理:Git 二.环境搭建 1.安装jdk 这里使用的是jdk1.8 ,安装并配置环境变量,通用步骤,不一 一介绍了 2.安装Android Studio 安装:android-studio-ide-201.6858069-windows.exe ,默认安装即可配置sdk (可以选择设置

  • 初学者AngularJS的环境搭建过程

    AngularJS是什么? AngularJS是一个开源Web应用程序框架.它最初是由MISKO Hevery和Adam Abrons于2009年开发.现在是由谷歌维护 AngularJS特性 AngularJS是一个功能强大的基于JavaScript开发框架用于创建富互联网应用(RIA). AngulajJS为开发者提供的选项(使用JavaScript)在一个干净的MVC(模型 - 视图 - 控制器)的方式来编写客户端应用程序. AngularJS写的应用都是跨浏览器兼容.AngularJS使

  • 阿里云go开发环境搭建过程

    开通了一个阿里云来玩,记录一下环境搭建的过程 运行环境 ECS Ubuntu 16.04 64位 过程 #切换到安装文件夹 cd /usr/local #下载go #由于墙的原因,直接下载官方的可能会失败,这里用国内一个论坛的 wget https://dl.gocn.io/golang/1.8.4/go1.8.4.linux-amd64.tar.gz #解压 tar -zxvf go1.8.4.linux-amd64.tar.gz #创建工作目录 mkdir -p GOPATH goProje

  • 浅析SpringBoot及环境搭建过程

    什么是SpringBoot Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程.该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置. SpringBoot特性 独立运行的Spring项目 Spring Boot可以以jar包的形式来运行,运行一个Spring Boot项目我们只需要通过Java -jar xx.jar类运行.非常方便. 内嵌Servlet容器 Spring Boot可以内嵌Tomcat,这

  • vue.js多页面开发环境搭建过程

    利用 vue-cli 搭建的项目大都是单页面应用项目,对于简单的项目,单页面就能满足要求.但对于有多个子项目的应用,如果创建多个单页面,显示有点重复,特别是 node_modules 会有多份相同的.如果全部放到单页面项目下,又显得有点乱,这时候通过改造 vue-cli 搭建的项目为多页面,就是一个比较好的解决方法. 如何改造单页面 vue.js 项目为多页面项目?下面是这次改造的具体过程.  一.创建单页面 vue.js 项目 这里直接使用官方提供的脚手架 vue-cli3 创建,具体的过程请

随机推荐