详解Docker+Jenkins+Gitlab+Django应用部署实践

2024-12-07 19:12:19

一、背景介绍

在互联网应用快速更新迭代的大背景下，传统的人工手动或简单脚本已经不能适应此变化，此时Devops为我们提供了良好的解决方案，应用好CI/CD可以大大的方便我们的日常工作，自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。

二、拓扑环境

2.1 架构拓扑

如上图实例，简单花了下流程拓扑：

当研发push本地代码到gitlab-server后，webhook自动触发jenkins构建应用
在docker host上部署应用git clone来自gitlabserver源码，并启动应用
前端可以放置lb来做高可用
数据库连接云数据库
可将日志存储在log后期投递到elk实现日志可视化
构建完成邮件通知相关人员（测试或开放）

2.2 系统软件版本

名称	版本
Linux系统	CentOS7.3 64位
Docker	1.13
Django	2.0

三、安装部署

3.1 Jenkins安装部署

Jenkins安装部署可参考：jenkins笔记

安装完成后添加Docker目标服务器

配置邮件发送服务器

3.2 Docker安装部署

Docker安装部署及Dockerfile编写可参考：容器Docker详解

3.3 Gitlab安装部署

GitLab安装在公网Linux服务器运行一些命令即可，如果没有公网需要手动修改 /etc/gitlab/gitlab.rb 文件的 external_url 'http://自己的内网IP'

yum install -y libsemanage-static libsemanage-devel policycoreutils openss
h-server openssh-clients postfix
systemctl enable postfix && systemctl start postfix

wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.
0-ce.0.el7.x86_64.rpm
rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm
# 获取公网IP
PUBLICIP=$(curl http://ipv4.icanhazip.com)
# 修改
sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rb

gitlab-ctl reconfigure
gitlab-ctl restart

echo "Username:root"
echo "Password:5iveL!fe"

3.4 配置发布流程

Jenkins新建构建一个自由风格的软件项目

利用参数化构建方便后续部署Docker传入映射的源端口和release

源代码来自gitlab的django项目

利用webhook关联gitlab和jenkins

jenkins安装插件：

生成随机token值

将jenkins生成的GitLab webhook URL配置到gitlab

当开发者在本地push代码后自动触发jenkins构建项目，有Dockerfile内写的git pull代码，再次不用将代码由jenkins分发到docker宿主机，jenkins作为触发docker构建使用

配置构建完成后的邮件

邮件模版，邮件类型选择：

内容类型选择：HTML

邮件主题填写： 构建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !

构建通知模版：

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title>
</head>

<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
 offset="0">
 <table width="95%" cellpadding="0" cellspacing="0"
 style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
 <tr>
  <td>(本邮件是程序自动下发的，请勿回复！)</td>
 </tr>
 <tr>
  <td><h2>
   <font color="#0000FF">构建结果 - ${BUILD_STATUS}</font>
  </h2></td>
 </tr>
 <tr>
  <td><br />
  <b><font color="#0B610B">构建信息</font></b>
  <hr size="2" width="100%" align="center" /></td>
 </tr>
 <tr>
  <td>
  <ul>
   <li>项目名称 ： ${PROJECT_NAME}</li>
   <li>构建编号 ： 第${BUILD_NUMBER}次构建</li>
   <li>SVN 版本： ${SVN_REVISION}</li>
   <li>触发原因： ${CAUSE}</li>
   <li>构建日志： <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
   <li>构建 Url ： <a href="${BUILD_URL}">${BUILD_URL}</a></li>
   <li>工作目录 ： <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
   <li>项目 Url ： <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
  </ul>
  </td>
 </tr>
 <tr>
  <td><b><font color="#0B610B">Changes Since Last
   Successful Build:</font></b>
  <hr size="2" width="100%" align="center" /></td>
 </tr>
 <tr>
  <td>
  <ul>
   <li>历史变更记录 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
  </ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat=" %p"}
  </td>
 </tr>
 <tr>
  <td><b>Failed Test Results</b>
  <hr size="2" width="100%" align="center" /></td>
 </tr>
 <tr>
  <td><pre
   style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
  <br /></td>
 </tr>
 <tr>
  <td><b><font color="#0B610B">构建日志 (最后 100行):</font></b>
  <hr size="2" width="100%" align="center" /></td>
 </tr>
 <!-- <tr>
  <td>Test Logs (if test has ran): <a
  href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a>
  <br />
  <br />
  </td>
 </tr> -->
 <tr>
  <td><textarea cols="80" rows="30" readonly="readonly"
   style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>
  </td>
 </tr>
 </table>
</body>
</html>

触发类型可根据自身需要填写，这里填写always无论成功还是失败都发送邮件

查看远程Docker服务器内的文件

django部署已经利用conda打包好了项目的Python3.6的环境包自制了Docker镜像

之前利用的是纯净的Python3.6系统，在每次构建的时候利用pip安装requirements.txt的模块，但是长此以往由于环境变化很少，每次需要pip安装耗时，所以利用conda将打包好的Python环境自制成定制化环境，以此来减少环境部署时间，也可以通过docker镜像制作是-v参数将本地磁盘挂载在环境内，每次构建本地的conda即可，完成快速环境部署。

查看Dockerfile

FROM 87a69025db6a
MAINTAINER kaliarch

# 定义docker中工作目录
ENV WORK_DIR /work/
# 创建docker内工作目录
RUN mkdir $WORK_DIR
# 定义映射端口

EXPOSE 80

WORKDIR $WORK_DIR
RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git

# 添加启动服务脚本
ADD *.sh ${WORK_DIR}

CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log

查看Django启动脚本

#!/bin/bash

BASEPATH=$(cd `dirname $0`;pwd)

PY_CMD=/python3/bin/python

# 服务入口文件
#MAIN_APP=${BASEPATH}/go2cloud/manage.py
# 迁移脚本入口文件
SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py
# 删除脚本入口文件
DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py

# 日志目录

LOG_DIR=${BASEPATH}/logs/
[ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}

# 启动服务
#nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 &
# 启动脚本迁移调度脚本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log
nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &

# 启动迁移删除脚本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log
nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &

查看jenkins部署脚本

#!/bin/bash

release=$1
port=$2

BASEPATH=$(cd `dirname $0`;pwd)

# 构建go2cloud-platform 镜像
cd /dockerwork
docker build -t go2cloud-platform-mini:$release .

IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')

echo $IMGNAME
# 启动容器
docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}

利用-v参数将日志持续化存储到docker 宿主机之上

四、测试展示

4.1 测试构建

手动构建测试

4.2 查看log

4.3 查看docker容器

4.4 测试app

五、反思改进

目前数据库连接的为云服务器搭建的数据库，后期数据库也利用docker，多组采用docker-compose统一部署管理
后期可以利用利用公有云k8s集群进行方便测试
目前docker容器产生的日志在docker宿主机上，后期可以将其存储在cos上，再投递到elk集群日志可视化处理
将镜像统一管理制作本地镜像仓库
gitlab添加code review并结合自动测试

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

Asp.net Core Jenkins Docker实现一键化部署的实现

写在前面在前段时间尝试过用Jenkins来进行asp.net core 程序在IIS上面的自动部署.大概的流程是Jenkins从git上获取代码最开始Jenkins是放在Ubuntu的Docker中,但是由于Powershell执行的原因,就把Jenkins搬到了windows上.因为我们网站的部署需要停掉IIS站点,所以需要Powershell来远程操作服务器(上传文件,停止站点,启动站点),也很顺利的利用WinRM+Powershell脚本实现了上面的功能,但是最后在实际使用中发现,脚本
jenkins中通过Publish Over SSH插件将项目部署到远程机器上的讲解说明

Publish Over SSH插件使用在使用Publish Over SSH之前,需要制作SSH私钥.机器间做免密登录配置.假设机器A,ip为192.168.AA.AAA,机器B: 192.168.BB.BBB,机器A能够免密登录机器B,机器B能够免密登录机器A,制作方式是: 进入A机器,执行: cd ~ ssh-keygen -t rsa 通过下面的命令,表示可以通过机器192.168.AA.AAA免密登录到机器192.168.BB.BBB ssh-copy-id 192.168.BB.B
Jenkins之Log Parse使用方法详解

在初学使用Jenkins的同学们,应该都遇到过通过bash或者cmd命令执行输出的日志,没办法做到对error, warning等状态的分析和统计.在这里就给他介绍一款实现此功能的插件Log Parse.此插件安装相当容易,但配置规则文件时,我踩了一坑,记录共享于同学们. 规则文件绝对路径当然,你的设置一定要重新加载,否则是无效的规则文件相对路径: 在windows平台下,默认的根目录为C:\Windows\.SysWOW64\,所以需要把规则文件放到此目录下. 常用规则文件代码如下: ok
使用Jenkins配置Git+Maven的自动化构建的方法

背景最近安装Jenkins,参照网上的各种资料进行尝试,折腾了好久,但是查找了这么多资料,相似度在90%以上!!!,相同的安装过程,测试了几台机器,未曾成功,不得不感慨自己能力有限,最终慢慢摸索,形成思路,现分享给大家,希望大家在安装的时候少走弯路. PS:本人很痛恨那种粘贴复制,毫无思考的博主,本想着拿着解决问题的心态,但结果还是一样,不但浪费了大家的时间,还浪费了大家的感情,所以,我把我遇到的问题和解决的方式记录下来和大家分享. 知识背景首先需要理解的是,Jenkins是帮我们将代码进行
jenkins安装及其配置笔记

一.相关概念 1.1 Jenkins概念: Jenkins是一个功能强大的应用程序,允许持续集成和持续交付项目,无论用的是什么平台.这是一个免费的源代码,可以处理任何类型的构建或持续集成.集成Jenkins可以用于一些测试和部署技术.Jenkins是一种软件允许持续集成. 1.2 Jenkins目的: 1.持续.自动地构建/测试软件项目. 2.监控软件开放流程,快速问题定位及处理,提示开放效率. 1.3 特性: 开源的java语言开发持续集成工具,支持CI,CD. 易于安装部署配置:可通过yum
Docker容器使用jenkins部署web项目(总结)

(1)需要安装Docker容器,在Docker容器内安装jenkins,gogs,tomcat. 新建maven项目,添加findbugs plugin. 使用docker启动jenkins,gogs,Tomcat的命令gogs : 复制代码代码如下: docker run -itd -p 10022:22 -p 10080:3000 --restart=always --privileged=true --name=gogs -v /var/gogs:/data gogs/gogs je
详解jenkins自动部署springboot应用的方法

最近公司在利用jenkins自动部署springboot应用,以前别人配的那个jenkins虽说可以正常部署,但是多次反复部署之后jenkins会报错,提示内存不足: Maven JVM terminated unexpectedly with exit code 137 原因是因为jenkins没有配置部署新的应用前先把旧的应用进程先kill掉而导致在服务器上有多个应用进程.因此自己决定摸索如何配置jenkins可以每次部署都把旧进程kill掉再启动新进程. 安装Jenkins 安装命令: s
Jenkins简介与Docker部署Jenkins的方法

一.相关概念 1.1 Jenkins概念: Jenkins是一个功能强大的应用程序,允许持续集成和持续交付项目,无论用的是什么平台.这是一个免费的源代码,可以处理任何类型的构建或持续集成.集成Jenkins可以用于一些测试和部署技术.Jenkins是一种软件允许持续集成. 1.2 Jenkins目的: 1.持续.自动地构建/测试软件项目. 2.监控软件开放流程,快速问题定位及处理,提示开放效率. 1.3 特性: 开源的java语言开发持续集成工具,支持CI,CD. 易于安装部署配置:可通过yum
在CentOS7上搭建Jenkins+Maven+Git持续集成环境的方法

本文以部署 Spring boot + Maven 项目为例,使用码云作为代码托管仓库,在 CentOS 7 上搭建 Jenkins 持续集成环境. 1. 准备工作 1.1 安装 Java 环境 Jenkins 是基于 Java 开发的持续集成工具,需要在 Java 环境下运行.用下面命令查看系统是否已安装 Java: yum list installed | grep jdk 如果没有,使用 yum search 命令查找 openjdk 版本,选择合适的 jdk 进行安装: yum sear
如何通过Jenkins定期清理为None的镜像详解

前言在代码持续交付过程中,依靠Jenkins生产Docker镜像时,会生成许多的名为None的中间镜像,这些镜像在整个项目生产过程完毕后意义不大,还占着空间,需要定期清理,通过手动方式实在是繁琐,也就有了定期清理. Jenkins是一个功能强大的应用程序,允许持续集成和持续交付项目,无论用的是什么平台.这是一个免费的源代码,可以处理任何类型的构建或持续集成.集成Jenkins可以用于一些测试和部署技术.Jenkins是一种软件允许持续集成. 下面话不多说了,来一起看看详细的介绍吧一.手动方式

详解Docker+Jenkins+Gitlab+Django应用部署实践

相关推荐

随机推荐