详解Docker+Jenkins+Gitlab+Django应用部署实践
一、背景介绍
在互联网应用快速更新迭代的大背景下，传统的人工手动或简单脚本已经不能适应此变化，此时Devops为我们提供了良好的解决方案，应用好CI/CD可以大大的方便我们的日常工作，自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。
二、拓扑环境
2.1 架构拓扑
如上图实例，简单花了下流程拓扑：
- 当研发push本地代码到gitlab-server后，webhook自动触发jenkins构建应用
- 在docker host上部署应用git clone来自gitlabserver源码，并启动应用
- 前端可以放置lb来做高可用
- 数据库连接云数据库
- 可将日志存储在log后期投递到elk实现日志可视化
- 构建完成邮件通知相关人员（测试或开放）
2.2 系统软件版本
| 名称 | 版本 |
|---|---|
| Linux系统 | CentOS7.3 64位 |
| Docker | 1.13 |
| Django | 2.0 |
三、安装部署
3.1 Jenkins安装部署
Jenkins安装部署可参考：jenkins笔记
安装完成后添加Docker目标服务器
配置邮件发送服务器
3.2 Docker安装部署
Docker安装部署及Dockerfile编写可参考：容器Docker详解
3.3 Gitlab安装部署
GitLab安装在公网Linux服务器运行一些命令即可，如果没有公网需要手动修改 /etc/gitlab/gitlab.rb 文件的 external_url 'http://自己的内网IP'
yum install -y libsemanage-static libsemanage-devel policycoreutils openss
h-server openssh-clients postfix
systemctl enable postfix && systemctl start postfix
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.
0-ce.0.el7.x86_64.rpm
rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm
# 获取公网IP
PUBLICIP=$(curl http://ipv4.icanhazip.com)
# 修改
sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rb
gitlab-ctl reconfigure
gitlab-ctl restart
echo "Username:root"
echo "Password:5iveL!fe"
3.4 配置发布流程
Jenkins新建构建一个自由风格的软件项目
利用参数化构建方便后续部署Docker传入映射的源端口和release
源代码来自gitlab的django项目
利用webhook关联gitlab和jenkins
jenkins安装插件：
生成随机token值
将jenkins生成的GitLab webhook URL配置到gitlab
当开发者在本地push代码后自动触发jenkins构建项目，有Dockerfile内写的git pull代码，再次不用将代码由jenkins分发到docker宿主机，jenkins作为触发docker构建使用
配置构建完成后的邮件
邮件模版，邮件类型选择：
内容类型选择：HTML
邮件主题填写： 构建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !
构建通知模版：
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title>
</head>
<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
offset="0">
<table width="95%" cellpadding="0" cellspacing="0"
style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
<tr>
<td>(本邮件是程序自动下发的，请勿回复！)</td>
</tr>
<tr>
<td><h2>
<font color="#0000FF">构建结果 - ${BUILD_STATUS}</font>
</h2></td>
</tr>
<tr>
<td><br />
<b><font color="#0B610B">构建信息</font></b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<tr>
<td>
<ul>
<li>项目名称 ： ${PROJECT_NAME}</li>
<li>构建编号 ： 第${BUILD_NUMBER}次构建</li>
<li>SVN 版本： ${SVN_REVISION}</li>
<li>触发原因： ${CAUSE}</li>
<li>构建日志： <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
<li>构建 Url ： <a href="${BUILD_URL}">${BUILD_URL}</a></li>
<li>工作目录 ： <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
<li>项目 Url ： <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
</ul>
</td>
</tr>
<tr>
<td><b><font color="#0B610B">Changes Since Last
Successful Build:</font></b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<tr>
<td>
<ul>
<li>历史变更记录 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
</ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat=" %p"}
</td>
</tr>
<tr>
<td><b>Failed Test Results</b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<tr>
<td><pre
style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
<br /></td>
</tr>
<tr>
<td><b><font color="#0B610B">构建日志 (最后 100行):</font></b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<!-- <tr>
<td>Test Logs (if test has ran): <a
href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a>
<br />
<br />
</td>
</tr> -->
<tr>
<td><textarea cols="80" rows="30" readonly="readonly"
style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>
</td>
</tr>
</table>
</body>
</html>
触发类型可根据自身需要填写，这里填写always无论成功还是失败都发送邮件
查看远程Docker服务器内的文件
django部署已经利用conda打包好了项目的Python3.6的环境包自制了Docker镜像
之前利用的是纯净的Python3.6系统，在每次构建的时候利用pip安装requirements.txt的模块，但是长此以往由于环境变化很少，每次需要pip安装耗时，所以利用conda将打包好的Python环境自制成定制化环境，以此来减少环境部署时间，也可以通过docker镜像制作是-v参数将本地磁盘挂载在环境内，每次构建本地的conda即可，完成快速环境部署。
查看Dockerfile
FROM 87a69025db6a
MAINTAINER kaliarch
# 定义docker中工作目录
ENV WORK_DIR /work/
# 创建docker内工作目录
RUN mkdir $WORK_DIR
# 定义映射端口
EXPOSE 80
WORKDIR $WORK_DIR
RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git
# 添加启动服务脚本
ADD *.sh ${WORK_DIR}
CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log
查看Django启动脚本
#!/bin/bash
BASEPATH=$(cd `dirname $0`;pwd)
PY_CMD=/python3/bin/python
# 服务入口文件
#MAIN_APP=${BASEPATH}/go2cloud/manage.py
# 迁移脚本入口文件
SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py
# 删除脚本入口文件
DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py
# 日志目录
LOG_DIR=${BASEPATH}/logs/
[ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}
# 启动服务
#nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 &
# 启动脚本迁移调度脚本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log
nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &
# 启动迁移删除脚本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log
nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &
查看jenkins部署脚本
#!/bin/bash
release=$1
port=$2
BASEPATH=$(cd `dirname $0`;pwd)
# 构建go2cloud-platform 镜像
cd /dockerwork
docker build -t go2cloud-platform-mini:$release .
IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')
echo $IMGNAME
# 启动容器
docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}
利用-v参数将日志持续化存储到docker 宿主机之上
四、测试展示
4.1 测试构建
手动构建测试
4.2 查看log
4.3 查看docker容器
4.4 测试app
五、反思改进
- 目前数据库连接的为云服务器搭建的数据库，后期数据库也利用docker，多组采用docker-compose统一部署管理
- 后期可以利用利用公有云k8s集群进行方便测试
- 目前docker容器产生的日志在docker宿主机上，后期可以将其存储在cos上，再投递到elk集群日志可视化处理
- 将镜像统一管理制作本地镜像仓库
- gitlab添加code review并结合自动测试
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。
相关推荐
-
如何通过Jenkins定期清理为None的镜像详解
前言 在代码持续交付过程中,依靠Jenkins生产Docker镜像时,会生成许多的名为None的中间镜像,这些镜像在整个项目生产过程完毕后意义不大,还占着空间,需要定期清理,通过手动方式实在是繁琐,也就有了定期清理. Jenkins是一个功能强大的应用程序,允许持续集成和持续交付项目,无论用的是什么平台.这是一个免费的源代码,可以处理任何类型的构建或持续集成.集成Jenkins可以用于一些测试和部署技术.Jenkins是一种软件允许持续集成. 下面话不多说了,来一起看看详细的介绍吧 一.手动方式
-
Asp.net Core Jenkins Docker实现一键化部署的实现
写在前面 在前段时间尝试过用Jenkins来进行asp.net core 程序在IIS上面的自动部署.大概的流程是Jenkins从git上获取代码 最开始Jenkins是放在Ubuntu的Docker中,但是由于Powershell执行的原因,就把Jenkins搬到了windows上.因为我们网站的部署需要停掉IIS站点,所以需要Powershell来远程操作服务器(上传文件,停止站点,启动站点),也很顺利的利用WinRM+Powershell脚本实现了上面的功能,但是最后在实际使用中发现,脚本
-
使用Jenkins配置Git+Maven的自动化构建的方法
背景 最近安装Jenkins,参照网上的各种资料进行尝试,折腾了好久,但是查找了这么多资料,相似度在90%以上!!!,相同的安装过程,测试了几台机器,未曾成功,不得不感慨自己能力有限,最终慢慢摸索,形成思路,现分享给大家,希望大家在安装的时候少走弯路. PS:本人很痛恨那种粘贴复制,毫无思考的博主,本想着拿着解决问题的心态,但结果还是一样,不但浪费了大家的时间,还浪费了大家的感情,所以,我把我遇到的问题和解决的方式记录下来和大家分享. 知识背景 首先需要理解的是,Jenkins是帮我们将代码进行
-
Docker容器使用jenkins部署web项目(总结)
(1)需要安装Docker容器,在Docker容器内安装jenkins,gogs,tomcat. 新建maven项目,添加findbugs plugin. 使用docker启动jenkins,gogs,Tomcat的命令gogs : 复制代码 代码如下: docker run -itd -p 10022:22 -p 10080:3000 --restart=always --privileged=true --name=gogs -v /var/gogs:/data gogs/gogs je
-
Jenkins之Log Parse使用方法详解
在初学使用Jenkins的同学们,应该都遇到过通过bash或者cmd命令执行输出的日志,没办法做到对error, warning等状态的分析和统计.在这里就给他介绍一款实现此功能的插件Log Parse.此插件安装相当容易,但配置规则文件时,我踩了一坑,记录共享于同学们. 规则文件绝对路径 当然,你的设置一定要重新加载,否则是无效的 规则文件相对路径: 在windows平台下,默认的根目录为C:\Windows\.SysWOW64\,所以需要把规则文件放到此目录下. 常用规则文件代码如下: ok
-
jenkins中通过Publish Over SSH插件将项目部署到远程机器上的讲解说明
Publish Over SSH插件使用 在使用Publish Over SSH之前,需要制作SSH私钥.机器间做免密登录配置.假设机器A,ip为192.168.AA.AAA,机器B: 192.168.BB.BBB,机器A能够免密登录机器B,机器B能够免密登录机器A,制作方式是: 进入A机器,执行: cd ~ ssh-keygen -t rsa 通过下面的命令,表示可以通过机器192.168.AA.AAA免密登录到机器192.168.BB.BBB ssh-copy-id 192.168.BB.B
-
详解jenkins自动部署springboot应用的方法
最近公司在利用jenkins自动部署springboot应用,以前别人配的那个jenkins虽说可以正常部署,但是多次反复部署之后jenkins会报错,提示内存不足: Maven JVM terminated unexpectedly with exit code 137 原因是因为jenkins没有配置部署新的应用前先把旧的应用进程先kill掉而导致在服务器上有多个应用进程.因此自己决定摸索如何配置jenkins可以每次部署都把旧进程kill掉再启动新进程. 安装Jenkins 安装命令: s
-
jenkins安装及其配置笔记
一.相关概念 1.1 Jenkins概念: Jenkins是一个功能强大的应用程序,允许持续集成和持续交付项目,无论用的是什么平台.这是一个免费的源代码,可以处理任何类型的构建或持续集成.集成Jenkins可以用于一些测试和部署技术.Jenkins是一种软件允许持续集成. 1.2 Jenkins目的: 1.持续.自动地构建/测试软件项目. 2.监控软件开放流程,快速问题定位及处理,提示开放效率. 1.3 特性: 开源的java语言开发持续集成工具,支持CI,CD. 易于安装部署配置:可通过yum
-
在CentOS7上搭建Jenkins+Maven+Git持续集成环境的方法
本文以部署 Spring boot + Maven 项目为例,使用码云作为代码托管仓库,在 CentOS 7 上搭建 Jenkins 持续集成环境. 1. 准备工作 1.1 安装 Java 环境 Jenkins 是基于 Java 开发的持续集成工具,需要在 Java 环境下运行.用下面命令查看系统是否已安装 Java: yum list installed | grep jdk 如果没有,使用 yum search 命令查找 openjdk 版本,选择合适的 jdk 进行安装: yum sear
-
Jenkins简介与Docker部署Jenkins的方法
一.相关概念 1.1 Jenkins概念: Jenkins是一个功能强大的应用程序,允许持续集成和持续交付项目,无论用的是什么平台.这是一个免费的源代码,可以处理任何类型的构建或持续集成.集成Jenkins可以用于一些测试和部署技术.Jenkins是一种软件允许持续集成. 1.2 Jenkins目的: 1.持续.自动地构建/测试软件项目. 2.监控软件开放流程,快速问题定位及处理,提示开放效率. 1.3 特性: 开源的java语言开发持续集成工具,支持CI,CD. 易于安装部署配置:可通过yum