通过提前bake Docker镜像加快基础设施的启动速度

我之前概述过加速AWS基础设施启动的方法。本文中谈到的方法可以进一步减少大约50%的时间，即在应用运行前，预先bake（pre-bake）所需服务。

我们的微服务应用托管于Docker容器，可以从Docker仓库或私有仓库中拉取（pull）。不像在Ubuntu服务器上使用bash脚本进行安装和配置，每个应用所对应的独立Docker镜像可以单独复制到所需实例。这意味着在处理较大负载时可以快速添加实例，如果此方法可行，值得在组织中推广应用。

用户体验的头一件事是演示流程，展示应用如何为团队的Github 分支（branches)创建环境。我们预先为应用demo在EC2 AMI创建单独镜像。这样，我们仅为需要运行应用的用户启动Docker容器。

可扩展IT自动化工具Ansible可以完成大部分工作。我们用它运行各种简单任务，如更新服务器host文件，生成证书，拉取需要的Docker镜像。举个例子，我们可以运行指定命令以及使用在Ansible YAML设置文件中的指定变量。在bake镜像时，Ansible拉取Docker镜像方法如下：

- name: pulling docker images

 become: true

 command: docker pull {{ item }}

 with_items:

  - "registry.runnable.com/runnable/image-builder:{{ IMAGE_BUILDER_VERSION }}"

  - "swarm:{{ SWARM_VERSION }}"

  - "google/cadvisor:{{ CADVISOR_VERSION }}"

考虑到bake到EC2镜像的东西必须是唯一的，否则如果每个镜像都有相同的标志文件，就没有办法加以区分。为了将Docker安装到AMI以及将容器bake到AMI，我们需要删除Docker key.json文件和Docker pid file。Docker在下次启动时还会生成这些文件，所以删掉也没关系。

实例必须和用户链接，这样我们才能协助他们的应用以及确定他们所使用的资源量。为了使实例在部署之后更加个性化，我们将亚马逊SSM代理bake到镜像中，这样就可以实现在第一时间与实例进行交互。为用户分配和配置实例的速度越快，内部DNS和路由配置允许应用访问的速度也就越快。

对于预先bake Docker镜像到亚马逊AMI这种做法，尽管目前支持它的理由还比较有限，但还是值得推广到几乎所有的架构。特别是Runnable这种一个实例可以对应各种应用、数据库和服务的情况，只要你知道实例在部署时需要什么，就可以使用上述方法。可以使用多个AMI来填补所有角色需要，或者只用一个有多个Docker镜像的实例，这些镜像不被运行也没有资源消耗。这种做法对高可用基础设施的扩展速度非常有帮助，可以将其缩短到数秒钟。

需要运行什么，就bake什么，这种做法理解起来很简单。由于存在重复的问题，我们还不能做到先发制人的准备好证书和指定配置，不过这些都是不计算在等待时间内的小进程。网络传输，也可能有磁盘I/O通常在服务器创建和启动新的Docker容器的过程中耗费较多时间，因此减少这类时间消耗能显著的提高启动速度。另外，这些考虑并非只针对特定产品。创建预先bake的AMI这种做法对任何团队来说，都能在创建新实例的时候节省等待时间。

赞 (0)

相关推荐

  • 简单谈谈Docker镜像的使用方法

    在上篇文章(在Docker中搭建Nginx服务器)中,我们已经介绍了如何快速地搭建一个实用的Nginx服务器.这次我们将围绕Docker镜像(Docker Image),介绍其使用方法.包括三部分: 从Docker Hub或者其他镜像源安装Docker镜像 从Image file安装Docker镜像 从Docker file制作Docker镜像 查找Docker镜像 安装Docker镜像的第一步,是查找你需要的Docker镜像列表,键入: docker search mysql 如果出现权限问题

  • Docker创建镜像两种方法详解

     Docker创建镜像             最近学习Docker 的知识,偶然在网上看到关于Docker 创建对象的两种方法很好,这里记录下,也许可以帮助到你. 我们都知道Docker中我们是基于镜像来运行的容器,那如何创建镜像呢?创建镜像有两种方法,一是使用docker commit命令,二是使用docker build命令和Dockerfile文件.这里我们说的创建镜像是指基于一个已有的基础镜像比如ubuntu等,而不是从零创建一个全新的镜像. 下面分别简单介绍一下两种方法.      

  • 深入了解docker(docker镜像、容器、仓库的基本概念)

    本文重点给大家介绍docker镜像.容器.仓库的基本概念的知识. Docker概念 Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化.容器是完全使用沙箱机制,相互之间不会有任何接口. 镜像 Docker 镜像就是一个只读的模板. 例如:一个镜像可以包含一个完整的 CentOS 操作系统环境,里面仅安装了 httpd或用户需要的其它应用程序. 镜像可以用来创建 Docker 容器. Dock

  • Docker push镜像失败解决方法

    Docker push镜像失败的问题. 以下是输入push自己的tomcat后出现了失败 [root@slave3 ~]# docker push lekkoliu/tomcat8:latest The push refers to a repository [docker.io/lekkoliu/tomcat8] cefee3f6c961: Preparing 82f021d9c2b9: Preparing 4f91f02b4e49: Preparing a4b3ce7e1d4a: Prepa

  • Docker 下载镜像慢的问题解决方法

    docker 解决下载镜像慢 使用Docker pull 镜像这个超级慢,因为docker的hub是在国外的,所以是特别慢的,有什么办法可以解决这个问题么?答案肯定是有的,我们可以使用docker的代理的解决这个问题,大家要自己准备一个可以使用的http代理地扯 原文. 代理设置 此文使用的系统是fedora 创建一个docker service目录 mkdir /etc/systemd/system/docker.service.d 创建 /etc/systemd/system/docker.

  • Docker在CentOS7下不能下载镜像timeout的解决办法(图解)

    Docker在CentOS7下不能下载镜像timeout的解决办法(图解)

    今天小编给大家记录下Docker在CentOS7下不能下载镜像timeout的问题,先给大家说下问题的来龙去脉. 问题描述: 昨天买了六个月阿里云服务器的学生机用来部署毕设环境,在鼓捣docker的时候出现问题,docker安装成功并且已经成功启动,如图 但在pull镜像的时候却出现超时无法下载镜像的问题,估计是国内docker官方镜像被墙了,网上找了好久发现要使用国内镜像加速,推荐的有Daocloud和阿里云,我使用的是Daocloud镜像加速,注册了账号之后上方会有一个镜像加速的超链接 点进

  • Docker for windows pull镜像文件的安装位置改变的方法

    Docker for windows pull镜像文件的安装位置改变的方法

    Docker for windows pull镜像文件的安装位置改变的方法 发生现象: 在windows10下安装Docker for windows,随着用docker pull image文件后,C盘的容量越来越小了,你可能也有一种跟我一样的想法,想改变默认的安装路径,本文希望能解决你的问题. 原因分析: windows上安装的docker其实本质上还是借助与windows平台的hyper-v技术来创建一个Linux虚拟机,你执行的所有命令其实都是在这个虚拟机里执行的,所以所有pull到本地

  • 利用Docker制作Nginx+PHP镜像的步骤详解

    前言 这篇文章给大家介绍的是使用Docker制作nginx+php的镜像,本文里的镜像是centos + nginx 1.9.7 + php 5.6.14,下面话不多说,直接看实现的步骤吧. 1.首先下载到nginx和php: nginx-1.9.5.tar.gz 下载:http://nginx.org/en/download.html php-5.6.14.tar.gz   下载:>http://php.net/downloads.php 2.以及扩展包so: memcache-2.2.4.t

  • 两种方式创建docker镜像的启动容器时区别介绍(总结篇)

    Docker是建立在Linux内核基础上的,在目前的主流Linux系统中,都已经原生支持了Docker且使用体验也最好,当然,在Windows平台和MacOS系统中也支持Docker,只是需要使用类似Boot2Docker等虚拟化工具来提供Linux支持. 下面重点给大家介绍基于两种创建docker镜像的启动容器时区别,感兴趣的朋友可以跟着小编一起学习! 1.凡是用docker commit生成的镜像启动的时候可以加载一个启动自己应用的脚本,例如: docker run -d -P tomcat

  • 通过提前bake Docker镜像加快基础设施的启动速度

    我之前概述过加速AWS基础设施启动的方法.本文中谈到的方法可以进一步减少大约50%的时间,即在应用运行前,预先bake(pre-bake)所需服务. 我们的微服务应用托管于Docker容器,可以从Docker仓库或私有仓库中拉取(pull).不像在Ubuntu服务器上使用bash脚本进行安装和配置,每个应用所对应的独立Docker镜像可以单独复制到所需实例.这意味着在处理较大负载时可以快速添加实例,如果此方法可行,值得在组织中推广应用. 用户体验的头一件事是演示流程,展示应用如何为团队的Gith

  • 详解Maven Docker镜像使用技巧

    详解Maven Docker镜像使用技巧

    本文介绍了Maven Docker镜像使用技巧,分享给大家,具体如下: Maven是目前最流行的Java项目管理工具之一,提供了强大的包依赖管理和应用构建功能. Docker提供了官方的Maven镜像可以用于管理和构建Java应用.与直接安装使用Maven工具相比,使用Docker镜像具有更好的可移植性,可以方便地进行版本切换,非常适合在持续集成过程中使用. 关于Maven官方镜像的用法可以参考使用文档 使用阿里云加速 Maven官方仓库在国内网络下的下载速度实在是让人欲哭无泪,利用阿里云的Ma

  • 优化Docker镜像安全性的12个技巧总结

    目录 1前言 2避免泄露构建密钥 多阶段构建 BuildKit的密钥 题外话:不要推送在开发机上构建的镜像 3以非root用户身份运行 4使用最新的基础镜像构建和更新系统包 背景知识 6对你的镜像进行漏洞扫描 7扫描你的Dockerfile是否违反了最佳实践 8不要对DockerHub使用Docker内容信任 9扫描你自己的代码是否有安全问题 10使用docker-slim来删除不必要的文件 11使用最小的基础镜像 12使用受信任的基础镜像 背景知识 13测试你的镜像是否能在降低能力的情况下工作

  • 详解六种减小Docker镜像大小的方法

    我从2017年做Vulhub开始,一直在和一个麻烦的问题做斗争:在编写Dockerfile的时候, 如何减小 docker build 生成的镜像大小 ?这篇文章就给大家总结一下我自己使用过的六种减小镜像大小的方法. 1. 使用Alpine Linux Alpine Linux是一个基于BusyBox和Musl Libc的Linux发行版,其最大的优势就是小.一个纯的基础Alpine Docker镜像在压缩后仅有2.67MB. 不少Docker官方镜像都有Alpine版本,比如PHP: 比较之下

  • Spring Boot 2.4 新特性之一键构建Docker镜像的过程详解

    Spring Boot 2.4 新特性之一键构建Docker镜像的过程详解

    背景 在我们开发过程中为了支持 Docker 容器化,一般使用 Maven 编译打包然后生成镜像,能够大大提供上线效率,同时能够快速动态扩容,快速回滚,着实很方便.docker-maven-plugin 插件就是为了帮助我们在 Maven 工程中,通过简单的配置,自动生成镜像并推送到仓库中. spotify .fabric8 这里主要使用的主要是如下两种插件 spotify .fabric8 , - -配置通过 xml 定义出 Dockerfile 或者挂载外部 Dockerfile 通过调用

  • 使用脚本一键打包并上传docker镜像的实现代码

    使用脚本一键打包并上传docker镜像的实现代码

    笔者搞了一年多微前端项目,一个团队管理十个微应用,换成docker镜像部署后,发布操作一下从原来的脚本直连服务器的1分钟变成了几十分钟,尤其上传每个应用到各自的阿里云仓库.这里就再写个脚本一键打包docker镜像并上传阿里云. 本文只讲怎么制作一个脚本帮助去减轻开发人员负担,关于docker-compose的配置见: 使用各种姿势舒服的部署微前端项目(上:打包与上传) 效果图 直接上代码 /** * @name docker镜像打包上传脚本 * @author weilan * @time 20

  • Java应用打包成Docker镜像

    目录 怎么把Java应用打包成Docker镜像? Maven插件构建镜像 用Docker的多阶段构建打包镜像 怎么把Java应用打包成Docker镜像? 对熟悉Docker的同学这应该是一个很简单的问题,把项目打包成JAR包然后在Dockerfile里用ADD命令把JAR文件放到镜像里,启动命令设置执行这个JAR文件即可. 比如一个使用Maven构建的Spring应用就可以用下面这个Dockerfile构建镜像. FROM openjdk:8-jre ADD target/*.jar /appl

  • 创建Web项目的Docker镜像实例讲解

    最近做个项目,创建web项目的Docker镜像,经过一番折腾终于做出来了,这里记录下,也希望读者能少走点弯路!以下就是资料整理! 基于Java,Mongodb,Tomcat的Supplierprofile项目 禁用selinux vi etc/selinux/config SELINUX=disabled SELINUXTYPE=targeted 运行镜像 Docker run -i --privileged=true -v /home/centos:/usr/local/file -d -p

  • 详解docker使用阿里云Docker镜像库加速(修订版)

    官方镜像下载实在是慢,于是开通了阿里云开发者帐号, 阿里的文档是错误的, 复制代码 代码如下: sudo sed -i "s|ExecStart=/usr/bin/docker daemon|ExecStart=/usr/bin/docker daemon --registry-mirror=https://pee6w651.mirror.aliyuncs.com|g" /etc/systemd/system/docker.service 这一句改为 复制代码 代码如下: sudo s

  • 详解制作各种docker镜像

    做了一个星期的镜像,收货颇多,现在整理记录下来,当做工作笔记吧.把常用的几个镜像的Dockerfile分享下. 制作基础docker镜像 第一步:设置Docker镜像源 复制代码 代码如下: yum install -y yum-priorities && rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm && rpm --import /etc/pki/rp

随机推荐