Docker底层技术Namespace Cgroup应用详解

Docker底层技术:

docker底层的2个核心技术分别是Namespaces和Control groups

Namespace:是容器虚拟化的核心技术,用来隔离各个容器,可解决容器之间的冲突。

主要通过以下六项隔离技术来实现:
有两个伪文件系统:/proc和/sys/

  • UTS:允许每个container拥有独立的hostname(主机名)和domainname(域名),使其在网络上可以被视作一个独立的节点而非Host上的一个进程。
  • IPC:contaner中进程交互还是采用linux常见的进程间交互方法,包括常见的信号量,消息队列和共享内存。container的进程间交互实际上还是host上具有相同pid中的进程交互。
  • PID:不同用户的进程就是通过pid namesapce隔离开的,且不同namespace中可以有相同pid。所有的LXC(linux containers)进程在docker中的父进程为docker进程,每个LXC进程具有不同的namespace。
  • NET:不同用户的进程就是通过pidnamespace隔离开的,且不同namespace中可以有相同pid。所有的LXC进程在docker中的父进程为docker进程,每个lxc进程具有不同的namespace。
  • MNT:文件系统的挂载点。
  • USRE:每个container可以有不同的user和groupid,也就是说可以在container内部用container内部的用户执行程序而非Host上的用户。

只要解耦了这6项,其他系统资源即便有共用的情况,计算机也认为是在两个不同的系统中。

cgroup(控制程序对资源的占用)

实现cgroup是的主要目的是为不同用户层面的资源管理,提供一个统一化的接口。从单个进程的资源控制到操作系统层面的虚拟化。

cgroup的作用:

1) 资源的限制:cgroup可以对进程组使用的资源总额进行限制。
2) 优先级分配:通过分配的cpu时间片数量及磁盘IO带宽大小,实际上就是相当于控制了进程运行的优先级
3) 资源统计:Cgroup可以统计系统资源使用量。比如cpu使用时间,内存使用量等。
可用于按量计费。
4) 进程控制:可以对进程组执行挂起,恢复等操作。

cgroup的应用:

1)内存和交换分区的限制:

容器内包括两个部分:物理内存和swap

在docker中可以通过参数控制容器内存的使用:

-m或--memory:设置内存的使用限额

--memory-swap:设置swap(交换分区)的使用限额

//基于centos镜像,限制内存为200M,交换分区的内存为300M

[root@sqm-docker01 ~]# docker run -it -m 200M --memory-swap 300M centos

进入容器查看限制的内存:

[root@05a0be7b870a /]# cat /sys/fs/cgroup/memory/memory.limit_in_bytes
209715200  #显示的是字节

[root@05a0be7b870a /]# cat /sys/fs/cgroup/memory/memory.memsw.limit_in_bytes
314572800

2)容器对cpu限制:

通过-c或者--cpu-shares设置容器实验cpu的权重。如果不设置默认是1024.

//基于centos镜像,运行一个容器,名字为containerB,cpu权重限制为512:
[root@sqm-docker01 ~]# docker run -it --name containerB -c 512 centos
[root@b2cf9f28ce1d /]# cat /sys/fs/cgroup/cpu/cpu.shares
512

3)限制容器的Block io(磁盘的读写):

bps:每秒读写的数据量。byte per second
iops:每秒io的次数。 io per second

--device-read-bps:设置读取设备的bps
--device-write-bps:设置写入设备的bps

--device-read-iops:设置读取设备的iops
--device-write-iops:设置写入设备的iops

//创建一个容器名为testA,并限制该磁盘每秒写入的数量为为30MB。
[root@sqm-docker01 ~]# docker run -it --name testA --device-write-bps /dev/sda:30MB centos

写入数据进行测试:

参数解释:
infile=从/dev/zero中提取
outfile=自定义一个名称
bs=1M 文件大小为1M
count=800 总共写800次。
oflag=direct:用来指定directory IO方式写文件,这样才会使--device-write-bps生效。

可以发现每秒写入的数量为80M,大概用时26s。

正常写入磁盘时:

以上就是本次介绍的关于Docker底层技术全部知识点,感谢大家的学习和对我们的支持。

(0)

相关推荐

  • Docker底层技术Namespace Cgroup应用详解

    Docker底层技术: docker底层的2个核心技术分别是Namespaces和Control groups Namespace:是容器虚拟化的核心技术,用来隔离各个容器,可解决容器之间的冲突. 主要通过以下六项隔离技术来实现: 有两个伪文件系统:/proc和/sys/ UTS:允许每个container拥有独立的hostname(主机名)和domainname(域名),使其在网络上可以被视作一个独立的节点而非Host上的一个进程. IPC:contaner中进程交互还是采用linux常见的进

  • Docker守护进程安全配置项目详解

    本文将为大家介绍docker守护进程的相关安全配置项目. 一.测试环境 1.1 安装 CentOS 7 CentOS Linux release 7.7.1908 (Core) 升级内核,重启 # yum update kernel [root@localhost docker]# uname -a Linux localhost 3.10.0-1062.12.1.el7.x86_64 #1 SMP Tue Feb 4 23:02:59 UTC 2020 x86_64 x86_64 x86_64

  • Docker run 命令的使用方法详解

    注意,本文基于最新的Docker 1.4文档翻译. Docker会在隔离的容器中运行进程.当运行 docker run命令时,Docker会启动一个进程,并为这个进程分配其独占的文件系统.网络资源和以此进程为根进程的进程组.在容器启动时,镜像可能已经定义了要运行的二进制文件.暴露的网络端口等,但是用户可以通过docker run命令重新定义(译者注:docker run可以控制一个容器运行时的行为,它可以覆盖docker build在构建镜像时的一些默认配置),这也是为什么run命令相比于其它命

  • docker资源限制和compose部署详解

    目录 一.私有仓库建立 二.Cgroup 资源配置方法 三.CPU使用率控制 使用 stress 工具测试 CPU 和内存 四. CPU 周期限制 五. CPU Core 控制 六. CPU 配额控制参数的混合使用 七. 内存限额 八.Block IO 的限制 九. bps 和 iops 的限制 十. 构建镜像(docker build)时指定资源限制 十一. compose部署 十二. consul部署 总结 一.私有仓库建立 docker pull registry 在docker 引擎终端

  • 对docker中的overlay式网络详解

    翻译自docker官方文档,原文:https://docs.docker.com/network/overlay/ overlay(覆盖)式网络会在多个docker守护进程所在的主机之间创建一个分布式的网络.这个网络会覆盖宿主机特有的网络,并允许容器连接它(包括集群服务中的容器)来安全通信.显然,docker会处理docker守护进程源容器和目标容器之间的数据报的路由. 当你初始化一个集群(swarm)或把一个docker宿主机加入一个已经存在的集群时,宿主机上会新建两个网络: 一个叫ingre

  • docker容器的几种存储详解

    目录 写在前面 几种存储挂载方式 1.bind mounts 2.volumes 3.tmpfs mount 存储数据共享 写在前面 我们在上篇学习了容器网络,对容器网络驱动bridge工作原理做了较为详细的介绍,今天小作文一起看看容器中另一个关键域-存储. 容器的存储可以分为两大类: 一种是与镜像相关的即我们在<docker容器技术基础之联合文件系统OverlayFS>一文提到的容器层Copy-On-Write特性.默认情况下,在容器内创建的所有文件都存储在可写容器层上,这种直接将文件存储在

  • Docker 7 docker在阿里云的使用详解

    在传统模式中,开发团队在开发环境中完成软件开发,自己做了一遍单元测试, 测试通过,ᨀ交到代码版本管理库.运维把应用部署到测 试环境, QA 进行测试,没问题后通知部署人员发布到生产环境. 在上述过程中涉及到至少三个环境:开发.测试和生产.现实情况是,开发自测 没问题,但到了测试或者生产环境程序无法运行,让开发团队排查,经过长时间 排查最后发现是测试环境的一个第三方库过时了.这样的现象在软件开发中很普 遍,已经不适用如今的快速开发和部署.docker可以满足你的需求. 阿里云容器hub开发者平台,

  • docker python api 安装配置的详解

    docker python api 安装配置的详解 1.docker宿主机配置文件修改 $vim /etc/default/docker #再已有OPTS中添加 DOCKER_OPTS="-H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock" 使得可以通过tcp的2375端口连接到docker守护进程中,第二个-H及之后的内容可以省略 2.安装docker-py $sudo pip install docker-py 3.编写api脚本

  • 滚动 docker 中的 nginx 日志思路详解

    docker使用 1. docker ps 查看运行中的容器 2. docker images 查看docker镜像 3. docker rm id(容器id)  删除容器(容器id可以通过docker ps查看,容器必须停止后才能删除) 3.1 删除全部的容器 docker rm `docker ps -a -q` 4. docker stop  id(容器id) 停止容器运行 5. docker rmi  id(镜像id) 删除镜像 6. docker pull ubuntu:16.04(镜

  • docker备份linux系统的命令详解

    tar备份系统 sudo tar cvpzf backup.tgz --exclude=/proc --exclude=/mnt --exclude=/sys --exclude=/backup.tgz / 更多linux备份方法参考https://www.jb51.net/article/151167.htm 编写dockerflie 新建目录Dockerfile,在Dockerfile目录下编辑Dockerfile脚本,如下内容: FROM scratch COPY rootfs / RUN

随机推荐