Docker使用Calico网络模式配置及问题处理方法

2024-09-27 11:26:42

一.Calico介绍

Calico是一种容器之间互通的网络方案，在虚拟化平台中，比如OpenStack、Docker等都需要实现workloads之间互连，但同时也需要对容器做隔离控制，就像在Internet中的服务仅开放80端口、公有云的多租户一样，提供隔离和管控机制。而在多数的虚拟化平台实现中，通常都使用二层隔离技术来实现容器的网络，这些二层技术有一些弊端，比如需要依赖VLAN、Bridge和隧道技术。其中Bridge带来了复杂性，Vlan隔离和Tunnel隧道则消耗等多的资源并对物理环境有要求。随着网络规模的增大，整体会变得更加复杂。我们尝试把Host当做Internet中的路由器，使用BGP同步路由，并使用Iptables来做安全访问策略，最终设计出了Calico方案。

设计思想：Calico不使用隧道或者NAT来实现转发，而是巧妙的把所有二三层流量转换成三层流量，并通过host上路由配置完成跨host转发。

二.Calico优势

更优的资源利用

二层网络通讯需要依赖广播消息机制，广播消息的开销与host的数量呈指数级增长，Calico使用的三层路由方法，则完全抑制了二层广播，减少了资源开销。此外，二层网络使用Vlan隔离技术，天生有4096个规格限制，即便可以使用Vxlan解决，但Vxlan又带来了隧道开销的问题。Calico不使用vlan或者vxlan技术，使资源利用率更高。

可扩展性

Calico使用与Internet类似的方案，Internet的网络比任何数据中心都大，Calico同样天然具有扩展性。

简单更容易调试

由于没有隧道，意味着workloads之间路径更短，配置更少，在host之间更容易进行debug调试。

更少的依赖

Calico仅依赖三层路由可达

可适配性

Calico较少的依赖性使它能适配所有的VM、Container、白盒或者混合环境场景。

三、环境介绍：

1、操作系统：CentOS 7

2、主机结点：node1（192.168.223.131） node2（192.168.223.130）

3、软件版本：calicoctl（version v1.6.1） etcdctl（version: 3.3.11） docker（version：20.10.21-ce）

[root@node2 ~]# cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

修改两个节点的主机名
[root@node1 ~]# hostnamectl --static set-hostname node1
[root@node1 ~]# echo "node1" > /etc/hostname

[root@node2 ~]# hostnamectl --static set-hostname node2
[root@node2 ~]# echo "node2" > /etc/hostname

关闭两台主机的防火墙。若开启iptables防火墙，则需要打开2380端口通信。
[root@node1 ~]# systemctl disable firewalld.service
[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# iptables -F
[root@node1 ~]# firewall-cmd --state
not running

在两台机器上都要设置hosts，均执行如下命令：
[root@node1 ~]# vim /etc/hosts
192.168.223.131     node1
192.168.223.130     node2

两台集机器上的ip转发功能打开
[root@node1 ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@node1 ~]# vim /etc/sysctl.conf
......
net.ipv4.conf.all.rp_filter=1
net.ipv4.ip_forward=1
[root@node1 ~]# sysctl -p

四、配置ETCD集群

1、两台结点安装Etcd软件包
[root@node1 ~]# yum install etcd -y

2、两台结点配置ETCD集群模式
[root@node1 ~]# vim /etc/etcd/etcd.conf
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://192.168.223.131:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.223.131:2379"

根据不同主机进行相应修改，分别为node1 node2
ETCD_NAME="node1"

根据不同主机进行相应修改，分别为192.168.223.131\192.168.223.130
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.223.131:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.223.131:2379"

ETCD_INITIAL_CLUSTER="node2=http://192.168.223.130:2380,node1=http://192.168.223.131:2380"

3、启用Etcd服务，并测试是集群是否配置正确
[root@node1 ~]# systemctl start etcd
[root@node1 ~]# export ETCDCTL_API=2   #根据节点设置数量
[root@node1 ~]# etcdctl member list
afc1b952a7b88713: name=node1 peerURLs=http://192.168.223.131:2380 clientURLs=http://192.168.223.1 31:2379 isLeader=true
fd636eb41152ae48: name=node2 peerURLs=http://192.168.223.130:2380 clientURLs=http://192.168.223.1 30:2379 isLeader=false

错误处理：Job for etcd.service failed because the control process exited with error code. See "systemctl status etcd.service" and "journalctl -xe" for details.

cd /var/lib/etcd/default.etcd 删除这个目录下所有文件，如有重要数据请谨慎操作。

错误处理：etcdctl member list

Error:  client: etcd cluster is unavailable or misconfigured; error #0: dial tcp 127.0.0.1:4001: connect: connection refused
; error #1: dial tcp 127.0.0.1:2379: connect: connection refused

error #0: dial tcp 127.0.0.1:4001: connect: connection refused
error #1: dial tcp 127.0.0.1:2379: connect: connection refused

解决：vim /etc/etcd/etcd.conf  第六行结尾加上 ,http://127.0.0.1:2379
systemctl restart etcd   重启解决

错误处理：publish error: etcdserver: request timed out

解决：所有节点同时启动

五、安装Docker，配置使用集群存储

1、安装docker

2、配置Docker守护程序使用有群集存储
[root@node1 ~]# vim /etc/docker/daemon.json

{
  "registry-mirrors": ["https://7i5u59ls.mirror.aliyuncs.com"],
  "cluster-store": "etcd://192.168.223.131:2379"
}

3、重启Docker进程，并检查配置是否正确
[root@node1 ~]# systemctl restart docker
[root@node1 ~]# docker info | grep "Cluster Store"
Cluster Store: etcd://192.168.223.131:2379

六、配置calico基于sysinit方式启动

1、两台主机分别添加calico-node配置文件
[root@node1 calico]# vim /etc/calico/calico.env
ETCD_ENDPOINTS="http://192.168.223.131:2379,http://192.168.223.130:2379"
ETCD_CA_FILE=""
ETCD_CERT_FILE=""
ETCD_KEY_FILE=""
CALICO_NODENAME="node1"
CALICO_NO_DEFAULT_POOLS=""
CALICO_IP="192.168.223.131"
CALICO_IP6=""
CALICO_AS=""
CALICO_LIBNETWORK_ENABLED=true
CALICO_NETWORKING_BACKEND=bird

2、两台主机分别添加calico-node sysinit配置文件
[root@node1 calico]# vim /etc/systemd/system/calico-node.service
[Unit]
Description=calico-node
After=docker.service
Requires=docker.service

[Service]
EnvironmentFile=/etc/calico/calico.env
ExecStartPre=-/usr/bin/docker rm -f calico-node
ExecStart=/usr/bin/docker run --net=host --privileged \
--name=calico-node \
-e NODENAME=${CALICO_NODENAME} \
-e IP=${CALICO_IP} \
-e IP6=${CALICO_IP6} \
-e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \
-e AS=${CALICO_AS} \
-e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \
-e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \
-e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \
-e ETCD_CA_CERT_FILE=${ETCD_CA_CERT_FILE} \
-e ETCD_CERT_FILE=${ETCD_CERT_FILE} \
-e ETCD_KEY_FILE=${ETCD_KEY_FILE} \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /var/log/calico:/var/log/calico \
-v /run/docker/plugins:/run/docker/plugins \
-v /lib/modules:/lib/modules \
-v /var/run/calico:/var/run/calico \
calico/node:v2.6.1
ExecStop=-/usr/bin/docker stop calico-node
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s

[Install]
WantedBy=multi-user.target

3、两台主机分别启动calico-node服务
[root@node1 calico]# systemctl daemon-reload
[root@node1 calico]# systemctl start calico-node
[root@node1 calico]# tail -f /var/log/messages
...
Mar 11 12:23:46 node1 docker: Starting libnetwork service
Mar 11 12:23:46 node1 docker: Calico node started successfully

4、下载calicoctl二进制文件，并添加执行权限
[root@node1 calico]# wget -O /usr/local/bin/calicoctl https://github.com/projectcalico/calicoctl/releases/download/v1.6.1/calicoctl
[root@node1 calico]# chmod +x /usr/local/bin/calicoctl
[root@node1 system]# calicoctl node status
Calico process is running.
IPv4 BGP status
+-----------------+-------------------+-------+----------+-------------+
|  PEER ADDRESS   |     PEER TYPE     | STATE |  SINCE   |    INFO     |
+-----------------+-------------------+-------+----------+-------------+
| 192.168.223.131 | node-to-node mesh | up    | 10:29:48 | Established |
+-----------------+-------------------+-------+----------+-------------+
IPv6 BGP status
No IPv6 peers found.

[root@node1 calico]# calicoctl get node
NAME
node1
node2
node3

七、测试calico网络

1、创建网络
[root@node1 ~]# docker network create --driver calico --ipam-driver calico-ipam net1

#在任意一台主机，都可以看到新增的网络插件
[root@node1 ~]# docker network ls

2、在node1 node2 node3分别建立一个容器，查看IP地址
[root@node1 ~]# docker run --net net1 --name workload-A -tid busybox
[root@node1 ~]# docker exec -it workload-A ip addr
4: cali0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff
inet 192.168.166.128/32 scope global cali0
valid_lft forever preferred_lft forever

[root@node2 ~]# docker run --net net1 --name workload-B -tid busybox
[root@node2 ~]# docker exec -it workload-B ip addr
4: cali0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff
inet 192.168.104.0/32 scope global cali0
valid_lft forever preferred_lft forever

3、在node1的容器中(workload-A)，ping各结点的容器IP，测试网络是否正常
docker exec workload-A ping 192.168.104.0

PING 192.168.104.0 (192.168.104.0): 56 data bytes
64 bytes from 192.168.104.0: seq=0 ttl=62 time=0.435 ms
64 bytes from 192.168.104.0: seq=1 ttl=62 time=0.507 ms

4、查看各结点的路由表
[root@node1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.223.2   0.0.0.0         UG    100    0        0 ens33
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
192.168.104.0   192.168.223.130 255.255.255.192 UG    0      0        0 ens33
192.168.166.128 0.0.0.0         255.255.255.255 UH    0      0        0 calic5c95dfa8ad
192.168.166.128 0.0.0.0         255.255.255.192 U     0      0        0 *
192.168.223.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33

参考：

Docker 使用Calico插件配置网络 - 重启一把梭 - 博客园 (cnblogs.com)

【错误解决】新建etcd集群报错：publish error: etcdserver: request timed out_安安csdn的博客-CSDN博客

Error: client: etcd cluster is unavailable or misconfigured; error #0: dial tcp 127.0.0.1:4001: getsockopt: connection refused - 无踪无影 - 博客园 (cnblogs.com)

到此这篇关于Docker使用Calico网络模式配置及问题处理的文章就介绍到这了,更多相关Docker Calico网络模式内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

Docker安装方法与Docker四种网络模式详解

1.安装docker yum -y install docker-io 出现complete说明安装完成 2.启动docker服务 service docker start 3.设置docker开机启动 chkconfig docker on 4.基本信息查看 docker version docker info docker images查看镜像 docker ps查看正在运行的容器 docker rmi删除镜像 docker save -o imageName:tag > path/name
Docker 网络模式（四种）详细介绍

Docker 网络模式本文首先介绍了Docker自身的4种网络工作方式, Docker作为目前最火的轻量级容器技术,有很多令人称道的功能,如Docker的镜像管理.然而,Docker同样有着很多不完善的地方,网络方面就是Docker比较薄弱的部分.因此,我们有必要深入了解Docker的网络知识,以满足更高的网络需求. 四种网络模式我们在使用docker run创建Docker容器时,可以用--net选项指定容器的网络模式,Docker有以下4种网络模式: · host模式,使用--net=h
Docker 网络模式及配置方式

一.Docker网络模式 docker run 创建 Docker 容器时,可以用 –net 选项指定容器的网络模式,Docker 有以下 4 种网络模式: host 模式,使用 –net=host 指定. container 模式,使用 –net=container:NAME_or_ID 指定. none 模式,使用 –net=none 指定. bridge 模式,使用 –net=bridge 指定,默认设置. host 模式如果启动容器的时候使用 host 模式,那么这个容器将不会获得一个
Docker四种网络模式演示及连通性测试

目录 Docker 的四种网络模式 host 模式 host 模式演示 container 模式 container 模式演示 none 模式 none 模式演示 bridge 模式 bridge 模式演示 Docker 的四种网络模式网络模式网络配置说明 host(开放式网络模式) –network host 容器和宿主机共享 Network namespace container(联合挂载式网络模式) –network container 多个容器共享一个 Network namesp
深入解析docker三种网络模式

目录 1.docker默认的三种网络模式: 2.桥接模式 3.host模式 4.none模式 1.docker默认的三种网络模式: bridge:桥接模式 host:主机模式 none:无网络模式查看网络模式: docker network ls 2.桥接模式简介:桥接模式是docker 的默认网络设置,当Docker服务启动时,会在主机上创建一个名为docker0的虚拟网桥,并选择一个和宿主机不同的IP地址和子网分配给docker0网桥如下图所示:eno16777728是宿主机的网卡,1
Docker的四种网络模式

Docker 的四种网络模式 Docker 有 bridge.none.host.container 四种网络模式,提供网络隔离.端口映射.容器间互通网络等各种支持,下面开门见山地直接介绍这四种网络模式. 这四种网络模式可以通过启动容器的时候指定,其命令或参数个数如下: 网络模式参数说明 host模式 -–net=host 容器和宿主机共享 Network namespace. container模式 –-net={id} 容器和另外一个容器共享 Network namespace. kub
docker 容器网络模式详解

目录 bridge - 桥接模式 host - 站点模式 container - 容器模式 none模式 overlay 模式 bridge - 桥接模式上期有提到我们可以使用docker create network net_name 命令来创建网络并提到了 -d 后面可接网络类型当没有指定网络类型的时候,docker会默认创建bridge格式的网络桥接模式大家学过设计模式的应该不陌生,主要是将抽象部分与实现部分分离,可以独立变化又不影响实现方式 docker容器的桥接模式分离的就是容
Docker使用Calico网络模式配置及问题处理方法

目录一.Calico介绍二.Calico优势三.环境介绍: 四.配置ETCD集群五. 安装Docker,配置使用集群存储六.配置calico基于sysinit方式启动七.测试calico网络参考: 一.Calico介绍 Calico是一种容器之间互通的网络方案,在虚拟化平台中,比如OpenStack.Docker等都需要实现workloads之间互连,但同时也需要对容器做隔离控制,就像在Internet中的服务仅开放80端口.公有云的多租户一样,提供隔离和管控机制.而在多数的虚拟化
详解Docker中VLAN网络模式的配置

前言 Docker作为目前最火的轻量级容器技术,有很多令人称道的功能,如Docker的镜像管理.然而,Docker同样有着很多不完善的地方,网络方面就是Docker比较薄弱的部分.因此,我们有必要深入了解Docker的网络知识,以满足更高的网络需求. Docker网络模式选择目前已有不少文章介绍了Docker的网络模型,但是在实际应用中还是有不少坑和需要注意的点在Docker应用到生产环境的时候,网络模型的选择主要有以下几种 1.原生Bridge NAT模式 2.Linux Bridge
Vmware虚拟机下网络模式配置详解

VMware虚拟机有三种网络模式,分别是Bridged(桥接模式).NAT(网络地址转换模式).Host-only(主机模式) . VMware workstation安装好之后会多出两个网络连接,分别是VMware Network Adapter VMnet1和VMware Network Adapter VMnet8,这两个是可以在主机的网络连接中可以查看到的,还有一个是VMnet0,可以在virtual network editor中看到.这三个虚拟网络都是VMware安装好之后自动生成的
Docker 默认bridge网络中配置DNS的方法

本节描述如何在Docker默认网桥中配置容器DNS. 当您安装Docker时,就会自动创建一个名为bridge 的桥接网络. 注意 : Docker网络功能允许您创建除默认网桥之外的用户自定义网络. 有关用户自定义网络中DNS配置的更多信息,请参阅Docker嵌入式DNS部分. Docker如何为每个容器提供主机名和DNS配置,而无需在构建自定义Docker镜像时在内部写入主机名?它的诀窍是利用可以写入新信息的虚拟文件,在容器内覆盖三个关键的/etc 文件. 你可以通过在一个容器中运行mount
Docker之自定义网络实现

目录 1.自定义网络实现容器互联 2.网络连通 1.自定义网络实现容器互联四类网络模式,使用docker network ls查看docker网络模式 Docker网络模式配置说明 host模式 –net=host 容器和宿主机共享Network namespace. container模式 –net=container:NAME_or_ID 容器和另外一个容器共享Network namespace. kubernetes中的pod就是多个容器共享一个Network namespace.