一：Flannel介绍

Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。

在Kubernetes的网络模型中，假设了每个物理节点应该具备一段“属于同一个内网IP段内”的“专用的子网IP”。例如：

节点1：10.1.46.0-24

节点2：10.1.77.0-24

但在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。

Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。

所有的node节点都需要安装?络插件才能让所有的Pod加入到同一个局域网中。

二：Flannel工作原理

Flannel实质上是一种“覆盖网络(overlay network)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式。

1. 数据从源容器中发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是个P2P的虚拟网卡，flanneld服务监听在网卡的另外一端。

2.Flannel通过Etcd服务维护了一张节点间的路由表。

3. 源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后直接进入目的节点的flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，最后就像本机容器通信一下的有docker0路由到达目标容器。

三：Flannel的安装与配置

1.通过yum install flannel安装

2.service配置?件 /usr/lib/systemd/system/flanneld.service

点击(此处)折叠或打开

[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service
[Service]
Type=notify
EnvironmentFile=/etc/sysconfig/flanneld
EnvironmentFile=-/etc/sysconfig/docker-network
ExecStart=/usr/bin/flanneld-start -etcd-endpoints=${FLANNEL_ETCD_ENDPOINTS} -etcd-prefix=${FLANNEL_ETCD_PREFIX} $FLANNEL_OPTIONS
ExecStartPost=/usr/libexec/flannel/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=on-failure
[Install]
WantedBy=multi-user.target
RequiredBy=docker.service

3.配置文件/etc/sysconfig/flanneld

点击(此处)折叠或打开

# Flanneld configuration options
# etcd url location. Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="https://10.116.137.196:2379,https://10.116.82.28:2379,https://10.116.36.57:2379"
# etcd config key. This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/kube-centos/network"
# Any additional options that you want to pass
FLANNEL_OPTIONS="-etcd-cafile=/etc/kubernetes/ssl/ca.pem -etcd-certfile=/etc/kubernetes/ssl/kubernetes.pem -etcd-keyfile=/etc/kubernetes/ssl/kubernetes-key.pem"

4.在etcd中创建网络配置

点击(此处)折叠或打开

etcdctl --endpoints=https://10.116.137.196:2379,https://10.116.82.28:2379,https://10.116.36.57:2379 --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem mk /kube-centos/network/config '{"Network":"10.1.37.0/16","SubnetLen":24,"Backend":{"Type":"vxlan"}}'

5.启动flannel

systemctl daemon-reload

systemctl enable flanneld

systemctl start flanneld

systemctl status flanneld

查看

点击(此处)折叠或打开

etcdctl --endpoints=https://10.116.137.196:2379,https://10.116.82.28:2379,https://10.116.36.57:2379 --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem ls /kube-centos/network/subnets

点击(此处)折叠或打开

etcdctl --endpoints=https://10.116.137.196:2379,https://10.116.82.28:2379,https://10.116.36.57:2379 --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem get /kube-centos/network/subnets/10.1.46.0-24

因为采用的是阿里云ECS服务器，这里的PublicIP设置的是ECS的公网IP（

etcdctl set /flannel/network/subnets/10.1.46.0-24 '{ ＂PublicIP＂: ＂120.25.220.176＂ }'

）

四：flannel启动过程解析

flannel服务需要先于docker启动。flannel服务启动时主要做了以下几步的工作：

从etcd中获取network的配置信息划分subnet，并在etcd中进行注册将子网信息记录到/run/flannel/subnet.env中

cat /run/flannel/subnet.env

之后将会有一个脚本将subnet.env转写成一个docker的环境变量文件/run/flannel/docker

cat /run/flannel/docker

systemctl show docker将会发现在安装flannel后自动生成配置

DropInPaths=/usr/lib/systemd/system/docker.service.d/flannel.conf

并引用

/run/flannel/docker

五： docker 配置

service文件， /usr/lib/systemd/system/docker.service

点击(此处)折叠或打开

六：验证
节点node1,node2上各启动一个容器，验证能否相互ping通

docker run -i -t centos /bin/bash

 
yum install net-tools -y
ifconfig
ping ip

ITPub博客

kubernetes实践之四：Flannel网络插件安装