本系列文章由余凯执笔创作，联合作者：阿里云容器服务 谢石 对本文亦有贡献

## 前言

近几年，企业基础设施云原生化的趋势越来越强烈，从最开始的 IaaS 化到现在的微服务化，客户的颗粒度精细化和可观测性的需求更加强烈。容器网络为了满足客户更高性能和更高的密度，也一直在高速的发展和演进中，这必然对客户对云原生网络的可观测性带来了极高的门槛和挑战。为了提高云原生网络的可观测性，同时便于客户和前后线同学增加对业务链路的可读性，ACK 产研和 AES 联合共建，合作开发 ack net-exporter 和云原生网络数据面可观测性系列，帮助客户和前后线同学了解云原生网络架构体系，简化对云原生网络的可观测性的门槛，优化客户运维和售后同学处理疑难问题的体验 ，提高云原生网络的链路的稳定性。

鸟瞰容器网络，整个容器网络可以分为三个部分：Pod 网段，Service 网段和Node 网段。这三个网络要实现互联互通和访问控制，那么实现的技术原理是什么？整个链路又是什么，限制又是什么呢？Flannel， Terway 有啥区别？不同模式下网络性能如何？这些，需要客户在下搭建容器之前，就要依据自己的业务场景进行选择，而搭建完毕后，相关的架构又是无法转变，所以客户需要对每种架构特点要有充分了解。比如下图是个简图，Pod 网络既要实现同一个 ECS 的 Pod 间的网络互通和控制，又要实现不同 ECS Pod 间的访问， Pod 访问 SVC 的后端可能在同一个ECS 也可能是其他 ECS，这些在不同模式下，数据链转发模式是不同的，从业务侧表现结果也是不一样的。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/df3ec210f6374c2fb3b903156e9d6340~tplv-k3u1fbpfcp-zoom-1.image "1.png")

本文是[全景剖析容器网络数据链路]第三部分，主要介绍 Kubernetes Terway ENIIP 模式下，数据面链路的转转发链路，一是通过了解不同场景下的数据面转发链路，从而探知客户在不同的场景下访问结果表现的原因，帮助客户进一步优化业务架构；另一方面，通过深入了解转发链路，从而在遇到容器网络抖动时候，客户运维以及阿里云同学可以知道在哪些链路点进行部署观测手动，从而进一步定界问题方向和原因。

系列一：

[全景剖析阿里云容器网络数据链路（一）—— Flannel](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247548965&idx=2&sn=5aa3136e0284c711a6d248b962451425&chksm=fae60beacd9182fc5a68155828b0bfeea5b5e6a11d37498135518b57eeea52a2af48518647d9&scene=21#wechat_redirect)

系列二：

[全景剖析阿里云容器网络数据链路（二）—— Terway ENI](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247549033&idx=2&sn=200568b3a96d7a7a1472ca6e10ba5430&chksm=fae60ba6cd9182b06398c7bc0b077b03de51565c8f0328963e75edf8110a8057e7d4698a7fd9&scene=21#wechat_redirect)

系列四：

全景剖析阿里云容器网络数据链路（四）—— Terway IPVLAN+EBPF

系列五：

全景剖析阿里云容器网络数据链路（五）—— Terway ENI-Trunking

系列六：

全景剖析阿里云容器网络数据链路（六）—— ASM Istio

## Terway ENIIP模式架构设计

弹性网卡 (ENI) 支持配置多个辅助 IP 的功能，单个弹性网卡 (ENI) 根据实例规格可以分配 6-20 个辅助 IP，ENI 多 IP 模式就是利用了这个辅助 IP 分配给容器，从而大幅提高了 Pod 部署的规模和密度。

在网络联通的方式上，Terway 支持选择 Veth pair 策略路由和ipvlan l两种方案，Terway 主要考虑了这些：

1. 在节点上如何把弹性网卡 (ENI) 的辅助 IP 的流量都走对应的弹性网卡出去，并使用弹性网卡本身的 mac 地址而不被丢包

2.如何兼容容器服务目前广泛的 Centos 7.x 的 3.10 的版本的内核

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8801916674af4bc0bcb0171f3fb4f63e~tplv-k3u1fbpfcp-zoom-1.image "2.png")

Pod 所使用的的 CIDR 网段和节点的 CIDR 是同一个网段

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1c0a92f5e2054cbd82328a7f2a96d9b3~tplv-k3u1fbpfcp-zoom-1.image "3.png")

Pod 内部可以看到是有一张网卡的，一个是 eth0，其中 eth0 的 IP 就是 Pod 的 IP，此网卡的 MAC 地址和控制台上的 ENI 的 MAC 地址不一致，同时 ECS 上有多张 ethx 的网卡，说明 ENI 附属网卡并不是直接挂在到了 Pod 的网络命名空间

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/cab74cc542b7415b90b03b0c4f3f9278~tplv-k3u1fbpfcp-zoom-1.image "4.png")

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b03786a0db4349658e78a70e60b11d7d~tplv-k3u1fbpfcp-zoom-1.image "5.png")

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1156a4e757c24b4a8eba64fe774b4862~tplv-k3u1fbpfcp-zoom-1.image "6.png")

Pod 内有只有指向 eth0 的默认路由，说明 Pod 访问任何地址段都是从 eth0 为统一的出入口

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/36ab99d9e69a4d8dae8626f36af04efd~tplv-k3u1fbpfcp-zoom-1.image "7.png")

如上图所示，我们可以容器的网络命名空间中通过 ip addr 看到一个 eth0@if63 的标志位，其中 ‘63' 这个将会协助我们在 ECS 的 OS 内找到找到和容器网络命名空间中的veth pair 相对一个。在 ECS OS 内我们通过 ip addr | grep 63: 可以找到 cali44ae9fbceeb 这个虚拟网卡，这个就是 veth pair 在 ECS OS 侧相对的那一个。

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/153347f08a9a4a8086f9026b920c5b10~tplv-k3u1fbpfcp-zoom-1.image "8.png")

ECS OS 内对于数据流量是怎么判断去哪个容器呢？通过 OS Linux Routing 我们可以看到，所有目的是 Pod  IP 的流量都会被转发到 Pod 对应的 calico 虚拟往卡上，到这里为止，ECS OS 和 Pod 的网络命名空间已经建立好完整的出入链路配置了。

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f98d1b10f6144a22adbb7825dbd10c25~tplv-k3u1fbpfcp-zoom-1.image "9.png")

在 veth pair 中实现了多个 Pod 共享一个 ENI 的方式来提升了 ECS 的 Pod 部署密度，那么如何知道 Pod 是被分配到哪个 ENI 呢？Terway Pod 是通过 daemonset 的方式部署在每个节点上的，通过下面命令可以看到每个节点上的 Terway Pod。通过 terway-cli show factory 命令可以看到节点上的附属 ENI 数量、MAC 地址以及每个 ENI 上的 IP

![10.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0c311bfb12284f12b547eeaed7950eeb~tplv-k3u1fbpfcp-zoom-1.image "10.png")
![11.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9544c25005f941c28c9bb80f7dd9e205~tplv-k3u1fbpfcp-zoom-1.image "11.png")

故 Terway ENIIP 模式总体可以归纳为：

-   在网络联通的方式上，采用选择 Veth pair 策略路由

-   一对 veth pair 来联通宿主机和 pod 的网络空间，pod 的地址是来源于弹性网卡的辅助 IP 地址，并且节点上需要配置策略路由来保证辅助 IP 的流量经过它所属的弹性网卡。

-   同主机上的容器通信直接通过主机上的路由到同一个主机上别的容器对应的 veth 上

-   不同主机的容器通信经过 VPC 的网络进行转发到对应的机器上，再通过机器上的路由转发到容器中

-   容器和其所在的宿主机之间的通信直接通过连接到宿主机 namespace 的veth pair 和路由打通

-   容器到其他主机通过 VPC 的网络转发到对应的机器，其他主机到容器通过 VPC 网络转发到对应的弹性网卡，然后通过路由转发到容器的 Veth 上

-   容器到专线和共享服务也都是通过 VPC 的网络转发

-   容器到公网的访问经过 VSwitch 配置的 SNAT 网关直接将源 IP 转换成 EIP 的地址到外部网络

-   弹性网卡 (ENI) 支持配置多个辅助 IP 的功能，单个弹性网卡 (ENI) 根据实例规格可以分配 6-20 个辅助 IP，ENI 多 IP 模式就是利用了这个辅助 IP 分配给容器，从而大幅提高了 Pod 部署的规模和密度。

## Terway ENIIP 模式容器网络数据链路剖析

针对容器网络特点，我们可以将 Terway ENI 模式下的网络链路大体分为以 Pod IP 对外提供服务和以 SVC 对外提供服务两个大的 SOP 场景，进一步细分，可以归纳为 7 个不同的小的 SOP 场景。

![12.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bee851f46c1a40cb8d8a8382b6998133~tplv-k3u1fbpfcp-zoom-1.image "12.png")

对这 8 个场景的数据链路梳理合并，这些场景可以归纳为下面 8 类典型的场景：

TerwayENI 架构下，不同的数据链路访问情况下，可以总结归纳为为 8 类：

-   访问 Pod IP， 同节点访问 Pod

-   访问 Pod IP/SVC IP(Cluster or Local)，同节点 pod 间互访（pod 属于同or不同ENI）

-   访问 PodIP ，异节点 pod 间互访

-   集群内非 SVC 后端 pod 所在节点访问 SVC ClusterIP

-   Cluster 模式，集群内非 SVC 后端 pod 所在节点访问 SVC External IP

-   Local 模式，集群内非 SVC 后端 pod 所在节点访问 SVC External IP

-   集群外访问 SVC External IP

### 场景一：访问 Pod IP，同节点访问 pod

#### 环境

![13.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7e1df487371b4efdac2ddbe9034a5978~tplv-k3u1fbpfcp-zoom-1.image "13.png")

cn-hongkong.10.0.1.82  节点上存在 nginx-7d6877d777-zp5jg 和 10.0.1.104

#### 内核路由

nginx-7d6877d777-zp5jg IP地址 10.0.1.104  ，该容器在宿主机表现的 PID 是1094736，该容器网络命名空间有指向容器 eth0 的默认路由

![14.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/85d82b83dc784bfca9c7dd28e5f3dcb1~tplv-k3u1fbpfcp-zoom-1.image "14.png")
![15.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/767a677858d94458a9b1d4b45b9aee10~tplv-k3u1fbpfcp-zoom-1.image "15.png")

该容器 eth0 在 ECS OS 内对应 veth pair 是 calif03b26f9a43

![16.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0f6240cb20b74aacb03de4ba404df16b~tplv-k3u1fbpfcp-zoom-1.image "16.png")

在 ECS OS 内，有指向 Pod IP，下一跳为 calixxxx 的路由，通过前文可以知道 calixxx 网卡是和每个 pod 内的 veth1 组成的 pair，所以，pod 内访问 SVC 的 CIDR 会有指向 veth1 的路由，不会走默认的 eth0 路由。

故：calixx 网卡在这里的主要作用是用于：

1. 节点访问 Pod

2. 当节点或者 Pod 访问 SVC 的 CIDR 时，会走 ECS OS 内核协议栈转换，走到 calixxx 和 veth1 访问 pod。

![17.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ba9297d0757e4cd6a5ff9f56de7f228c~tplv-k3u1fbpfcp-zoom-1.image "17.png")

#### 小结：可以访问到目的端

nginx-7d6877d777-zp5jg   netns  eth0   可以抓到数据包

![18.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3754248df5584458b006f1e746ef4c8c~tplv-k3u1fbpfcp-zoom-1.image "18.png")

nginx-7d6877d777-zp5jg    calif03b26f9a43  可以抓到数据包

![19.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7eac0976bdfd43edbabac03640bf6a32~tplv-k3u1fbpfcp-zoom-1.image "19.png")
![20.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ab32a0310f864c46a2648ef9f67859da~tplv-k3u1fbpfcp-zoom-1.image "20.png")

数据链路转发示意图

-   会经过 calicao 网卡，每个非 hostnetwork 的 pod 会和 calicao 网卡形成 veth pair，用于和其他 pod 或 node 进行通信

-   整个链路不会和请求不会经过 pod 所分配的 ENI，直接在 OS 的 ns 中命中 Ip rule 被转发

-   整个请求链路是 OS -> calixxxxx -> ECS Pod net eth0

-   整个链路会经过两次内核协议栈：ECS OS 和 Pod

-   数据链路要经过两次内核协议栈，是 Pod1 协议栈、ECS1 协议栈

### 场景二：访问 Pod IP/SVC IP(Cluster or Local)，同节点 pod 访问 pod（pod属于同or不同ENI）

#### 环境

![21.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d7fee0aa7cdf4fbc999f1eeef02d8e5e~tplv-k3u1fbpfcp-zoom-1.image "21.png")![22.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/afc24017893f40e086fa9ac71c68c48c~tplv-k3u1fbpfcp-zoom-1.image "22.png")

cn-hongkong.10.0.1.82  节点上存在 nginx-7d6877d777-zp5jg 和 10.0.1.104

cn-hongkong.10.0.1.82  节点上存在 centos-67756b6dc8-h5wnp 和 10.0.1.91

Service 是 nginx ， ClusterIP 是 192.168.2.115  ExternalIP 是 10.0.3.62

#### 内核路由

nginx-7d6877d777-zp5jg IP地址 10.0.1.104  ，该容器在宿主机表现的 PID 是1094736，该容器网络命名空间有指向容器 eth0 的默认路由

![23.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0293bec38dd443d1ab56f969654ac345~tplv-k3u1fbpfcp-zoom-1.image "23.png")
![24.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b7bdfd03df484d159609adbdd0a4b021~tplv-k3u1fbpfcp-zoom-1.image "24.png")

该容器 eth0 在 ECS OS 内对应 veth pair 是 calif03b26f9a43

![25.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/66db680ff930499889c6b4c37f713536~tplv-k3u1fbpfcp-zoom-1.image "25.png")

用上述类似办法可以发现 centos-67756b6dc8-h5wnp 的 veth pair的 cali44ae9fbceeb，Pod 网络空间只有默认路由。

![26.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f5df07a7e98247e3ba8ba04ce1cc4680~tplv-k3u1fbpfcp-zoom-1.image "26.png")
![27.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f416d58665954883bf1cef1ce407e0b8~tplv-k3u1fbpfcp-zoom-1.image "27.png")

在 ECS OS 内，有指向 Pod IP，下一跳为 calixxxx 的路由，通过前文可以知道 calixxx 网卡是和每个 pod 内的 veth1 组成的 pair，所以，pod 内访问 SVC 的 CIDR 会有指向 veth1 的路由，不会走默认的 eth0 路由。

故：calixx 网卡在这里的主要作用是用于：

1. 节点访问 Pod

2. 当节点或者 Pod 访问 SVC 的 CIDR 时，会走 ECS OS 内核协议栈转换，走到 calixxx和 eth0 访问 pod。

![28.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/95b907c2e8104a4cac245432ae391bed~tplv-k3u1fbpfcp-zoom-1.image "28.png")

说明相关的路由转发是在 ECS OS 层面进行的，Pod 的 calixx 网卡起到了一个桥梁和连通的作用。

#### 源端 ECS 上的 IPVS 规则（如果访问的是 SVC IP）

如果同节点上访问的是 SVC 的IP（ClusterIP or ExternalIP）,在节点上我们查看 SVC 的相关 IPVS 转发规则：

#### **Service 的 ExternalTrafficPolicy 是 Local**

SVC nginx CLusterIP是 192.168.2.115， ExternalIP是10.0.3.62， 后端是10.0.1.104 和10.0.3.58

![29.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1a392704162c4c9f92f6f37fad9c14f9~tplv-k3u1fbpfcp-zoom-1.image "29.png")

cn-hongkong.10.0.1.82

对于 SVC 的 ClusterIP，可以看到 SVC 的后端两个 Pod 都会被加到 IPVS 的转发规则

![30.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/da5e43351ba3432eab251f46a6e30624~tplv-k3u1fbpfcp-zoom-1.image "30.png")

对于 SVC 的 ExternalIP，可以看到 SVC 的后端，只有该节点的后端 Pod 10.0.1.104才会被加到 IPVS 的转发规则

![31.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6a9f9201372d452e9a89d9dd415032d3~tplv-k3u1fbpfcp-zoom-1.image "31.png")

在 LoadBalancer 的 SVC 模式下，如果 ExternalTrafficPolicy 为 Local，对于 ClusterIP 来说，会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则；对于 ExternalIP，只会把该节点上的 SVC 后端 Pod 才会加到 IPVS 规则中。如果该节点没有 SVC 后端 Pod，则该节点上的 Pod 访问 SVC 的 ExternalIP 将会是失败。

#### **Service 的 ExternalTrafficPolicy 是 Cluster**

SVC nginx1 CLusterIP 是 192.168.2.253， ExternalIP 是10.0.3.63， 后端是10.0.1.104 和10.0.3.58

![32.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d3e4c587df76485d999506005b7b7051~tplv-k3u1fbpfcp-zoom-1.image "32.png")

cn-hongkong.10.0.1.82

对于 SVC 的 ClusterIP，可以看到 SVC 的后端两个 Pod 都会被加到 IPVS 的转发规则

![33.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0532e9cda93a486caabe228a46a15e25~tplv-k3u1fbpfcp-zoom-1.image "33.png")

对于 SVC 的 ExternalIP，可以看到 SVC 的后端两个 Pod 都会被加到 IPVS 的转发规则

![34.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/43ba4223cb844647aa9fd4396d7369dd~tplv-k3u1fbpfcp-zoom-1.image "34.png")

在 LoadBalancer 的 SVC 模式下，如果 ExternalTrafficPolicy 为 Cluster，对于 ClusterIP 或 ExternalIP 来说，会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则。

#### 小结：可以访问到目的端

Conntrack 表信息

**Service nginx 的 ExternalTrafficPolicy 是 Local**

SVC nginx CLusterIP 是 192.168.2.115， ExternalIP 是10.0.3.62， 后端是 10.0.1.104  和 10.0.3.58

1.如果访问的是 SVC 的 ClusterIP，通过 conntrack 信息，可以看到 src 是源端 Pod 10.0.1.91 ，dst 是 SVC ClusterIP 192.168.2.115，dport 是 SVC 中的 port。并且期望是10.0.1.104 来回包给  10.0.1.91  。

![35.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/79d54cc097304d1cb387a42301e7c784~tplv-k3u1fbpfcp-zoom-1.image "35.png")

2.如果访问的是 SVC 的 ExternalIP，通过 conntrack 信息，可以看到 src 是源端 Pod 10.0.1.91 ，dst 是 SVC ExternalIP 10.0.3.62 ，dport 是 SVC 中的 port。并且期望是10.0.1.104 来回包给  10.0.1.91  。

![36.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5ddf39b2175d4e508c3366845941d0f3~tplv-k3u1fbpfcp-zoom-1.image "36.png")

**Service nginx1 的 ExternalTrafficPolicy 是 Cluster**

SVC nginx1 CLusterIP 是 192.168.2.253， ExternalIP 是10.0.3.63， 后端是 10.0.1.104 和 10.0.3.58

1.如果访问的是 SVC 的 ClusterIP，通过 conntrack 信息，可以看到 src 是源端 Pod 10.0.1.91 ，dst 是 SVC ClusterIP 192.168.2.253 ，dport 是 SVC 中的 port。并且期望是 10.0.1.104 来回包给  10.0.1.91  。

![37.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1582937e4e264a58a259378c9216b73e~tplv-k3u1fbpfcp-zoom-1.image "37.png")

2.如果访问的是 SVC 的 ExternalIP，通过 conntrack 信息，可以看到 src 是源端 Pod 10.0.1.91 ，dst 是 SVC ExternalIP 10.0.3.63 ，dport 是 SVC 中的 port。并且期望是节点 ECS 的 IP 10.0.1.82  来回包给  10.0.1.91  。

![38.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c90dc2788a0b4740af8b54733d88f958~tplv-k3u1fbpfcp-zoom-1.image "38.png")

综上可以看到 src 变换了多次，故在 Cluster 模式下，会存在丢失真实客户端IP的情况

![39.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6fb45d80b7e547bcb819719363069708~tplv-k3u1fbpfcp-zoom-1.image "39.png")

数据链路转发示意图

-   会经过 calicao 网卡，每个非 hostnetwork 的 pod 会和 calicao 网卡形成 veth pair，用于和其他 pod 或 node 进行通信

-   整个链路不会和请求不会经过 pod 所分配的 ENI，直接在 OS 的 ns 中命中 Ip rule 被转发

-   整个请求链路是 ECS1 Pod1 eth0 -> Pod1 calixxxx -> Pod2 calixxxx -> ECS1 Pod2 eth0

-   访问 SVC IP， SVC 会在源端 pod eth0 和 calixxx 网卡捕捉到，在目的端 pod 的 eth0 和 calixxx 时捕捉不到

-   在 LoadBalancer 的 SVC 模式下，如果 ExternalTrafficPolicy 为 Local，对于 ClusterIP 来说，会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则；对于 ExternalIP，只会把该节点上的 SVC 后端 Pod 才会加到 IPVS 规则中。

-   在 LoadBalancer 的 SVC 模式下，如果 ExternalTrafficPolicy 为 Cluster，对于 ClusterIP 或 ExternalIP 来说，会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则，同时无法保留 src 地址。

-   数据链路要经过三次内核协议栈，是 Pod1 协议栈、ECS1 协议栈、Pod2 协议栈

### 场景三：访问 PodIP ，异节点 pod 间互访

#### 环境

![40.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f50135b8248341449f33d01b0698563b~tplv-k3u1fbpfcp-zoom-1.image "40.png")

cn-hongkong.10.0.1.82  节点上存在 centos-67756b6dc8-h5wnp 和 10.0.1.91

cn-hongkong.10.0.3.49  节点上存在 nginx-7d6877d777-lwrfc 和 10.0.3.58

#### 内核路由

centos-67756b6dc8-h5wnp  IP地址 10.0.1.104  ，该容器在宿主机表现的 PID 是2211426，该容器网络命名空间有指向容器 eth0 的默认路由

用上述类似办法可以发现 centos-67756b6dc8-h5wnp 的veth pair的 cali44ae9fbceeb，Pod 网络空间只有默认路由。

![41.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0604db36c3ed42248a73adc7b415c7eb~tplv-k3u1fbpfcp-zoom-1.image "41.png")
![42.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7b15d7b364e44ed888a15c1cd7bd935a~tplv-k3u1fbpfcp-zoom-1.image "42.png")

在 ECS OS 内，有指向 Pod IP，下一跳为 calixxxx 的路由，通过前文可以知道 calixxx 网卡是和每个 pod 内的 veth1 组成的 pair，所以，pod 内访问 SVC 的 CIDR 会有指向 veth1 的路由，不会走默认的 eth0 路由。

故：calixx 网卡在这里的主要作用是用于：

1. 节点访问 Pod

2. 当节点或者 Pod 访问 SVC 的 CIDR 时，会走 ECS OS 内核协议栈转换，走到 calixxx和 eth0 访问 pod,对于目的为外部地址，则走 Pod 所属的 ENI 出 ECS 进入到了 VPC。

![43.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/96973a8fe945407581c3c42bc1e03593~tplv-k3u1fbpfcp-zoom-1.image "43.png")

#### 小结：可以访问到目的端

![44.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9217afb378444ba7a202b5702e3017d2~tplv-k3u1fbpfcp-zoom-1.image "44.png")

数据链路转发示意图

-   会经过 calicao 网卡，每个非 hostnetwork 的 pod 会和 calicao 网卡形成 veth pair，用于和其他 pod 或 node 进行通信

-   整个链路请求会经过 pod 所分配的 ENI，直接在 OS 的 ns中命中 Ip rule 被转发；

-   出 ECS 后，根据要访问的 pod 和该 pod ENI 所属 vswitch，命中 VPC 路由规则或者直接 VSW 上的二层转发；

-   整个请求链路是 ECS1 Pod1 eth0-> ECS1 Pod1 calixxxxx-> ECS1 ethx -> vpc route rule(如有) -> ECS2 ethx ->  ECS2 Pod2 calixxxxx  -> ECS2 Pod2 eth0

-   数据链路要经过四次内核协议栈，Pod1 协议栈、ECS1 协议栈、Pod2 协议栈、ECS2 协议栈

### 场景四：群内非 SVC 后端 pod 所在节点访问 SVC ClusterIP

#### 环境

![45.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d5b08edbf96f4663a6ff03c5f11785d9~tplv-k3u1fbpfcp-zoom-1.image "45.png")
![46.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/62de2861e7f442f5b68087f29fff8ec2~tplv-k3u1fbpfcp-zoom-1.image "46.png")
![47.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0287cf32b13c4de391e71d572bd6c73a~tplv-k3u1fbpfcp-zoom-1.image "47.png")

cn-hongkong.10.0.3.49  节点上存在 nginx-7d6877d777-h4jtf 和 10.0.3.58cn-hongkong.10.0.1.82  节点上存在 centos-67756b6dc8-h5wnp 和 10.0.1.91Service1 是 nginx ， ClusterIP 是 192.168.2.115  ExternalIP 是 10.0.3.62

Service2 是 ngin1 ， ClusterIP 是 192.168.2.253  ExternalIP 是 10.0.3.63

#### 内核路由

内核路由部分已经在场景二和场景三小结中详细说明，这里不再进行过多阐述

源端 ECS 上的的 IPVS 规则

根据场景二小结中的源端 ECS 上的 IPVS 规则， 我们可以得到：无论在哪种 SVC 模式下，对于 ClusterIP 来说，会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则

#### 小结：可以访问到目的端

Conntrack 表信息

**Service nginx 的 ExternalTrafficPolicy 是 Local**

SVC nginx CLusterIP 是 192.168.2.115， ExternalIP 是 10.0.3.62， 后端是 10.0.1.104 和 10.0.3.58

cn-hongkong.10.0.1.82

![48.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/dcc4950ea19b46ac80a9a75e17c9dd7d~tplv-k3u1fbpfcp-zoom-1.image "48.png")

源端 ECS 上 src 是源端 Pod 10.0.1.91 ，dst 是 SVC ClusterIP 192.168.2.115，dport 是 SVC 中的 port。并且期望是 10.0.3.58 来回包给  10.0.1.91 。

cn-hongkong.10.0.3.49

![49.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/97c562a7efb84f009eeb545949e75353~tplv-k3u1fbpfcp-zoom-1.image "49.png")

目的端 ECS 上 src 是源端 Pod 10.0.1.91 ，dst 是 pod 的 IP 10.0.3.58，dport 是 pod 的 port。并且期望此 pod 来回包给 10.0.1.91 。

**Service nginx1 的 ExternalTrafficPolicy 是 Cluster**

SVC nginx1 CLusterIP 是 192.168.2.253， ExternalIP 是 10.0.3.63， 后端是 10.0.1.104 和 10.0.3.58

cn-hongkong.10.0.1.82

![50.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/23aac278400849b08d694e757f813b71~tplv-k3u1fbpfcp-zoom-1.image "50.png")

源端 ECS 上 src 是源端 Pod 10.0.1.91 ，dst 是 SVC ClusterIP 192.168.2.115，dport 是 SVC 中的 port。并且期望是 10.0.3.58 来回包给  10.0.1.91 。

cn-hongkong.10.0.3.49

![51.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8539283558204e8bb019ddd5a24eeb5f~tplv-k3u1fbpfcp-zoom-1.image "51.png")

目的端 ECS 上 src 是源端 Pod 10.0.1.91 ，dst 是 pod 的 IP 10.0.3.58，dport 是 pod的 port。并且期望此 pod 来回包给 10.0.1.91 。

对于 ClusterIP 来说，源端 ECS 会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则，目的端 ECS 是捕获不到任何 SVC ClusterIP 信息的，只能捕获到源端 Pod 的 IP，所以回包的时候会回到源端 Pod 的附属网卡上。

![52.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9347656cc257454dbc86a1b27dbf782d~tplv-k3u1fbpfcp-zoom-1.image "52.png")

数据链路转发示意图

-   会经过 calicao 网卡，每个非 hostnetwork 的 pod 会和 calicao 网卡形成 veth pair，用于和其他 pod 或 node 进行通信

-   整个链路请求会经过 pod 所分配的 ENI，直接在 OS 的 ns 中命中 Ip rule 被转发；

-   出 ECS 后，根据要访问的 pod 和该 pod ENI 所属 vswitch，命中 VPC 路由规则或者直接 VSW 上的二层转发；

-   整个请求链路是

**去方向**：

ECS1 Pod1 eth0  -> ECS1 Pod1 calixxxxxx -> ECS1 主网卡 eth0  -> vpc route rule(如有) -> ECS2 附属网卡ethx -> ECS2  Pod2 calixxxxx -> ECS2 Pod2 eth0

**回方向**：

ECS2 Pod2 eth0  -> ECS2  Pod2 calixxxxx ->  ECS2 附属网卡ethx -> vpc route rule(如有) ->  ECS1 附属网卡 eth1  -> ECS1 Pod1 calixxxxxx  -> ECS1 Pod1 eth0

-   对于 ClusterIP 来说，源端 ECS 会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则，目的端 ECS 是捕获不到任何 SVC ClusterIP 信息的，只能捕获到源端 Pod 的 IP，所以回包的时候会回到源端 Pod 的附属网卡上。

-   数据链路要经过四次内核协议栈，Pod1 协议栈、ECS1 协议栈、Pod2 协议栈、ECS2 协议栈

### 场景五：Cluster 模式，集群内非 SVC 后端 pod 所在节点访问 SVC External IP

#### 环境

![53.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e531c6d393ca42c1965e69a9f2b8504c~tplv-k3u1fbpfcp-zoom-1.image "53.png")
![54.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/82a7e654f6804ab6821498b39e7bf1bc~tplv-k3u1fbpfcp-zoom-1.image "54.png")

cn-hongkong.10.0.3.49  节点上存在 nginx-7d6877d777-h4jtf 和 10.0.3.58cn-hongkong.10.0.1.82  节点上存在 centos-67756b6dc8-h5wnp 和 10.0.1.91

Service2 是 ngin1 ， ClusterIP 是 192.168.2.253  ExternalIP 是 10.0.3.63

#### 内核路由

内核路由部分已经在场景二和场景三小结中详细说明，这里不再进行过多阐述

源端 ECS 上的的 IPVS 规则

根据场景二小结中的源端 ECS 上的 IPVS 规则， 我们可以得到：ExternalTrafficPolicy 为 Cluster 模式下，对于 ExternalIP 来说，会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则

#### 小结：可以访问到目的端

Conntrack 表信息

**Service nginx1 的 ExternalTrafficPolicy 是 Cluster**

SVC nginx1 CLusterIP是 192.168.2.253， ExternalIP 是10.0.3.63， 后端是 10.0.1.104 和 10.0.3.58

cn-hongkong.10.0.1.82

![55.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/aa68bcc80d7d40d7a155111ef482d794~tplv-k3u1fbpfcp-zoom-1.image "55.png")

源端 ECS 上 src 是源端 Pod 10.0.1.91 ，dst 是 SVC ExternalIP 10.0.3.63，dport 是 SVC 中的 port。并且期望是 10.0.3.58 来回包给源端 ECS 的地址 10.0.1.82。

cn-hongkong.10.0.3.49

![56.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0b1f42201c8048d3b14edc76df9e40c9~tplv-k3u1fbpfcp-zoom-1.image "56.png")

目的端 ECS 上 src 是源端 Pod 所在的 ECS 地址 10.0.1.82 ，dst 是 pod 的 IP  10.0.3.58，dport 是 pod 的 port。并且期望此 pod 来回包给源端 ECS 的地址10.0.1.82。

在 ExternalTrafficPolicy 为 Cluster 下，对于 ExternalIP 来说，源端 ECS 会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则，目的端 ECS 是捕获不到任何 SVC  ExternalIP 信息的，只能捕获到源端 Pod 所在的 ECS 的 IP，所以回包的时候会回到源端 Pod 所在的 ECS 的主网卡上，这一点明显和场景四小结中访问 CusterIP 有很明显区别 。

![57.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ab7cb2bd223c4f989d12881d886cfb37~tplv-k3u1fbpfcp-zoom-1.image "57.png")

数据链路转发示意图

-   会经过 calicao 网卡，每个非 hostnetwork 的 pod 会和 calicao 网卡形成 veth pair，用于和其他 pod 或 node 进行通信

-   整个链路请求会经过 pod 所分配的 ENI，直接在 OS 的 ns 中命中 Ip rule 被转发；

-   出 ECS 后，根据要访问的 pod 和该 pod ENI 所属 vswitch，命中 VPC 路由规则或者直接 VSW 上的二层转发；

-   整个请求链路是 ECS1 Pod1 eth0 -> ECS1 Pod1 calixxxx -> ECS1 主网卡ENI eth0 -> vpc route rule(如有) -> ECS2 附属网卡ethx  -> ECS2 Pod2 calixxx ->  ECS2 Pod2 eth0

-   在 ExternalTrafficPolicy 为 Cluster 下，对于 ExternalIP 来说，源端 ECS 会把所有 SVC 后端 Pod 都会加到该节点的 IPVS 转发规则，目的端 ECS 是捕获不到任何 SVC ExternalIP 信息的，只能捕获到源端 Pod 所在的 ECS 的 IP，所以回包的时候会回到源端 Pod 所在的 ECS 的主网卡 。

-   数据链路要经过四次内核协议栈，Pod1 协议栈、ECS1 协议栈、Pod2 协议栈、ECS2 协议栈

### 场景六：Local 模式，集群内非 SVC 后端 pod 所在节点访问 SVC External IP

#### 环境

![58.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d0ad355a5c304b5ba5eb5c44a0d4d4ec~tplv-k3u1fbpfcp-zoom-1.image "58.png")
![59.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/983852a67af24140be2dac90491a084c~tplv-k3u1fbpfcp-zoom-1.image "59.png")

cn-hongkong.10.0.3.49  节点上存在 nginx-7d6877d777-h4jtf 和 10.0.3.58

cn-hongkong.10.0.1.82  节点上存在 centos-67756b6dc8-h5wnp 和 10.0.1.91

Service1 是 nginx ， ClusterIP是 192.168.2.115  ExternalIP是 10.0.3.62

#### 内核路由

内核路由部分已经在场景二和场景三小结中详细说明，这里不再进行过多阐述

源端 ECS 上的的 IPVS 规则

**Service 的 ExternalTrafficPolicy 是 Local**

SVC nginx CLusterIP是 192.168.2.115， ExternalIP 是 10.0.3.62， 后端是 10.0.1.104 和 10.0.3.58

![60.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4d3d1835db8f48e0ae512a07958c12a0~tplv-k3u1fbpfcp-zoom-1.image "60.png")

cn-hongkong.10.0.1.82

对于 SVC 的 ExternalIP，可以看到 SVC 的后端，无任何转发规则

![61.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9e763953822d4a0eb41e184f493b1dc5~tplv-k3u1fbpfcp-zoom-1.image "61.png")

根据场景二小结中的源端 ECS 上的 IPVS 规则， 我们可以得到：ExternalTrafficPolicy 为 Local 模式下，对于 ExternalIP 来说，只会把本节点上的 SVC 的后端 Pod 加到节点上的 IPVS 转发规则，如果该节点没有 SVC 后端，则不会有任何可以转发的规则。

#### 小结：不可以访问到目的端

Conntrack 表信息

**Service 的 ExternalTrafficPolicy 是 Local**

SVC nginx1 CLusterIP 是 192.168.2.253， ExternalIP 是10.0.3.63， 后端是 10.0.1.104 和 10.0.3.58

cn-hongkong.10.0.1.82 无任何 conntrack 记录表生成

![62.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/360d4fe5706f4ca68fb85bdddbc3dac1~tplv-k3u1fbpfcp-zoom-1.image "62.png")
![63.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/66296f0321b44a25a9e5f368d27de419~tplv-k3u1fbpfcp-zoom-1.image "63.png")

数据链路转发示意图

-   会经过 calicao 网卡，每个非 hostnetwork 的 pod 会和 calicao 网卡形成 veth pair，用于和其他 pod 或 node 进行通信

-   整个链路请求不会经过 pod 所分配的 ENI，直接在 OS 的 ns 中命中 Ip rule 被转发；

-   整个请求链路是 ECS1 Pod1 eth0  -> ECS1 Pod1 calixxxx -> ECS host 空间 ipvs/iptables 规则，无后端转发 ep 终止链路。

-   ExternalTrafficPolicy 为 Local 模式下，对于 ExternalIP 来说，只会把本节点上的 SVC 的后端 Pod 加到节点上的 IPVS 转发规则，如果该节点没有 SVC 后端，则不会有任何可以转发的规则。

### 场景七：集群外访问 SVC External IP

#### 环境

![64.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/aacca22e5ed949d9a0591fa084ef544c~tplv-k3u1fbpfcp-zoom-1.image "64.png")![65.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/431087f0d72b4a33aaf5a4b69696ffb8~tplv-k3u1fbpfcp-zoom-1.image "65.png")

cn-hongkong.10.0.3.49  节点上存在 nginx-7d6877d777-h4jtf 和 10.0.3.58cn-hongkong.10.0.1.47  节点上存在 nginx-7d6877d777-kxwdb 和 10.0.1.29

Service1 是 nginx ， ClusterIP是 192.168.2.115  ExternalIP是 10.0.3.62

#### SLB 相关配置

在 SLB 控制台，可以看到 lb-j6cw3daxxukxln8xccive虚拟服务器组的后端服务器组是两个后端 nginx pod的 ENI eni-j6c4qxbpnkg5o7uog5kr 和 eni-j6c6r7m3849fodxdf5l7

![66.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f4e1e8067f8f44c9b21ee9c5573a1ea4~tplv-k3u1fbpfcp-zoom-1.image "66.png")

从集群外部角度看，SLB 的后端虚拟服务器组是 SVC 的后端 Pod 所属的两个 ENI 网卡，内网的 IP 地址就是 Pod 的地址

#### 小结：可以访问到目的端

![67.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b2c7969dc86b40769ae75e2a46c47d13~tplv-k3u1fbpfcp-zoom-1.image "67.png")

数据链路转发示意图

-   数据链路：client ->  SLB  -> Pod ENI + Pod Port  ->  ECS1 Pod1 eth0

-   数据链路要经过二次内核协议栈，Pod1 协议栈和 ECS 协议栈

## 总结

本篇文章主要聚焦 ACK 在 Terway ENIIP 模式下，不同 SOP 场景下的数据链路转发路径。伴随着客户对性能的极致追求的需求，在 Terway ENIIP 模式下，一共可以分为 7 个 SOP 场景，并对这七个场景的转发链路，技术实现原理，云产品配置等一一梳理并总结，这对我们遇到 Terway ENIIP 架构下的链路抖动、最优化配置，链路原理等提供了初步指引方向。在 Terway ENIIP 模式下，利用 veth pair 来联通宿主机和 pod 的网络空间，pod 的地址是来源于弹性网卡的辅助 IP 地址，并且节点上需要配置策略路由来保证辅助 IP 的流量经过它所属的弹性网卡，通过此种方式可以实现 ENI 多 Pod 共享，大大提升了 Pod 的部署密度，但是 veth pair 必然会利用 ECS 的内核协议栈进行转发，此架构下性能必然不如 ENI 模式，ACK 产研为了提升性能，结合内核的 ebpf 和 ipvlan 技术，开发了 Terway ebpf + ipvlan 架构。下一系列我们将进入到 Terway ENIIP 模式的全景解析——《ACK全景剖析阿里云容器网络数据链路（四）—— Terway IPVLAN+EBPF》。

点击[此处](https://www.aliyun.com/product/kubernetes?spm=5176.23056729.J_2110863300.1.3dcc3f064rK0Rg)查看阿里云容器服务

ITPub博客

全景剖析阿里云容器网络数据链路（三）：Terway ENIIP

最新文章