作者林育新，腾讯云容器产品工程师。目前主要负责腾讯云TKE的控制台的相关研发工作。

### 概述

在开源社区当中，Kubernetes 的 Ingress Controller 的实现有多种方式，Nginx Ingress 只是其中的一种实现方式，当然也是目前社区中使用量最大的一种 Ingress Controller 的实现方式，其不仅功能强大，而且性能极高。本文主要介绍如何使用腾讯云容器服务实现多种方式进行 Nginx Ingress 的部署，并会简单介绍各种方式的实现原理以及优缺点和适用场景。

### Nginx Ingress 是什么

Nginx Ingress 是 Kubernetes 的一种对象，通过`nginx-ingress-controller` 将用户声明的 `nginx-ingress` 转化成 nginx 的转发规则。其核心解决的问题是流量的转发和东西向的负载均衡。
主要的工作原理是`nginx-ingress-controller`监听`api-server`的变化（Kubernetes Informers），通过 watch Kubernetes 的 Ingress、Service、Endpoint、Secret、ConfigMap 等对象变化，更改 Nginx 实例的配置，进行流量转发。

![img](https://main.qcloudimg.com/raw/64b05ad1cc98509c7b906a80dd5ca1b2.png)

目前社区中，针对于 Nginx Ingress 主要有如下的两种实现方式

- [Kubernetes 开源社区的实现](https://github.com/kubernetes/ingress-nginx)
- [Nginx 官方的实现](https://github.com/nginxinc/kubernetes-ingress)

### 为什么需要 Nginx Ingress

开源社区当中，对 `Ingress Controller` 的实现方式有多种，每一种 Controller 都有其适用的场景以及各自的优缺点，为什么推荐使用 `nginx-ingress-controller`？下面我们来探讨一下，如果不使用 `nginx-ingress-controller` 会给业务带来什么困扰

这里以腾讯云容器服务控制台（以下简称 `TKE`）默认推荐的 `ingress controller` 为例子，存在如下的一些问题：

1. CLB 类型的 Ingress 能力无法满足现有业务的需求，如无法共享同一个外网入口，支持默认默认转发后端等
2. 原有业务已使用了 `nginx-inrgess`，并且运维已习惯于配置 `nginx.conf`，不希望做过多的改变

使用 `nginx-ingress-controller`，能够很好地解决以上的问题。

### 需要什么前提条件

#### 部署 nginx-ingress-operator

##### 组件部署安装

进入腾讯云容器服务控制台当中，选择需要部署 `Nginx Ingress` 的集群，进入集群-组件管理当中，部署安装 `Nginx Ingess` 组件，如下图：

![img](https://main.qcloudimg.com/raw/fa9d173c97de07124fa3d46c7fd14cb0.jpg)

##### 组件安装并且正常运行

![img](https://main.qcloudimg.com/raw/2ba6d87a61ea28a0ee9eee92bfc1d57d.jpg)

### 部署方案

TKE 提供了多种对于`nginx-ingress-controller`的部署方案以及接入 LB 的方式，适配不同的业务场景需求，以下会对不同的方案进行介绍。

#### nginx-ingress-controller 部署方案

##### 方案一： DaemonSet + 节点池

![img](https://main.qcloudimg.com/raw/217e17c24988adbd643cec9b7af2a56c.png)

Nginx 作为关键的流量接入网关，是至关重要的组件，不建议将 Nginx 与其他业务部署在相同的节点内，可以通过节点池设置污点的方式，进行部署。关于节点池的相关说明，可以查看[**腾讯云容器服务节点池概述**](https://cloud.tencent.com/document/product/457/43719)。

![img](https://main.qcloudimg.com/raw/7e7474b653fde408ad82779ebcbe4c88.png)

使用此部署方案，应该注意如下几个事项：

- 提前准备好部署 `nginx-ingress-controller` 的节点池，同时设置节点池的污点 `Taint` 和 `Label`，防止其他 Pod 调度到该节点池。

- 确保已成功部署安装好 `nginx-ingress-operator` 组件，部署方式参考上方指引

- 进入组件详情，创建

```
  nginx-ingress-controller
  ```

实例（单一集群内可同时存在多个实例）

- 部署方式选择 `指定节点池DaemonSet部署`
  - 设置容忍污点
  - 设置 Request/Limit，其中 Request 需设置比节点池的机型配置小（节点本身有资源预留，避免实例因资源不足而不可用），Limit 可不设置
  - 其他参数根据业务需要进行设置即可

##### 方案二：Deployment + HPA

![img](https://main.qcloudimg.com/raw/5147b2ffbbf056bb1ef468780a3c4669.png)

使用 Deployment + HPA 的方案进行部署，您可以根据业务需要配置污点和容忍，将 Nginx 和业务 Pod 进行分散部署。搭配 HPA，设置 CPU/内存等指标进行弹性伸缩。

![img](https://main.qcloudimg.com/raw/1a116084438c010e471fddf3868903e7.png)

使用此部署方案，应该注意如下几个事项：

- 在集群中设置即将部署 `nginx-ingress-controller` 的节点的 Label

- 确保已成功部署安装好 `nginx-ingress-operator` 组件，部署方式参考上方指引。

- 进入组件详情，创建

```
  nginx-ingress-controller
  ```

实例（单一集群内可同时存在多个实例）

- 部署方式选择 `自定义Deployment+HPA部署`
  - 设置 HPA 触发策略
  - 设置 Request/Limit
  - 设置节点调度策略，推荐 `nginx-ingress-controller` 独占节点，避免其他业务资源侵占而导致不可用
  - 其他参数根据业务需要进行设置即可

#### Nginx 前端接入 LB 的部署方式

上文介绍了在 TKE 的集群当中部署 `nginx-ingress-operator` 和 `nginx-ingress-controller` 的使用流程和部署方案建议，完成以上步骤，仅仅是在集群内部署了 Nginx 的相关组件，但要接收外部的流量，还需要配置，还需要配置 nginx 的前端 LB。当前 TKE 已完成对 Nginx Ingress 的产品化支持，可以根据业务需要选择以下部署模式之一。

##### 方案一：VPC-CNI 模式集群使用 CLB 直通 Nginx 的 Service（推荐）

> 前置条件（满足其一即可）：
>
> 1. 集群自身网络插件为 `VPC-CNI`
> 2. 集群自身网络插件为 `Global Router`，并已开启 `VPC-CNI` 的支持（两种模式混用）

我们以节点池部署的负载示例
![img](https://main.qcloudimg.com/raw/d74dd402599c1a44e7c18bdb3c1868a1.png)
当前方案性能好，所有的 Pod 都使用的弹性网卡，弹性网卡的 Pod 是支持 CLB 直绑 Pod 的，可以绕过 NodePort，并且不需要手动维护 CLB，支持自动扩缩容，是最理想的方案。

##### 方案二：Global Router 模式集群使用普通 LoadBalancer 模式的 Service

当前 TKE 对于 LoadBalancer 类型的 Service 默认的实现是基于 NodePort，CLB 会绑定各节点的 NodePort 作为后端的 RS，将流量转发到节点的 NodePort，然后节点再通过 Iptables 或 IPVS 将请求路由到 Service 对应的后端 Pod（指 Nginx Ingress Controller 的 Pod）。

您的集群如果不支持 `VPC-CNI` 的网络模式，可以通过常规的 `LoadBalancer` 访问方式的 Service 接入流量。
这是在 TKE 上部署 Nginx Ingress 最简单的方式，流量会经过一层 NodePort，多一层转发，但可能存在以下的问题：

1. 转发路径较长，流量到 NodePort 后，还会再经过 Kubernetes 内部负载均衡，通过 Iptables 或 IPVS 转发到 Nginx，会增加一点网络耗时
2. 经过 NodePort，必然会发生 SNAT，如果流量过于集中，容易导致源端口耗尽或者 conntrack 插入冲突而导致丢包，引发部分流量异常。
3. 每个节点的 NodePort 也充当一个负载均衡器，CLB 如果绑定大量节点的 NodePort，负载均衡的状态就分散在每个节点上，容易导致全局负载不均。
4. CLB 会对 NodePort 进行健康探测，探测包最终会被转发到 Nginx Ingress 的 Pod，如果 CLB 绑定的节点数量多于 Nginx Ingress 的 Pod，会导致探测包对 Nginx Ingress 造成较大的压力。

##### 方案三：使用 HostNetwork + LB

方案二虽然是最简单的部署方式，但是流量会经过一层 NodePort，且可能存在如上所描述的问题，我们可以让 Nginx Ingress 使用 HostNetwork，CLB 直接绑定节点 IP + 端口(80,443)。由于使用 HostNetwork，`nginx ingress` 的 Pod 就不能被调度到同一个节点当中，避免端口监听冲突。
由于 TKE 尚未对此方案进行产品化，可以通过提前规划，选择部分节点，专门用于部署 `nginx-ingress-controller`，为节点打上 `Label`，然后以 DaemonSet 的方式部署在这些节点上（即 `nginx-ingress-controller` 的部署方案一）。

### 如何集成监控

TKE 通过集成 腾讯云容器团队的高性能云原生监控服务（传送门：https://console.cloud.tencent.com/tke2/prometheus ），也可在以前发布的文章《如何用 Prometheus 监控十万 container 的 Kubernetes 集群》中了解 Prometheus，Kvass 和怎么利用 kvass 为基础的 Prometheus 集群化技术。

#### 绑定监控实例

![img](https://main.qcloudimg.com/raw/c842ad8b487e00c477106882882dec04.png)

#### 查看监控数据

![img](https://main.qcloudimg.com/raw/7ee8023101e01887ec1e593264156721.png)

### 如何采集和消费日志

TKE 通过集成 腾讯云日志服务 CLS，提供了全套完整的产品化能力，实现 `nginx-ingress-controller` 的日志采集和消费能力，但需要注意如下几个事项：

1. 前置要求：确保当前集群已开启日志采集功能
2. 在 `nginx-ingress-controller` 实例中，配置日志采集的相关选项。

![img](https://main.qcloudimg.com/raw/1fd82b21bb415fd9df3a23492eb65d4f.png)

### 总结

本文梳理了如何使用腾讯云容器服务控制台玩转 Nginx Ingress，主要介绍了控制台上的对于 `nginx-ingress-controller` 的两种部署方式以及建议，以及前端接入 LB 的三种方式，除了在 TKE 上进行 Nginx Ingress 的一键部署，TKE 还提供集群所部署的 `nginx-ingress-controller` 日志和监控的相关能力的产品化支持。对于想要在 TKE 上使用 Nginx Ingress，本文是一个很好的参考和指引。

ITPub博客

使用腾讯云容器服务玩转 Nginx Ingress

最新文章