点击上方蓝字 👆关注公众号，别让消息溜走

后台回复【加群】，与牛人互动不停

Kubernetes 是一个开源的容器编排系统，它提供了一系列的定制化的方法，主要可分为配置和扩展两种。前者主要涉及更改命令行参数、本地配置文件或者 API 资源；后者则需要额外运行一些程序。本文主要关注扩展--需要额外运行一些程序，这些扩展点可以用来满足不同的需求，比如自定义调度器、自定义资源类型等。

扩展模式

Kubernetes中的扩展模式目前主要是两种：Webhook模型，和可执行文件插件（Binary Plugin）模型。

在Webhook模型中，Kubernetes通过发起网络请求与远程服务进行交互。Webhook是一种允许Kubernetes向外部服务发送请求并接收响应的机制。Kubernetes可以在特定事件发生时，将事件数据打包为请求并发送到预定义的Webhook URL，远程服务收到请求后进行处理并返回响应。

另一种模型是可执行文件插件（Binary Plugin）模型，Kubernetes在该模型中执行某个可执行文件或程序。这种模型通常由kubelet（Kubernetes节点上的代理进程）和kubectl（Kubernetes命令行工具）使用。可执行文件插件包括各种类型，如CSI（Container Storage Interface）存储插件和CNI（Container Networking Interface）网络插件。

常见的 Kubernetes 扩展点

下面是一些常见的 Kubernetes 扩展点：

1. 1. 自定义资源定义（Custom Resource Definitions，CRDs）：CRDs 允许用户定义自己的 Kubernetes 资源类型，以便于在 Kubernetes 集群中管理它们。

2. 2. 自定义控制器（Custom Controllers）：自定义控制器允许用户编写自己的控制器来管理自定义资源类型。这样可以根据特定需求进行定制化开发，比如自定义调度器、自定义监控等。

3. 3. Kubernetes 插件（Kubernetes Plugins）：Kubernetes 插件是可以通过 API server 扩展 Kubernetes 功能的代码块。它们可以被部署在 Kubernetes 集群上，以扩展 API server 的功能，比如认证、授权、存储等。

4. 4. 自定义调度器：Kubernetes的调度器负责将容器化的工作负载调度到可用的节点上。你可以扩展或替换默认的调度器，以实现特定的调度策略、调度算法或调度规则。

5. 5. 容器运行时接口（Container Runtime Interface，CRI）：CRI 是 Kubernetes 与容器运行时之间的接口。用户可以通过 CRI 扩展 Kubernetes 对容器运行时的支持，例如自定义容器运行时、容器存储等。

6. 6. 自定义存储插件：Kubernetes支持各种存储插件，如CSI（Container Storage Interface）插件。你可以编写自己的存储插件，以与特定的存储后端集成，或者实现自定义的存储功能。

7. 7. 自定义网络插件：Kubernetes的网络插件负责为容器提供网络功能，如跨节点通信和服务发现。你可以开发自己的网络插件，以满足特定的网络需求，或者与特定的网络解决方案集成。

总之，Kubernetes 的扩展点为用户提供了很多定制化的机会，以适应不同的需求和场景。用户可以根据实际需求来选择适合自己的扩展点，并进行相应的定制化开发。

Kubernetes官方社区，也提供了 Kubernetes 集群中的这些扩展点及其访问集群的客户端的示意图。

Kubernetes 中的7个扩展点。主要有kubectl，kube-apiserver，Kubernetes API，Kubernetes 调度器，控制器，网络插件，设备插件。

以下是对七个 Kubernetes 扩展点的详细解释和扩展办法：

1. kubectl

kubectl 是 Kubernetes 的命令行工具，可以用于管理 Kubernetes 集群和应用程序。kubectl 支持多种不同的子命令，例如创建、部署、升级、删除、扩展等。通过 kubectl，用户可以方便地管理 Kubernetes 集群和应用程序。

扩展办法：用户可以编写自定义 kubectl 插件，以满足其特定的管理需求。kubectl 插件可以是 bash 脚本、Python 脚本、Go 程序等形式，可以通过 kubectl 的 plugin 命令进行加载和使用。

2. kube-apiserver

Kubernetes API server提供了 Kubernetes API 的访问点和管理接口。kube-apiserver 可以处理来自 Kubernetes 集群内部和外部的请求，并将其转发到相应的 Kubernetes 组件。kube-apiserver 也是实现 Kubernetes API 身份验证和授权的关键组件。

扩展办法：用户可以编写自定义 kube-apiserver 插件，以扩展其功能和支持新的 API 资源类型。kube-apiserver 插件可以是 Go 程序，可以通过 kube-apiserver 的参数选项进行加载和使用。

3. Kubernetes API

Kubernetes API 是 Kubernetes 集群中各个组件之间进行通信的核心接口。Kubernetes API 定义了多种不同的资源类型和操作，例如 Pod、Service、Namespace、ReplicaSet 等。Kubernetes API 还支持自定义资源定义（CRD），可以根据需要扩展 Kubernetes API。

扩展办法：用户可以编写自定义 CRD，以支持新的资源类型和操作。CRD 可以使用 Kubernetes API 中的 CustomResourceDefinition 资源进行定义和注册，用户可以使用 kubectl 或 API 客户端进行访问和管理。

4. Kubernetes 调度器

Kubernetes 调度器是 Kubernetes 中的一个组件，用于根据 Pod 的需求和节点的资源情况，在 Kubernetes 集群中选择一个合适的节点进行调度。调度器可以根据多种不同的策略来选择节点，例如负载均衡、资源约束、亲和性、反亲和性等。

扩展办法：用户可以编写自定义调度器插件，以支持新的调度策略和节点选择算法。调度器插件可以是 Go 程序，也可以通过 kube-scheduler 的参数选项进行加载和使用。

5. 控制器

控制器是 Kubernetes 中的一种组件，用于管理和控制 Pod、Service、ReplicaSet 等资源。控制器可以根据需要创建、更新和删除资源，并确保它们的状态符合预期。控制器还可以根据各种事件和条件触发操作，例如故障恢复、自动缩放、版本升级等。

扩展办法：用户可以编写自定义控制器插件，以支持新的资源类型和操作。控制器插件可以是 Go 程序，可以通过 Kubernetes API 或自定义 CRD 进行管理和触发操作。

6. 网络插件

网络插件是 Kubernetes 中的一个组件，用于管理 Kubernetes 集群中的网络。网络插件可以提供各种不同的网络解决方案，例如容器间通信、容器和外部网络的通信、网络策略、负载均衡等。

扩展办法：用户可以编写自定义网络插件，以支持新的网络解决方案和功能。网络插件可以是 Go 程序、bash 脚本、Python 脚本等形式，可以通过 Kubernetes API 进行管理和使用。

7. 设备插件

设备插件是 Kubernetes 中的一个组件，用于管理 Kubernetes 集群中的硬件资源。设备插件可以管理各种不同的硬件资源，例如 GPU、FPGA、RDMA 网卡等。设备插件可以确保硬件资源的分配和使用符合 Kubernetes 的调度和管理策略。

扩展办法：用户可以编写自定义设备插件，以支持新的硬件资源类型和管理策略。设备插件可以是 Go 程序，可以通过 Kubernetes API 进行管理和使用。

总之，Kubernetes 提供了多种不同的扩展点和机制，用户可以利用这些扩展点和机制，根据自己的需求和场景，编写自定义的插件和组件，以扩展 Kubernetes 的功能和支持新的应用场景。

扩展点选择流程图

如果你无法确定从何处入手，Kubernetes官方的流程图可能对你有些帮助。注意，某些方案可能需要同时采用几种类型的扩展。

选择一个扩展方式的流程图指导。绿圈表示是；红圈表示否。

kuberntes二次开发工具

除了Kubebuilder、还有client-go、controller-runtime 和 operator-sdk 也都是 Kubernetes 开发者常用的工具库，用于简化 Kubernetes 应用程序和扩展的开发。

Kubebuilder

• • 工具库介绍: Kubebuilder 是一个用于构建 Kubernetes Operator 的 SDK 和工具集。它提供了一组代码生成工具和库，帮助开发人员更轻松地创建符合最佳实践的 Kubernetes Operator。

• • 主要用途: Kubebuilder 用于快速开发符合 Kubernetes API 和控制器模式的 Operator。它使开发人员能够以声明性的方式定义自定义资源和控制器，并生成所需的代码和文件结构。

• • 优点:

• • 提供丰富的代码生成工具，简化了 Operator 的开发和维护。

• • 遵循 Kubernetes API 设计和模式的最佳实践。

• • 提供了一致的项目结构和模板，有助于项目的可维护性和团队协作。

• • 缺点:

• • 对于简单的 Operator 可能会有一些复杂。

• • 需要一定的学习曲线，特别是对于没有使用过类似框架的开发人员。

operator-sdk

• • 工具库介绍: operator-sdk 是一个用于构建 Kubernetes Operator 的开发工具和框架。它提供了一组命令行工具和库，用于创建、测试和部署 Operator。

• • 主要用途: operator-sdk 用于简化 Kubernetes Operator 的开发过程。它提供了一些快速生成 Operator 代码的命令行工具，并集成了常见的 Operator 开发工作流，如生成 CRD（Custom Resource Definition）等。

• • 优点:

• • 提供了快速生成 Operator 代码的命令行工具，减少了手动编写代码的工作量。

• • 集成了常见的 Operator 开发工作流，如构建镜像、生成 CRD 等，简化了开发过程。

• • 支持多种 Operator 框架，包括 Kubebuilder、Ansible 和 Helm，适应不同的开发偏好。

• • 缺点:

• • 某些功能可能相对较新或不够稳定，可能存在一些限制或局限性。

• • 对于一些定制化需求，可能需要编写额外的代码或使用其他工具进行补充。

client-go

• • 工具库介绍: client-go 是 Kubernetes 官方提供的 Go 语言客户端库，用于与 Kubernetes API 交互。它提供了一组 API 调用的接口，用于创建、读取、更新和删除 Kubernetes 资源。

• • 主要用途: client-go 用于开发自定义的 Kubernetes 控制器、自动化工具或其他与 Kubernetes API 进行交互的应用程序。它提供了访问 Kubernetes API 的高级抽象和常用功能，简化了与 Kubernetes 集群通信的过程。

• • 优点:

• • 官方维护和支持，与 Kubernetes API 版本保持同步。

• • 提供了丰富的功能和抽象，方便开发人员与 Kubernetes 进行交互。

• • 提供了强大的 Watch 功能，用于监听 Kubernetes 资源的变化。

• • 缺点:

• • 使用 client-go 需要对 Kubernetes API 和 Go 语言有一定的了解。

• • 在处理复杂场景时，可能需要编写大量的代码。

controller-runtime

• • 工具库介绍: controller-runtime 是一个 Kubernetes 控制器开发框架，基于 client-go 构建。它提供了一组用于构建可靠和健壮控制器的工具和库，包括 Leader Election、Event 管理、Webhook 支持等。

• • 主要用途: controller-runtime 用于开发高质量的 Kubernetes 控制器，处理 Kubernetes 集群的状态和事件。它简化了控制器的开发流程，并提供了一些常用的功能和模式，如控制器的重启和故障恢复、事件处理、指标收集等。

• • 对于简单的控制器来说，可能会感觉有些复杂，不太适合简单的场景。

• • 学习和理解 controller-runtime 的概念和工作原理可能需要一定的时间和经验。

• • 提供了一些常见的控制器开发功能和模式，减少了开发人员的工作量。

• • 集成了 Leader Election 机制，确保在多个控制器实例中只有一个实例处理工作。

• • 提供了事件管理功能，方便控制器与 Kubernetes 集群中的事件进行交互。

• • 优点:

• • 缺点:

综上所述，些工具各有优势和特点，选择合适的工具取决于你的需求、熟悉程度和团队偏好。

Kubebuilder 和 operator-sdk 提供了更高级的抽象和功能，适合构建复杂的 Operator，而client-go 和 controller-runtime 则提供了更底层的访问和控制，适合更灵活和定制化的开发。

例如，如果要开发一个自定义资源定义和控制器，Kubebuilder 可能是最好的选择；如果要编写 Kubernetes API 客户端代码，client-go 可能更适合；如果要编写控制器，controller-runtime 可能是最好的选择；如果要创建和部署 Kubernetes Operator，operator-sdk 可能是最好的选择。