概述

为什么选择 Aggregated APIServer？

选择独立 API 还是 Aggregated APIServer ？

• 能利用 Kubernetes 原生的认证、授权、准入等机制，有更高的开发效率;
• 能更好的和 K8s 系统融合，借助 K8s 生态更快的推广自己的产品，方便用户上手;
• 借助于 K8s 成熟的 API 工具及规范，构建出的 API 接口更加规范整齐;

选择 CRDs 还是 Aggregated APIServer？

• 定制资源的字段不多；
• 你在组织内部使用该资源或者在一个小规模的开源项目中使用该资源，而不是在商业产品中使用；聚合 API 可提供更多的高级 API 特性，也可对其他特性进行定制；例如，对存储层进行定制、对 protobuf 协议支持、对 logs、patch 等操作支持。

APIServer 扩展的基本原理

• AggregatorServer：负责处理  apiregistration.k8s.io  组下的 APIService 资源请求，同时将来自用户的请求拦截转发给 Aggregated APIServer(AA)；
• KubeAPIServer：负责对请求的一些通用处理，包括：认证、鉴权以及各个内建资源(pod, deployment，service)的 REST 服务等；
• ApiExtensionsServer：负责 CustomResourceDefinition（CRD）apiResources 以及 apiVersions 的注册，同时处理 CRD 以及相应 CustomResource（CR）的REST请求(如果对应 CR 不能被处理的话则会返回404)，也是 apiserver Delegation 的最后一环；

如何快速构建 Aggregated APIServer？

安装 apiserver-builder 工具

$ GO111MODULE=on go get sigs.k8s.io/apiserver-builder-alpha/cmd/apiserver-boot

• 下载 ^[8]最新版本
• 解压到 /usr/local/apiserver-builder/
• 如果此目录不存在，则创建此目录
• 添加/usr/local/apiserver-builder/bin到您的路径  export PATH=$PATH:/usr/local/apiserver-builder/bin
• 运行 apiserver-boot -h

初始化项目

$ mkdir skai-demo

$ 
cd skai-demo 

$ apiserver-boot init repo --domain skai.io

.

├── BUILD.bazel

├── Dockerfile

├── Makefile

├── PROJECT

├── WORKSPACE

├── bin

├── cmd

│   ├── apiserver

│   │   └── main.go

│   └── manager

│       └── main.go -> ../../main.go

├── go.mod

├── hack

│   └── boilerplate.go.txt

├── main.go

└── pkg

    └── apis

        └── doc.go

• hack 目录存放自动脚本

• cmd/apiserver 是 aggregated server的启动入口

• cmd/manager 是 controller 的启动入口

• pkg/apis 存放 CR 相关的结构体定义，会在下一步自动生成

生成自定义资源

$ apiserver-boot create group version resource --group animal --version v1alpha1 --kind Cat --non-namespaced=false

Create Resource [y/n]

y

Create Controller [y/n]

n

└── pkg

    └── apis

        ├── animal

        │   ├── doc.go

        │   └── v1alpha1

        │       ├── cat_types.go

        │       ├── doc.go

        │       └── register.go

        └── doc.go

// Cat

// +k8s:openapi-gen=
true


type Cat struct {

        metav1.TypeMeta   `json:
",inline"`

        metav1.ObjectMeta `json:
"metadata,omitempty"`

        Spec   CatSpec   `json:
"spec,omitempty"`

        Status CatStatus `json:
"status,omitempty"`

}

// CatSpec defines the desired state of Cat


type CatSpec struct {

    Name string `json:
"name"`

}

func (
in *Cat) Validate(ctx context.Context) field.ErrorList {

    allErrs := field.ErrorList{}

    
if len(in.Spec.Name) == 0 {

        allErrs = append(allErrs, field.Invalid(field.NewPath(
"spec", 
"name"), in.Spec.Name, 
"must be specify"))

    }

    
return allErrs

}

部署运行

创建 EKS集群 ^[9]&配置好本地 kubeconfig ^[10]；

执行部署命令 ；

$ apiserver-boot run 
in-cluster --image=xxx/skai.io/skai-demo:0.0.1 --name=skai-demo --namespace=default

• 自动生成 APIServer Dockerfile 文件；
• 通过 APIServer Dockerfile 构建服务镜像，并将镜像推送到指定仓库；
• 在config目录下生成 CA 及其他 APIServer 部署需要的证书文件；
• 在config目录下生成 APIServer 部署需要的 Deployment、Service、APIService、ServiceAccount 等 yaml 文件；
• 将上一步生成的 yaml 文件部署到集群中；

功能验证

确认 Resource 注册成功

$ kubectl api-versions |grep animal

animal.skai.io/v1alpha1

确认 Aggregated APIServer 能正常工作

$ kubectl get apiservice v1alpha1.animal.skai.io 

NAME                      SERVICE             AVAILABLE   AGE

v1alpha1.animal.skai.io   default/skai-demo   True        19h

创建并查看新增的 Resource

创建

$ cat lucky.yaml

apiVersion: animal.skai.io/v1alpha1

kind: Cat

metadata:

  name: mycat

  namespace: default

spec:

  name: lucky


# 创建自定义 resource

$ kubectl apply -f lucky.yaml

查找

# 查找自定义 resource 列表

$ kubectl get cat

NAME    CREATED AT

mycat   2021-11-17T09:08:10Z


# 查找自定义资源详情

$ kubectl get cat mycat -oyaml

apiVersion: animal.skai.io/v1alpha1

kind: Cat

metadata:

  annotations:

    kubectl.kubernetes.io/last-applied-configuration: |

      {
"apiVersion":
"animal.skai.io/v1alpha1",
"kind":
"Cat",
"metadata":{
"annotations":{},
"name":
"mycat"},
"spec":{
"name":
"lucky"}}

  creationTimestamp: 
"2021-11-17T09:08:10Z"

  name: mycat

  resourceVersion: 
"17"

  uid: 98af0905-f01d-4042-bad3-71b96c0919f4

spec:

  name: lucky

status: {}

总结

参考资料