1小时,1,081个节点成功接入,1,008个节点同时在线。
GPUWorks 发布后的第一个“秀场”——千台挑战,交出了这份现场成绩单。
直播结束后,我们和云轴科技 ZStack CTO 王为坐下来,接着聊了聊。
为什么要挑战千台?45MB的安装包,是怎么做出来的?为了让用户少花一点时间,工程师要在背后多做些什么?
以下对话根据访谈整理,提问有所精简,内容有删节和顺序调整。
01 / SCALE IN ACTION
主持人:为什么会发起这场挑战?为什么是1,000个节点?
王为: 熟悉ZStack的老用户可能知道,我们早期发布产品时,就强调伸缩能力,可以支撑1,000台服务器。
但当时做云平台和虚拟化管理,要演示这个场景,需要真的准备1,000台物理服务器,条件上有一些限制。
GPUWorks在设计之初就考虑到,用户可能有GPU服务器,也可能用GPU虚拟机、GPU容器,不同形式的算力都可以接入。 我们就想,既然说能够支撑1,000个GPU节点,能不能在云上把它演示出来?
还有一个原因,很多人可能觉得,这个产品只有45MB,几秒钟就装好了,跟传统印象里的ToB软件不太一样。以前装一个软件,可能要看很长的手册,花几十分钟,甚至几天。
所以我们想证明,这么小的体积,也可以有很强的能力。就有了这场直播。
主持人:千台规模,对刚开始只有几台机器的用户意味着什么?
王为: 用户刚拿到机器时,可能只是试水,有三五台,可以先快速装一个GPUWorks。
等真正投入生产,三五台不够了,要扩到10台、100台,甚至1,000台,也不需要迁移或者重新部署,在原来的集群上不断增加节点就可以了。
02 / LIGHTWEIGHT DEPLOYMENT
主持人:发布时特别强调了45MB和60秒。为什么选这两个数字?
王为: GPUWorks里面其实有很多特性,最近社区也有不少讨论。但第一次发布,我们挑选了几个最希望大家记住的点。
一个是安装包很小,而且是自包含的。 用户不需要为了装它,再去装 Docker 、装数据库。机器的系统准备好了,把二进制文件装进去就可以。
另一个是安装简单。这个二进制下载下来,自己就是安装器,自己也是主程序。
有点像以前大家喜欢的“绿色软件”,解压出来就能用。我最怕的就是安装很久,中间又报错,一步一步让我选,最后还不知道装到哪里去了。我们希望把这个过程做得尽可能方便。
主持人:为什么要在安装这件事上花这么多心思?
王为: 因为 GPU服务器 的时间很宝贵。
用户买机器,订购、到货、上架、通电、接网,已经花了很长时间。如果装软件还要几天,甚至一个星期,对用户来说是很大的浪费。
租机器更是如此。机器按小时计费,如果时间都花在安装和部署软件上,其实是很折磨的。所以我们希望它能在60秒内安装完成。
03 / ENGINEERING CHOICES
主持人:把安装包做到45MB,背后做了哪些工作?
王为: 我2016年刚加入ZStack时做后端开发,当时我们向张鑫总汇报。他经常说一句话: 对于计算机来说,一秒是一个很长的时间。
如果一个操作要等一秒,那一定要搞清楚,为什么要等这一秒?能不能在0.1秒,或者更短的时间里完成?
空间也是一样。现在下载一个歌、一个电影,大家对几十兆、几个G都习以为常。但想想以前的游戏卡带,只有很小的容量,也可以包含很丰富的内容。
我们也会想,这些空间是不是还能再精细地利用一下?
主持人:现在硬盘容量这么大,为什么还这么在意安装包的大小?
王为: 这其实是我们做技术人的一些执念。
对很多用户来说,几兆、几十兆、几百兆,区别可能没有那么大。但我们的想法是, 安装包足够小,某种程度上也说明工程师和架构师做了精细的设计。
这个包应该怎么构建、包含哪些内容,都是考虑过的。
比如网络管理里的带宽测试。我们发现,有些用户接入了 RDMA网络 ,希望知道带宽怎么样、网络是否正常,但并不熟悉需要装什么软件、什么依赖包。
我们就想,能不能把测试的代码放到产品内部?
这里面就有取舍。依赖放在外面,用户用着用着,突然被告知还要装一个包,体验会卡住;全部放进来,产品又会越来越大。所以要做很多权衡和裁剪。
04 / FIT YOUR ENVIRONMENT
主持人:无需先搭K8s,对用户上手有什么帮助?
王为: 技术上并没有哪一种一定是绝对领先的。 我们并不排斥K8s,也从里面借鉴了不少好的设计,比如基于标签做批量管理。
但如果平台本身一定要依赖K8s,用户就要先准备管理节点、相关依赖,还可能需要学习一些K8s的运维操作。
我们希望产品尽量简单,让用户低门槛地使用,下载下来就能用。
主持人:如果用户的GPU已经放在K8s或者Slurm里了呢?
王为: 这也是我们后面有规划要做的。对于已经放在K8s、Slurm里的GPU设备,我们希望提供方法,接入和使用里面的资源。
我们跟不少高校、科研机构交流过,他们有很多GPU设备就部署在Slurm集群里。这些实际的使用场景,我们也希望能够兼顾。
注:K8s、Slurm资源接入在本次访谈中作为后续规划介绍。
05 / FROM GPUWORKS TO FLITAI
主持人:从GPUWorks到 FlitAI ,想延续怎样的产品理念?
王为: Flit是轻巧、轻快的意思。
ZStack最早让大家熟悉的一个特点,就是安装部署简单、使用方便。我们希望到了AI时代、AI场景里,也能延续这个特点,同时给大家一些耳目一新的感觉。
除了GPUWorks的算力和模型管理,后面还会有其他产品。比如直播中提到的Zentrix,包含AI网关能力,后面也可能会有一些扩展,或者可观测方面的产品。
无论做哪个产品,我们都希望它方便安装部署、尽量让用户容易使用,同时功能又很强大。
千台挑战,让大家看到了GPUWorks的现场表现。这次对话,也让我们看到了团队如何理解“好用”:去了解用户手里的设备、已有的环境,以及那些真正让人花时间的步骤,再把这些问题带回产品设计中。
欢迎亲自试一试GPUWorks,也欢迎把你的体验告诉我们。
06 / COMMUNITY
GPUWorks的开源之路才刚刚开始。无论你是AI开发者、基础设施工程师,还是硬件厂商,都欢迎参与进来,尝试不同的模型与算力组合,分享使用经验,反馈问题,与我们一起完善GPUWorks。
体验GPUWorks,参与开源共建! 🎉欢迎加入第一期社区实践征集活动!
关注FlitAI,获取GPUWorks部署与实战更新
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70044221/viewspace-3189193/ ,如需转载,请注明出处,否则将追究法律责任。