GPUWorks 有大量的有意思的特性,但所有人第一次接触 GPUWorks 都会被它的体积和安装速度所惊讶——~ 45MB 的安装包里包含了完整的前后端 ,包括 Linux x64、Linux arm64、macOS arm64 的 Agent 二进制、完整的前端构建、1000+ 推理模板和相关的附件、GPU 切分用到的各种 so 库甚至还有模型评测的数据集, 整个安装包 10s 内即可完成安装 !为什么我们如此重视安装包的体积和安装速度?
自大语言模型快速发展之后,软件工程已经发生了天翻地覆的影响,其中一个非常重要的影响就是 —— 代码编写的速度变得非常非常快,一个非常经典的例子是 OpenClaw ,作者一周提交上千个 commit。
在这样的代码编写速度下,开发往往不成为瓶颈, 验证和测试更容易成为瓶颈 ,所以如果我们的软件体积很大、编译很慢或者测试很困难,就会成为开发的绝对瓶颈。
因此我们在架构设计之初定义了几个原则:
通过这一系列策略,我们每天运行的测试数量可以非常可观,每天至少会跑上百万次的用例,里面至少有 数万次的真实的平台的安装、启动容器、实际行为验证 ,研发也可以“随时随地”部署真实的 GPUWorks 环境测试 ,下面截图是我们 CI 一天的用例数据。
所以,轻巧的安装包、超快的安装速度 不仅提升了用户体验,更重要的是极大的提升了我们的迭代速度 ,确保我们的测试始终是真实的“集成测试”,而不是模拟的单元测试,正如马斯克所说的:
任何技术的进步速度都取决于两个变量:
这两个变量的持续优化,已经成为指导 FlitAI 软件工程的新的最重要的指标。
后面,我们还会持续更新这个系列,介绍 GPUWorks 的其他设计哲学,欢迎关注和参与我们的社区群讨论!
COMMUNITY
GPUWorks的开源之路才刚刚开始。无论你是AI开发者、基础设施工程师,还是硬件厂商,都欢迎参与进来,尝试不同的模型与算力组合,分享使用经验,反馈问题,与我们一起完善GPUWorks。
体验GPUWorks,参与开源共建! 🎉欢迎加入第一期社区实践征集活动!
从部署,到监控与评测。
关注FlitAI,获取GPUWorks部署与实战更新
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70044221/viewspace-3189503/ ,如需转载,请注明出处,否则将追究法律责任。