随着ChatGPT（AI杀手级应用）风暴席卷全球，AIGU正在加速将人工智能推入一个全新周期，带来无限可能性，ChatGPT所代表的AI大模型技术带领人工智能进入2.0时代。

ChatGPT所代表的人工智能技术将重新定义生产力，超级AI算力+大模型算法正在成为国家和产业战略核心竞争力，AI将影响所有行业。

大模型时代，对技术的挑战

ChatGPT虽然牛逼，但成本也是巨大的，据国盛证券报告《ChatGPT 需要多少算力》估算，GPT-3 训练一次的成本约为 140 万美元，对于一些更大的 LLM（大型语言模型），训练成本介于 200 万美元至 1200 万美元之间。以 ChatGPT 在 1 月的独立访客平均数 1300 万计算，其对应芯片需求为 3 万多片英伟达 A100 GPU，初始投入成本约为 8 亿美元，每日电费在 5 万美元左右。

一般公司根本玩不起，就连大厂也需要斗量一下，成本也是一种竞争力，直接拉高入门门槛. 我们要想训练类似一个千亿大模型，至少要面临三大挑战：

一、高昂的训练成本。比如ChatGPT的算力需求就是“A100x1000块x30天”。

二、人力投入极大。比如谷歌PaLM 530B团队，前期准备29人，训练过程11人，整个作者列表68人，而目前国内可用做大模型的高精尖人才不超过百人。

三、训练过程不稳定，且调试困难，容易出现训练不收敛现象。

在这些问题之中，算力绝对是非常重要的因素。权威机构曾经估算过，从GPT3开始到ChatGPT的诞生，中间用来训练模型用的算力，达到了亿美金以上的规模。更别说这还只是对“成功部分”的估计，如果算上训练失败和试错的成本，这个数字肯定又要翻几番。因此，我们要想搞千亿大模型，算力问题一定不可忽视。

我们还有机会吗

之前也说过，任何新兴技术（比如web3.0，元宇宙，当前AI大模型等）最终都是要落地，最终还是需要承载在当前计算机系统上，所以不光在算法上竞争（科研实力），在落地技术上也有竞争（技术实力），这个才是我们有机会展现的舞台。

虽然OpenAI有先发优势，但市场不可能一家独大，我们还是有机会的，上面也提到，大模型技术趋势，成本高昂，成本也是一种竞争力，就看未来谁家提供更具性价比AI产品，类别云计算IaaS一样，成本更低，性能更高，在市场上就更有竞争力。

对应我们工程师来说，性能优化会是未来AI时代最重要能力之一，大厂经常挂在嘴边事情（大厂同学应该有所体会，尤其是晋级答辩），高昂成本是不可持续，必须把成本降到合理的位置，如何减少计算量（代码优化），如何优化存储（海量参数模型），如何高效通信（传递海量参数）降低延迟，软硬如何配合（芯片加速），如何提高并发执行效率，架构优化等等。

而当前AI大模型这种突破性技术，我相信各个大厂都会跟进，百度都发布了文心一言，其他大厂岂能等待，行业竞争激烈，不进则退，如此强大的Google都感受到致命危险，奋力直追，所以精通性能优化这种技术，就能提供更低成本AI服务，这样当效果追赶上后，反而我们竞争力变得更强，从而使我们更有机会后来居上。

我的下一节直播课会全面讲一讲如何做性能优化，掌握这个技能可以让你成功进入高级工程师行列，不管是AI大模型时代，还是移动互联网时代，亦或是未来的元宇宙时代，未来技术演进，都具有海量超大规模特性（技术发展的必然），性能优化永远都在路上，成本也是核心竞争力，用最少资源完成尽可能多事情，减少无效计算，这是优秀工程师非常重要的能力，也是为全人类节约资源做出贡献。敬请期待！

参考

https://qcon.infoq.cn/202302/beijing/presentation/4482

https://mp.weixin.qq.com/s/C_8wGsIBDbXmhBDu3XyvYw

欢迎加入极客星球圈子，分享多年工作经验和基础技术深度理解，操作系统内核，软硬结合，上下结合，高性能编程，极致性能优化，后台开发核心技术，分布式系统（高并发，高性能）等，技术视野扩展，大厂内幕，直播分享，面试问题，项目训练和指导，问题答疑，可以帮助想进各类大厂（芯片，自动驾驶，嵌入式，互联网等）制定学习路线和学习帮助，可以分享各种不同公司宝贵的职场工作经验, 项目经验，普升经验，希望少走弯路，做得更好。