大家好，AI搞了这么长时间，大多数人都还没在本地部署过大模型。而现在部署大模型都需要显卡，今天这篇文章就简要帮助大家分析一下，想要部署一个大模型，如何估算显存的占用。
显存估算通用公式
大模型的显存占用是一个比较复杂的计算过程，在这里我们进行一些简化，计算公式如下：
显存占用=参数量*字节数
其中参数量，1B 的参数近似为 1GB 显存。
字节数和数字的精度有关，具体换算关系如下表：
| 数字精度 |
字节数 |
| FP32 |
4 |
| FP16 |
2 |
| INT8 |
1 |
| INT4 |
0.5 |
以一个 7B 的大模型为例，根据这些数据，我们就可以进行估算所需的显存了：
| 数字精度 |
所占显存 |
| FP32 |
7GB*4=28GB |
| FP16 |
7GB*2=14GB |
| INT8 |
7GB*1=7GB |
| INT4 |
7GB*0.5=3.5GB |
好啦，今天的分享就到此结束了，你学废了嘛？
新增福利，欢迎查收！
永久免费星球『算法·成长·一人企业』，在这里我会高频输出和算法，个人成长，副业相关的知识以及资源分享，欢迎围观~，微信扫码就可以加入。
END
好了，今天的分享就到这里，希望对你有所帮助。
你的每一个『点赞』，都是鼓励我进步的勇气，点个『在看』，加油吧，一起成长！
来交个朋友
我是雨飞，一名工作 6 年的算法工程师，目前在探索大模型应用编程以及搜推算法。未来的愿景是做 AI 算法时代的引路人，致力于带领 AI 小白入门和学习算法。
在这个充满机遇与挑战的时代，能让我们一起成长，满帆迎接 AI 时代，让未来的日子，不再平庸。同时，践行终身学习的理念，也尝试在职场外探索副业和人生的第二曲线。
欢迎，扫码或者添加微信 10606087688 和我做朋友，一起成长进步。
原文作者：雨飞AI笔记；如有侵权，请联系管理员删除。
上一篇：
一人企业，超级个人IP，欢迎围观
下一篇：
一周 AI 资讯，哪些值得回顾？
请登录后发表评论
登录
全部评论
