ITPub博客

首页 > 数据库 > 数据库开发技术 > 最新发布的LLama3.1大模型中提到的405B是什么意思?

最新发布的LLama3.1大模型中提到的405B是什么意思?

原创 数据库开发技术 作者:雨飞AI笔记 时间:2024-07-24 23:11:08 0 删除 编辑

大家好啊,我是雨飞。


01


最近 Meta 发布了Llama3.1的大模型,从下图的成绩上来说,已经和目前最强的闭源模型 GPT-4o、Claude Sonnet 打的有来有回。有一些不熟悉的朋友看到图上的405B都纷纷表示看不懂其中的含义。下面我来给大家解释下这个405B究竟代表了什么含义。



在AI领域,B 代表十亿,6B就是60亿参数,34B就是340亿参数。Llama3.1这个模型是405B的,也就是足足有4050亿的参数,是真正的千亿级别的大模型。


这里的参数,就是指模型在训练过程中,学习和调整的数值权重。405B的大模型就会在训练中同时学习4050亿的参数,因此它的训练成本是非常高的。



好了,今天的这个知识点你掌握了嘛,学会了,欢迎点个赞呀。


你的每一个【点赞】,都是鼓励我进步的勇气,点个【在看】,加油吧!



❤️交个朋友❤️


目前我致力于AI工具拆解、AI解决方案的咨询、落地以及AIGC培训,

如果有相关问题,可以加我备注「公众号」,进行免费咨询,并领取我整理的AI学习资料和常用AI工具集。


部分资料截图:


原文作者:雨飞AI笔记;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2023-08-27

  • 博文量
    563
  • 访问量
    325367