老实说我有点后悔开付费专栏了。写的比较菜,一直没有啥可以报答付费用户大家的关注。价值4000元的AGI技术峰会门票,真金白银送给大家福利。
文末看领取方式。
一、让天下没有难训的大模型
最近在写代码。公众号写的少了。
我在写一个端侧大模型训练代码。要让天下没有难训的大模型。准备把他开源出来。
模型结构你可以搭moe,也可以搭mamba;训练任务你可以是大语言模型,也可以是多模态的,包括视频的tokens预测。这样合二为一。
我会先把业界已有的这个领域的立足把大模型跑到端侧的代码统一到这一个project中,这样集大家所长。
同时,训练卡希望尽量要求低。24G就可以开干。降低大模型的入门门槛。人人都可以开始学习大模型。人人都可以开干。写代码。
欢迎大家关注后续的开源链接。
原文作者:Agent的潜意识;如有侵权,请联系管理员删除。