ITPub博客

首页 > 数据库 > 数据库开发技术 > 我想训练个大模型,该怎么做?|咨询师日记 Vol.6

我想训练个大模型,该怎么做?|咨询师日记 Vol.6

原创 数据库开发技术 作者:雨飞AI笔记 时间:2024-06-06 21:46:51 0 删除 编辑

大家好啊,我是雨飞,见字如面。


01

讲述自己咨询的真实案例,分析细节问题

思考一个问题,本身自己不具备做大模型的团队,去微调一个专用大模型是否可以呢?


或者说,这个问题,应该从哪几个方面去思考是否有必要上大模型?


搞懂了这两件事情,少走几个月甚至半年的弯路也不是不可能。


首先,该业务是否有很强的高质量数据和领域垂直度。只有高质量的,垂直领域的数据,才有微调模型的必要,否则微调的结果可能不如去调整提示词来的划算。


其次,现在的业务,是否已经达到了非上大模型不可的地步,用RAG的技术能否解决?用低成本的小模型能否解决?这是第二点需要判断的地方。


很多创业公司或者小公司的团队负责人,都会有这方面的误区,就是我的业务一定要上一个大模型,跟进下最新的进展。再或者,我的团队已经在某一些工作上使用过大模型了,现在想利用大模型做其他工作的时候,发现效果不行,想进一步优化。


这两者的区别就在于,当前的需求和业务,是否真正是一个大模型可以cover的场景。因此,你会发现,没有办法很简单的下结论说大模型能否解决问题,需要不同问题不同分析。具体分析的逻辑可以按照下面的方式去思考。


比如,现有的方案能做到哪一步?效果如何。在现在的效果上,哪些是不满意的,希望该改进的内容。而很多团队,往往考虑不清楚这些内容,因此就算微调了大模型也不一定能解决现有的问题。


接着这个思路往下讲,现在我们就是要训练大模型了,应该做哪些准备呢。答案有两个,一个是准备微调所需的数据,根据经验,至少在几千到万级别的数据才有可能微调的比较好。第二个,准备评价数据,去计算微调之后的大模型的效果和微调之前的效果,确保大模型进化的方向是ok的。


那么这两件事,能否省略?


答案肯定是不行的,这两件事都是做微调所必须的步骤,没法省略,而且从现在的实际来讲,需要人工介入的成本还很高。因此,很多老板和负责人发现做了好几个月,一算收益,就是负的。因为,这件事本身是一条链路中的一个环节,需要合在一起去看整体的收益。只看微调的成本和产出,大概率怎么算都是负的。这就好比,我们看盈利,是至少看一个季度或者半年的,如果看每天的收益,那么就不用做了是一个道理。


到这里,前面的问题都想清楚了,就知道要不要训练大模型了。



好啦,我写完了,祝,财运滚滚。



❤️欢迎交个朋友❤️


加我好友之后,私聊「副业」可以领取「100个AI搞钱方法」,「450个副业搞钱玩法合集」、「365条赚钱实战心得」。


可以入我的AI副业围观群,围观我的思考、副业路上的探索。



「雨飞陪你玩赚AI」,在这里我会高频输出和AI,副业相关的内容,也会有我自己的思考和认知,永久免费,欢迎你来围观。



你的每一个『点赞』,都是鼓励我进步的勇气,点个『在看』,加油吧,一起成长!



声明:文中含有雨飞的广告


「雨飞同行」这是雨飞的介绍(第7版,交个朋友,限时送福利)

原文作者:雨飞AI笔记;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2023-08-27

  • 博文量
    563
  • 访问量
    325223