▼最近直播超级多，预约保你有收获

近期直播：《Agent 企业级应用案例实战》

—1—

ChatGPT 大模型如何完成训练的？

ChatGPT 大模型训练分为以下3个步骤：

第一步、Pretraining 预训练。

给大模型海量的文本进行训练，99% 的计算量花费在这个阶段，输出的大模型叫做 base model，能做的事情就是像成语接龙一样不断的完成一段话,，也就是续写。

第二步、Supervised Fine-tuning 有监督微调。

人工介入，给出高质量的文本问答例子（Q&A）。经过问答式训练的 Model 叫做 SFT model，就可以正常回答人的问题了。

第三步、 Reinforcement Learning from Human Feedback 人类反馈的强化学习。

人工先介入，通过对同一个Prompt 生成答案的排序来训练一个 Reward Model 奖励模型。再用 Reward Model 去反馈给 SFT Model，通过评价生成结果的好坏，让大模型更倾向于生成人们喜好的结果。最终生成的 Model 叫做 RLHF model。

—2—

春节领取《AI 大模型技术知识图谱》

最近很多同学在后台留言：“玄姐，AI 大模型技术的知识图谱有没？”、“AI 大模型技术有学习路线吗？”

我们倾心整理了 AI 大模型技术的知识图谱《最全 AI 大模型技术知识图谱》和学习路线《最佳 AI 大模型技术学习路线》快来领取吧！

AI 大模型技术体系的确是相对比较复杂的，如何构建一条清晰的学习路径对每一个 IT 同学都是非常重要的，我们梳理了下 AI 大模型的知识图谱，主要包括12项核心技能：大模型内核架构、大模型开发 API、开发框架、向量数据库、AI 编程、AI Agent、缓存、算力、RAG、大模型微调、大模型预训练、LLMOps 等12项核心技能。

为了帮助每一个程序员掌握以上12项核心技能，我们准备了一系列免费直播干货，扫码一键免费全部预约领取！

END

ITPub博客

大白话 ChatGPT 技术原理

最新文章