探索AIGC知识图谱：学习指引
2023年马上就要过完了，这一年国内就催生了上百个大模型，百模大战。好多人跟作者一样，以前做大数据和应用软件开发的，今年都不得不开始学习大模型相关知识，每天接触到的大量的AI相关信息，人很容易就变得焦虑，技术发展太迅速，有点跟不上的感觉，不学习呢，可能会在AI时代被淘汰了。大模型技术可以分为两种，底层大模型的开发，这个要求领域比较专业的知识，基本上就是大厂和部分专业团队在做，和作者一样的大部分普通人很难进入。另一种大模型应用开发，通过底层强大的能力满足千行百业不同的需求，这个领域更具创新，充满机会。我整理了适合大模型应用开发的学习路线图，供大家参考。
编程语言和工具学习Python，因为它是AI领域的主流语言，对于有其他编程语言基础的同学来说，应该难度不大。推荐学习基础 https://www.w3schools.cn/python/
编程工具IDE，微软的VS Code或者PyCharm都可以。VS Code更轻量，强大的插件生态系统，自主性非常强，基本上可以打造出符合自己独特个性的IDE，适合动手能力强，喜欢自己折腾的人，毕竟实在找不到合适的插件，还能自己手搓一个。PyCharm更适合初学者，专业功能强大，能把人照顾得很好，都帮你想到，有些高级功能要收费版才有，但个人使用的话社区版足够了。
基础理论知识
大模型知识
1.OpenAI的GPT系列，最早引爆AI应用的就是他们家的网站应用产品ChatGPT。
2.谷歌的Google-Bard，声量不如OpenAI，但毕竟是谷歌的，AI应用一直是走在最前列的，还是持续关注。
3.国内的大模型也一直在进步，毕竟对比国外风险小一些，也期待他们在中文领域能有更好的表现，百度-文心，阿里-通义，科大讯飞-星火等。
4.开源的大模型，LLaMa系列，ChatGLM等，以及一些垂直领域的模型。
**AI模型社区，**AI开源创业公司的新物种——Hugging Face https://huggingface.co/，国内的也有阿里的魔搭，经常逛逛社区，看看有哪些新的开源。
**学习大模型算法，**
即使不需要编写和训练底层大模型，了解类似Tranformer架构，还是能加深对自己所做的事情理解，比如为什么大模型没办法解决幻觉的问题。虽然现在Tranformer大有一统天下之势，但还是有基于其他架构的大模型在发展，比如RWKV。架构和方法之争一直都是此消彼长，三十年河东三十年河西。
**常用的优化手段**
了解预训练PT（Pre-Training）、增强学习从人类反馈RLHF（Reinforcement Learning from Human Feedback），和监督微调SFT（Supervised Fine-Tuning），Prompt工程。推荐 https://www.coursera.org/instructor/andrewng， https://learn.deeplearning.ai/ 或者到B站油管碎片化学习，不要买书，不要买书，不要买书
资源
1、LangChain是一个用于开发由大语言模型驱动的应用程序的框架，可以看成是是AI领域的Spring或Laravel，网址 https://python.langchain.com/docs/get_started/introduction。集成了很多第三方的能力，能极大加快开发AI应用的速度。这个框架发展很快，几乎是每天一个版本，也够拼的，但也是发展太快的问题，很多封装并没有做得很好，实际应用起来问题还不少。
2、Github资源，https://github.com/trending，可以说现在很多程序员都离不开Github，大量的开源项目，有空多逛逛。
3、其他资源，网站与社区：Kaggle的NLP竞赛、ACL（Association for Computational Linguistics）、arXiv的CS.CL（Computation and Language）目录。
项目实践
书上得来终觉浅，绝知此事要躬行，找项目练手，不懂再回去碎片化学习，这是最快的方式。AI大模型虽然热闹，但目前还没有革命性的应用产品，也给创业者留足了余地。
大型语言模型由于其对自然语言的理解能力和生成能力，已经在众多应用场景中展现出巨大的潜力和实际价值。以下是一些主要的应用场景：
1.机器翻译：使用语言模型将一种语言自动翻译成另一种语言，例如Google Translate。
2.文本摘要：自动生成一段文本的摘要或者概览，适用于新闻、学术文章等长篇内容。
3.情感分析：分析和识别文本中的情感倾向，例如在产品评论、社交媒体帖子等方面判断用户情感为正面、中性或负面。
4.问答系统：理解用户的问题并提供准确答案，用于客服机器人、虚拟助手等场合。
5.文本生成：创作诗歌、故事、新闻稿、营销拷贝等各种文本内容。
6.语音识别：语音转文本应用中将语音信息转换成书面文字。
7.自动对话系统：驱动聊天机器人与用户进行自然对话，应用于在线客服、智能对话助手等。
8.内容推荐系统：根据用户的历史数据和文本内容来推荐相关的文章、新闻、产品等。
9.代码生成和代码理解：自动生成或补全程序代码，或者帮助理解现有代码。
10.内容审核：检测不适当的、有毒的或违反准则的内容，用于社交网络平台、论坛等。
11.搜索引擎优化：通过优化内容与搜索查询更好的匹配，提高网页的搜索引擎排名。
12.生物信息学和化学：分析蛋白质序列、药物分子等生物化学实体的语言模型，用于药物发现和基因组学。
13.法律和合规：自动分析法律文档，帮助识别合规风险和执行法律研究。
14.教育：为学习者提供个性化辅导、作业评分和反馈。
15.辅助写作与编辑：提供语法、拼写检查，以及写作建议，帮助用户改进他们的写作。
大型语言模型的应用范围仍在不断扩大，随着模型能力的提升和人们想象力的发挥，未来可以预见更多创新的用途将会出现。
欢迎加入【数据行业交流群】社群，长按以下二维码加入专业微信群，商务合作加微信备注商务合作
往期历史热门文章：
基于DataOps的数据开发治理：实现数据流程的自动化和规范化
原文作者：Ruby的数据漫谈；如有侵权，请联系管理员删除。
