前言

chatgpt的爆火，不少朋友问到我以下几个问题：

1、你知道chatgpt吗？

2、chatgpt是怎么来的？

3、为什么不是中国？

......

围绕着以上问题，我们敞开来聊聊:

一、chatgpt是什么？

    ChatGPT，美国OpenAI 研发的聊天机器人程序，于2022年11月30日发布。ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。

OpenAI，在美国成立的人工智能研究公司，核心宗旨在于“实现安全的通用人工智能(AGI)”，使其有益于人类；

OpenAI于2015年由一群科技领袖，包括奥特曼、彼得·泰尔（Peter Thiel）、里德·霍夫曼（Reid Hoffman）和埃隆·马斯克（Elon Musk）等人创办。

二、chatgpt是怎么来的？

任何一项革命性的技术都不是凭空产生的，通过他的发展历程我们才能更好的去了解他的初衷。

    2017年，DeepMind最早提出了RLHF概念，这一后来解锁ChatGPT重要「涌现」能力的关键，它通过人工标注作为反馈，提升了强化学习在模拟机器人以及游戏上的表现效果。

同年6月，Google发布NLP领域的里程碑——Transformer，成为后来所有LLM的基础架构，也为GPT铺就了前提。

2018年6月，在Transformer问世不到一年的时间，OpenAI发布了只有解码器（decoder-only）的GPT生成式预训练模型，通过大数据集进行训练，并主张通过大规模、无监督预训练+有监督微调进行模型构建。

2018年10月，Google重磅推出著名的具有划时代意义的BERT，一个比GPT大四倍，拥有3.4亿参数的大模型，几乎在所有表现上碾压了GPT。而自带光环的BERT只有编码器，用一种「完形填空」的方法，其训练效果超过人类表现，宣告NLP范式的改变。

2019年2月，被碾压的OpenAI准备背水一战，此时一个重要的命题摆在面前，BERT的大火让是否坚持做生成式模型成为一种灵魂拷问，但OpenAI坚定自己的目标——AGI，孤勇直前地践行生成式，并加倍投入，提出有15亿参数的GPT-2，并没有特别新颖的架构，它只是基于Transformer的解码器，稍做修改。尽管最初OpenAI并不愿意发布它，因担心它可能被用来向社交网络发送假新闻。

2019年10月，Google发布了统一的模型框架——T5，基于编码解码器的T5（BERT只有编码，GPT只用解码），最大模型110亿参数并开放。兼容了BERT和GPT下游任务的T5，再次让Google风光无两。

2020年5月，卧薪尝胆的OpenAI，在生成式之路一往无前，发布了规模是GPT-2两个数量级的1750亿参数的GPT-3，在业内掀起AGI热浪，也拉响了巨头规模竞赛的号角。

2021年10月，Google推出FLAN（1370亿参数），并从此开始重新转向只有解码器的模型，还提出了ChatGPT用到的Instruction Tuning概念。

2022年1月，Google再推LaMDA（1370亿参数），展示了接近人类水平的对话质量以及在安全性和事实基础方面的显著改进，并称其可能具有「意识」。所有人在当时觉得Google已在LLM遥遥领先。

2022年3月，OpenAI发表经过「魔鬼调教」的InstructGPT（1750亿参数），提到采用Instruction Finetune和RLHF，比GPT-3更擅长与人类「沟通」，但并未引起大规模的关注。

2022年4月，Google发布基于「通用AI架构」的语言模型PaLM（5400亿参数），文中提到了那一神奇的「激发」ChatGPT逻辑能力的「思维链」。

2022年9月，DeepMind发表Sparrow（700亿），加入RLHF和Retrival，但反应平平。

2022年12月，OpenAI的ChatGPT席卷而来，是InstructGPT的兄弟模型，一经问世迅速引爆全球，堪称人类对AGI里程碑的一步。

2023年2月，Google发布基于LaMDA的Bard，正式对决ChatGPT。

为什么OpenAI能后来居上？

远见、执着、果敢、魄力，在巨大的不确定未来和竞争对手的压力面前，OpenAI始终坚定最初的目标和信仰，迈出充满信仰力量的一步步。

从2018年开始，四年如一日，只用decoder only的GPT，践行着「暴力美学」——以大模型的路径，实现AGI。

从技术路径来看，OpenAI是实用至上的「拿来主义」。

没有知识分子的清高，没有孤勇黑马的桀骜，无论是Transformer、Instruction Tuning、还是RLHF和「思维链」，不因是别人发明的就避之不用，而是取其精华，默默在自己的大模型里埋首用功。

如果 Instruction Tuning 是关键，那Google和DeepMind在2021年10月发明了它以后，直到2022年12月都没有重视过。反观OpenAI只花了5个月就将其用到InstructGPT，坚实了ChatGPT的基础。如果将「思维链」视为 ChatGPT 能解题的关键，当Google还将它用于象牙塔的「实验」时，ChatGPT已准备走向「产品化」。

组织文化和产品路径上，OpenAI坚持「产品驱动」的AI研究，也始终坚持第一时间把「玩具」公示于众，敢于直面群嘲，敢于在“众目睽睽”之下迭代。反观学术驱动的MSR和项目驱动的DeepMind，从「功利主义」的结果来看，相比OpenAI的躬身入局沙场点兵，Google更像坐而论道纸上谈兵。

PR层面，OpenAI并没有过多大公司「声誉风险」的羁绊和考虑，反而利用大众和媒体充满褒赞和争议的声音，热浪不息，全球风靡。

犀利如箭的棋局背后是灵魂棋手的智慧，这也是OpenAI一切远见和信仰的真正来源。

2015年，几位满怀对AI革新信仰又才华横溢的年轻人，从成立一个「工程型的AI实验室」出发，到今天OpenAI成为变革AI的引领者。如果说ChatGPT讲述了一个「足够好的预测带来了你所梦想的一切」的故事，那么其灵魂人物的前瞻眼光和今天的OpenAI也完美注解了这一句。

历史的潮流奔涌向前，硅谷的创新土壤、互相竞逐的技术迭进、巨头的巨额注资，有万千人「守护」梦想的OpenAI走到历史的必然。

三、为什么不是中国？

ChatGPT是对话式UI + GPT–3.5系列模型，我们以最具代表性的论文、模型、API为主线，梳理到今天。

2020之前

- 2017年6月，Google发布Transformer论文。

- 2017年6月，7月，OpenAI发布人类喜好的强化学习算法、PPO算法，都是ChatGPT用到的算法。

- 2018年6月，OpenAI发布GPT-1.

- 2018年11月，Google发布BERT，此后NLP领域主要基于这个框架研究下游任务。

- 2019年2月，OpenAI发布GPT-2，OpenAI获得了自信，此后专注于GPT.

2020年

- 年初，Covid-19爆发。中国闭关。

- 1月，OpenAI发布语言模型的Scaling Law（概念：模型能力跟参数规模、数据规模强相关），OpenAI获得了在数据和参数规模上Scaling-up的信心。

- 5月，GPT-3论文发布。

- 6月，GPT-3 API发布。

- 9月，ChatGPT的关键原型算法相关论文发布。

- 12月，欧洲机构发布用于GPT-3复现的开源数据集。

2021年

- 7月，OpenAI发布Copilot原型算法。

- 8月，Codex API发布。

- 11月，GPT-3 API Public Release，不对中国开放。

- 中国闭关。

2022年

- 1月，GPT-3.5 API (text-davinci-002)发布，该模型经过Github代码的训练加持，推理能力显著提升（该假设的因果关系待学术界论证），经过Alignment技术的加持，Follow人类指令的能力显著提升，输出结果有用性和无害性显著提升。

- 3月，GPT-3.5论文发布，公开Alignment算法。

- 5月，OpenAI Codex已经被70个应用使用，包括微软收购的Github的Copilot.

- 8月，Stability AI开源StableDiffusion，文生图的算法的效果可用、速度可行、代码开源同时发生，引爆图片生成。一时间，在中国，AIGC似乎就是图片生成的代名词。

- 9月，Sequoia Capital发布Generative AI: A Creative New World博客。

- 中国研究人员和开发者，没有OpenAI的API权限。但图片生成却人人都可以尝试，于是互联网似乎只注意到了图片生成，对GPT大语言模型的关注度进一步下降。

- 经过接近一年的API接入和UI探索、近一年的思维链（Chain of Thought）等Prompt Engineering技术试错、模型加速等技术（如Flash Attention、Fixed-Point）带来的成本和延迟下降，GPT-3.5的模型潜力得到开发（变得Better、Faster and Cheaper）, Copy.ai, Jasper等文本生成类公司的产品逐渐成熟。

- 11月，OpenAI发布GPT3.5 API的新模型(text-davinci-003).

- 12月1日，ChatGPT发布。Musk等名流开始谈论ChatGPT，引爆英文互联网。

- 12月初，中国互联网的自媒体逐渐开始讨论ChatGPT，主要以翻译twitter的方式。知乎上有学者开始反思。一周后，关注指数下降，两个月来只剩下AI自媒体把ChatGPT作为自己的主要关注内容。

- 中国闭关。

2023年

- 1月，微软宣布投资OpenAI数十亿美元，并将GPT加入全家桶。

- 2月，中国春节结束，微软和Google你方唱罢我登场，纳斯达克财报季，AI被反复提起。中国互联网是认识微软的，ChatGPT引爆中国互联网，关注指数飙升。

- 中国开放。

值得注意的是，中国因为疫情闭关的三年，正是OpenAI的GPT发展、壮大、产品化的三年。

任何大卫击败歌利亚的故事，都值得我们思考

OpenAI此局高踞上风，与微软的联姻也将让两者更强。如今棋布错峙的谷歌，无法再「按兵不动」了。紧急应战的Bard能否让Google重归尊位？

AIGC时代，几位科技巨头们之间的「棋局」激战正酣，一切还远未到握手言和的时刻。

群雄逐鹿，一切才刚刚开始。

讨论题

那么为什么我们（中国，尤其是AI社区）没有更早地意识到，OpenAI技术在应用层面的突破性？