Chatgpt真正有趣，核心就在于有思维范式。像人一样有互动能力。这个核心有三个组成部分：第一个是超大模型的厚积薄发，通过自监督学习，通过读入一篇文章的前面部分，预测下一句话是什么来读万卷书，而且还具有了上下文连续对话的能力。这个是核心地基，没有这个地基就没有上面的鲜花。第二部分就是薄发需要往哪个方向发力，这个方向的把握是通过”引线”的方式植入进去的。这一块的核心就是COT(Chain of
Thought)。第三个核心就是RLHF。通过他来微调大模型，让他咸鱼翻身真正活起来。其他技术我的理解还是外围的边边角角。
需要指出：大模型只是因为他读的书多而已，而不是说只有大模型才有思维，小模型同样可以有思维。见韩国科学院的这个文章[1]。他们用小模型玩了一把COT，效果也是OK的。大模型开山开路，小模型肯定会跟进的。模型压缩加速这块与大模型一起，就是学术研究的两端。
下面这个是中科院博士小哥一起探讨的一些可能研究点：也跟大家分享一下。对于COT，我详细做了一些实验：我先给出一些案例：这个案例中，假设b=43用的是比较巧妙的，一显示了上下文的联系，二展示了严谨性，因为你没有在当前这个问题中指定b 的值。整个逻辑推理链就在上面的根据题意这一块。如果你的训练数据只是：Input:a=65，b=43, c比b大10，请问a和c谁大？机器就只会死记硬背。而如果你把这个思维过程通过提示的方式输入给机器，则机器就会推理思维。可以解决更高阶的问题。COT(Chain-of-Thought)的全称是 chain-of-thought
prompting，因此他也是一种prompt learning。所谓的prompt，就是提示的意思，直白理解即可，这一块里面没有复杂模型和数学公式，最自然的理解就是：我们小时候读小学，老师会循循善诱的话，出题目后，通常都会跟小孩子提供一下暗示，从而圈定答案范围，提高问题正确度。我们学习英语的时候，完形填空、或者说那种语法选择题，就是一个最大的上下文提醒下的答案选择。那么 gpt为啥需要这个呢？[2]中回顾了整个语言模型的历史，发现大语言模型学了非常多的语料库，如果生搬硬套上来，一个问题会有多种结论答案，这个时候，需要有引导词来暗示模型，从海量答案中给出一个合乎情理的答案。整个pipeline就在上面。如何让机器能根据输入 X 得到答案 ，需要中间给一个提示，让机器知道是在都电影进行评价。否则答案就会非常发散的。所以prompt就是这些模板构建的问题。后面有很多跟进的工作，如何自动生成prompt模板等就不细表了。我的分享主要是拉取粗线条的逻辑。但当我们面对复杂问题时，我们通常需要有解题思路才能做对。基础Prompt可以做第一题：a=65,b=43,请问a和b谁大？这个我也正式测试了，text-davinci-002就具备这个能力，但如果加上c比b大10,这个时候chat-gpt才能做对。做对的本质原因就是[3]文献中讲的。他加上了思维链提示。思维链提示即他中间增加了做题思路的逻辑的逻辑推理过程。这个逻辑推理过程本质还是一个概率模型，增加了中间思路过程分，相当于增加了条件概率连接器，模型可以先学会P(思路|input语段token),然后再学概率 P(答案|思路token)，从而提升了信息熵。最终增加了概率认知能力。从a推理到f。这个COT 是可以做到的。只需要多级思维链即可。但严谨推理出我对于周星驰的态度，这个不是语言模型能做到的。论文中详细说明，prompt learning本质还是学会了一个概率分布模型，计算出特定情景下，答案和问题之间的极大似然估计。从这个角度出发，他应该推测出我喜欢周星驰，因为这个是最大可能出现的概率，但他推测出不一定，说明他有了一个反向推理能力。从大概率出发又反向推理了一遍，得到更合乎实际的结果。带了雨伞不推测出是下雨天，而是说可以应对意外下雨。淋成了落汤鸡他推测有可能有雷阵雨等。我认为这样严谨的逻辑COT是做不到的。因为他本质只是学了一个概率分布。
原文作者：Agent的潜意识；如有侵权，请联系管理员删除。
