⓶咒语觉醒(Zero-shot-CoT)
彬老师:弘老师说的第二篇论文,是指来自Google的 《Large Language Models are Zero-Shot Reasoners》,该论文提出了更简洁的方法。
弘老师:他们发现,只要在问题后面加一句简单的"咒语" 即可。

大饼:什么咒语?
弘老师:Let's think step by step。
大饼:这么一句话,就能让模型变厉害了?
彬老师:是的。因为它不需要任何示例,却能激发模型产生完整的思维链,因此这种方法被称为Zero-shot-CoT。
弘老师:看看论文中的例子:一个杂耍演员可以同时抛接16个球。一半的球是高尔夫球,一半的高尔夫球是蓝色的,有多少个蓝色的高尔夫球?
小渣:一半是高尔夫球,意味着有8个高尔夫球,再一半是蓝色的,所以是4个蓝色高尔夫球。
彬老师: 没错,请看论文的下图试验。

彬老师:直接问模型这个问题,它给出错误答案8。但如果在问题后面加上"Let's think step by step"这句话,模型就会给出一系列推理步骤:1. 杂耍演员有16个球;2. 一半是高尔夫球,所以有16/2=8个高尔夫球;3. 一半的高尔夫球是蓝色的;3.所以有8/2=4个蓝色高尔夫球。最终答案是4个。
大饼:就像开启了某种隐藏模式一样!
弘老师:实验数据更加惊人。在 GSM8K数据集上,仅仅添加这个简单提示,模型性能从10.4%直接飙升至40.7%,提升近四倍!如下图所示。

小渣:这太神奇了!为什么简单的一句提示词能产生这么大的影响?
彬老师:大模型在预训练过程中已经"学习"了思考的能力,但需要特定的触发条件来激活这种能力。"Let's think step by step"就像一把钥匙,打开了模型内部的推理机制。不过,从数据看,Zero-shot-CoT(40.7%)的表现还是不如Few-shot-CoT(57%),是不是觉得有些遗憾?

弘老师:哈,彬老师卖了个关子,他马上要提到第三篇论文了。
未完待续...
公众号:收获不止数据库
微信号:ljbyxl1213
系列回顾
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/9091385/viewspace-3079624/ ,如需转载,请注明出处,否则将追究法律责任。