彬老师:还是Jason Wei他们,在《Large Challenging BIG-Bench tasks and whether chain-of-thought can solve them》论文中,尝试了一个看似简单却极为有效的组合,即同时使用Few-shot-CoT和Zero-shot-CoT。

弘老师:简单来说,就是既提供详细的思考示例,又在最后加上 Let's think step by step 的提示。
小渣:两种方法优势叠加,效果会更好吧?
弘老师:确实如此。论文中测试了一个时间推理问题:"今天,蒂芙尼去海滩了。他们可能在什么时间去的?" 如下图所示。

弘老师:首先,提供一个详细的示例,展示如何分析一个人的一天行程,从早上5点起床到最终得出"下午3点到4点去合适,答案为D"的完整推理。然后,在新问题后加上"Let's think step by step"。
彬老师:这种双重加持下,模型对新问题"今天,汉娜去了足球场。他们可能在什么时间去的?"的回答变得异常清晰:详细分析汉娜一天的时间安排,最终准确推断出"汉娜唯一可以去足球场的时间是下午5点到6点,所以答案是(C)"。
大饼:这些方法在简单问题上效果好,那对于复杂任务呢?
弘老师:研究者们在Big-Bench Hard数据集上进行了测试,这是从Big-Bench中精选的23个极具挑战性的任务。结果令人震惊,传统方法在大多数任务上表现不如人类平均水平,但使用CoT后,模型在大部分任务上不仅大幅提升,超越了人类平均表现!

小渣:看似简单的调整,效果居然这么好?
彬老师:更有趣的是,研究发现CoT能力与模型规模密切相关——随着模型参数增加,使用CoT的性能提升幅度远大于不使用CoT的情况,呈现出典型的能力"涌现"特征。

大饼:听起来,有些不可思议!
弘老师:是的,这一系列研究确实改变了我们对模型能力的理解。不过,这些方法本质上都属于提示工程,不改变模型本身。接下来我们要把研究目标转向改变模型本身的领域了,一起看看第四篇论文。
未完待续...
公众号:收获不止数据库
微信:ljbyxl1213
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/9091385/viewspace-3079656/ ,如需转载,请注明出处,否则将追究法律责任。