大家好，我是雨飞。今天和大家介绍下，在AI领域一个新人经常会遇到的概念。

01

什么是涌现能力？

涌现能力，全称（emergent abilities），复杂系统的突现特性长期以来一直在物理学、生物学和数学等学科中被研究。 

诺贝尔奖得主P.W. Anderson在其著名的论文《更多意味着不同》（"More Is Different"）中普及了涌现的概念，该论文认为，随着系统复杂性的增加，可能会出现即使从系统微观细节的精确定量理解也无法预测的新特性。 

而在 LLM 的研究过程中，涌现能力被定义成，在小规模模型中不存在但在大规模模型中存在的能力；因此，它们不能通过简单地外推小规模模型上的性能改进来预测。

02

涌现能力有哪些特性？

1、尖锐性，即从不存在到存在的转变似乎是瞬时的。

2、不可预测性，即在似乎无法预见的模型规模上转变。

如何通过一个实际的例子来说明，涌现现象的诞生？

我们可以利用雪花的形成，来解释这个现象。雪花是由许多微小的冰晶构成的。这些冰晶本身很简单，但当它们在冷空中相遇时，会互相结合，逐渐拼凑出更大、更精致的图案。一旦这些小冰晶足够多，它们就会组成一个完整的雪花。虽然单独的冰晶不起眼，但当它们集结成雪花时，就会展现出美丽和对称的形态。

就像雪花的形成需要正确的温度和湿度条件，大型模型展现涌现能力也需要大量的数据和复杂的算法。当这些条件都满足时，模型就能够“突现”出新的能力，就像雪花在特定的条件下突然形成一样。

03

哪些任务具有涌现能力？

目前，有两类任务是具备涌现能力的。

第一类是 In Context Learning（“Few-Shot Prompt”）也就是少样本的提示词学习。通过给出少量的示例，大模型就能很好的学习这些示例中的语义关系，并完成相应的任务。

第二类是思维链（Chain of thought），也就是在少样本学习中，增加推理的过程，引导大模型一步步将推理的过程书写出来并完成任务。

04

涌现能力是如何诞生的？

目前有三种对涌现能力的谈论，总结如下：

1、任务的评价指标不够平滑，导致了涌现现象的出现 

2、复杂任务和子任务的展示方式并不一致， 

3、Grokking现象，也就是说在描述训练数据量较少的 ML 任务的，但是任务最小训练数据量必须达到一定的量，才会出现 Grokking 现象。 

总结来说，就是其实大模型并不是突然就变得很厉害，而是在逐渐缓慢的变得厉害，就好比一个人在做数学试题一样。一开始，他学了很多东西，但是并不懂一些技巧和思路，试卷的卷面成绩就很差，但只要理解了一些技巧，卷面成绩就会突飞猛进。但实际上，这个人是在一步步逐渐变得厉害的，而不是突然间就变得很厉害。

好啦，正文结束，感谢阅读。

简单介绍一下，

我的陪伴群，目前 39.9 一位，还差 1人，涨价10 元，感兴趣可以联系。

下面是陪伴群的详细介绍

来，交给朋友

微信备注「围观群」可以免费加入我的AI和副业围观群，同时可以领取 2G 的AI大礼包，大冲副业从0到60万的可复制路径 电子书。

永久免费星球『算法·成长·一人企业』，在这里我会高频输出和算法，个人成长，副业相关的知识以及资源分享。希望，对你有帮助。

END

你的每一个『点赞』，都是鼓励我进步的勇气，点个『在看』，加油吧，一起成长！