昨天晚上跟一个博士小哥语音聊算法。主要是关于RLHF的盘点，他非常自信的跟我讲：reward model 是没什么意义的。如果数据集标注的够多就可以不用。接着他展示了自信的基点：沐神的讲义上明确有说过。这已经是第五个跟我扯这事的人。我没有耐心一个个跟你们解释了。索性一次性公开讲一下。

讲义视频截图在这里；

这个字幕翻译有错，沐神讲的是RM（即reward model)模型。他翻译成了IR模型。

先说总体的，每个人都会犯错。就我本人来说，对chatgpt的学习，每天一觉醒来都有可能觉得昨天的认知很多是肤浅和错误的。其次，李沐是Mxnet的作者，他应该归类为算法平台出身，后来做了很多论文科普的工作，传播了影响力。对chatgpt应该是没有训练过模型的。因此讲错了了也在所难免。

真正的人间清醒就是：凡是跟我没有利益关系，我可以一句话都不说。但李沐光环加持下，他的讲义很多业界的人都视为了圣经，出于公心来做一个更正。接下来进入正题。

第一：rewards model 是一个精巧的设计。是针对语言学的利器。之所以标注再多的数据都不能替代它，是因为很多时候语言不能量化标注。举个例子，描述天气好。我们有以下表述：

1）今天天气太好了。心情也舒畅。

2）天好蓝，阳光明媚，和风吹脸。

这两个表述你很难说给他一个量化的reward区分。因为语言是有很多中表述的。没有标准答案。就天气好还有更多表述：

3）这样的天气不去公园遛弯简直是犯罪。

4）阳光正温暖，一直照进我的心里。

5）我仰望蓝天，张开双臂拥抱阳光，仿佛拥有了整个世界。

...

这些表述我们很难说有量化的指标，只是排序觉得有些句子的意境也许更好。比如说 5>4>3=2=1这样的一个排序模型，就需要用一个复杂的神经网络来表达这个非线性变化。正因为简单的打分不能胜任这个工作，才用一个RM模型来学。

第二：RM模型容易不收敛跟数据标注没有太直接关系。你标注再多数据他也有不收敛的地方的。不收敛的根上的原因是语言表达的多样性和这样排序关系非线性变化的复杂性造成的。即使是人类，也不一定能讲明白这句话好像比那句话表达更好的原因是什么，只是感觉上这样说更合适。因此RM模型就是会有不收敛的地方。如果真像李沐讲义中说的那样，多标注数据就可以剪掉RM模型，然后训练的pipeline就干净利落了，那openai的人早就做了。正因为这样做解决不了问题才提出RM模型的。

如果说RLHF是chatgpt的核心的话，那么RM模型就是RLHF的指挥棒，因为模型优化的方向就是reward更大的方向。因此这个设计是非常巧妙的，讲语言表达的不确定性和多样性用一个RM模型来表达他们之间的排序关系。从而让chatgpt有了落地的可能。

多说无益，你真正去训练一把RLHF就会深刻体会RM模型的重要性的。

ITPub博客

李沐chatgpt讲义错误的更正

最新文章