今天的发布奥特曼自己没来，介绍的内容涉及到了比较专业的内容，Reinforcement Fine-Tiuning（强化微调）
这个东西简介：https://openai.com/form/rft-research-program/
概括意思：开发人员能够使用数十到数千个高质量任务定制模型，并使用提供的参考答案对模型的响应进行评分，从而强化了模型如何推理类似的问题，并提高了准确性。然后，这个模型主要使用对象应该是研究人员，当然发布的是alpha版本，可以根据大家的实际需要优化API
也就是说，可以用专业知识结合o1，搞出一个垂直领域的专业模型。尤其是针对一些没有那么大数据量的场景，比如对于罕见疾病的研究等。之前的训练推理，可以理解为是一种模仿行为，通过海量的数据，让模型去模仿出一个看上去合理的结果。而强化微调，则是在特定的领域进行归纳和推理（在有正确答案的前提下）。其需要的数据量可以减少到dozens，也就是几十个的量级。
发布会中提到的一些基因引起的罕见病，让大模型从症状找出与遗传基因之间的关系，而且解释原因。
实验中，使用了o1正式版，和o1 mini和o1的强化微调版，为了评估输入的病例报告和输出结果的准确性，视频中提供了三个维度评估，即一次就答对的概率，5次内答对的概率，以及能答对（模型预测中只要包含正确答案就算）的概率。
有趣的是o1 mini的强化微调版，直接把昨天刚发布的o1正式版也按在地上摩擦了。好嘛，昨天刚发布的东西就落伍了是吧。
奥特曼本人虽然没到场，不过他在媒体上宣称这个是2024年的"biggest surprise"。因为模型可以在垂直领域走向专精。在医疗，保险，金融等各个领域都有很好的使用预期。
说到这里，我还是想谈谈AGI，以前我曾经提到过，基本不可能有一种单一的AI技术成为所谓的AGI。如果有，那很可能是一堆不同模型的联邦，因为对一个模型的训练，A领域的训练很可能会干扰B领域的结果。所以其实AGI将来的可能无非是两个，一个就是基于一个通用模型基础，在不同的垂直领域加强训练出领域模型，另一个就是把不同用途的模型整合起来，用一个小模型来进行管理。
就像一家小饭店，老板可能兼任收银员和服务员，但是大公司里，必然是每个人各司其职各擅其事的。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/70042829/viewspace-3056725/
，如需转载，请注明出处，否则将追究法律责任。
