在负样本数据上进行微调，产生了一个非常适合化学领域的模型，因为在化学领域中成功的实验十分罕见。失败的实验让化学语言模型更加准确。

负面结果未必是坏事。事实上，一次失败的实验可能与一次成功的实验同样具有信息价值。无论化学实验产生了意外的产物还是完全没有产物，它都为成功反应所需的条件提供了新的见解。IBM Research 的科学家已经证明，这对 AI 模型同样适用。一个研究团队训练了一个语言模型来预测化学反应，结果发现，当他们用成功和失败的化学实验混合数据对其进行调优时，模型的准确率高于仅用成功实验进行调优的情况。

科学界对负面发现的接纳程度比十年前要高得多，而 Transformer（深度学习中的注意力模型架构） 革命正在凸显其中一些数据的用途。IBM Research 团队的一篇新论文今天发表在 Science Advances 上。1 该论文描述了一个基于 Transformer 的语言模型，它使用“成功”实验的数据进行训练，并通过强化学习框架进行微调，利用了至少 40 倍于成功实验的“不成功”或“负面”实验数据。

“你可以把化学想象成拥有语法和句法规则，”该新研究的首席研究员、IBM Research 科学家 Mara Graziani 说。Graziani 表示，语言模型可以学习这些规则，模型可以被训练来理解这些规则，并基于这些规则执行操作。

从不同类型的失败中学习

研究人员在本研究中使用了两种不同类型的不成功实验：产生了意外但具有化学相关性的产物的实验，以及没有包含重要见解的实验。Graziani 和她的同事认为，这两类负面反应都包含可用于更好地理解化学领域特定语言的信息。

“通过试错来学习一门语言，比仅仅重复正确的句子更容易，”她说。在化学领域，与语言错误一样，这些负面样本并非随机的——失败具有信息价值，因为每一次尝试都基于背景知识和有根据的假设。这两类负面反应都为如何最终构建成功的实验提供了反馈。

Graziani 和她的同事基于 IBM 在将基于 Transformer 的语言模型应用于化学语言处理方面的开创性工作，使用从美国专利商标局（USPTO）专利中提取的化学反应训练了他们自己的模型。其语言建模核心使用的正是后来被扩展用于驱动最先进大型语言模型（包括 IBM 的 Granite 系列）的 Transformer 主干。他们在两个化学数据集上对模型进行了微调——一个包含 500 多个表征良好的亲电芳香取代反应但没有负面数据，另一个包含真实世界结果以及负面数据。不过，第一组数据可以很容易地生成负面数据，因为该反应类型可能出现的意外产率只有少数几种。

“早在当今大型语言模型激增之前很久，IBM 就一直是使用语言模型（Transformer 架构）进行科学应用的先驱，”IBM Research 科学家 Teodoro Laino 补充道。“我们 2019 年的论文是最早将语言模型应用于科学的论文之一，它成为了我们现在用来从不成功实验中提取见解的强化学习技术的跳板。”2

寥寥无几

该研究小组的模型微调非常细致，他们精心设计了奖励函数，以支持使用基于人类反馈的强化学习（即 RLHF）。这种方法在机器视觉和自然语言处理任务中很常见，但在化学领域并非如此。关键在于以合理的方式构建奖励函数。处理大量负样本和极少正样本的困难在于，你是在一个非常稀疏的空间中获取奖励——这对强化学习来说是一项艰巨的任务。

在典型的 RLHF 案例中，有大量正数据可以教模型如何识别和预测期望或不期望的结果。但同样，在化学实验室中并非如此，在所有失败之中只有极少数突破。成功归结于在潜在空间中使用化学反应的向量表示，该表示最初针对 token 预测进行了优化，随后又被进一步调优，以在大量负面结果中区分出正面结果。

重新编码潜在空间，使成功反应彼此更接近，从而能够将正例与负例进行分类。在这个新的表示空间中，最优间隔将任务转化为成功反应与不成功反应之间的简单边界分离。

“最终这就是诀窍，”Graziani 说。因此在训练时，使用生成模型预测数据中未见的新反应，微调后的模型可以区分它应该嵌入的位置，并可以为其预测的反应是否可能成功的猜测提供信息。

与在 USPTO 数据上训练但未在负数据上微调的模型相比，微调后的实验模型在预测成功反应方面表现好了超过 10%。在测试数据集中，所有可能的正例都已被描述，因此当模型预测一个成功反应时，结果是清晰的。

收集负数据

Graziani 说，这一研究方向的挑战之一不在于说服化学家认识到负反应数据的价值（事实上，许多观点文章已经倡导其重要性），而在于愿意发表它的渠道稀缺。除了少数公开整理的数据集外，当今的出版生态系统没有提供报告失败实验的渠道，因此模型仍然缺乏所需的数据。

这个问题根源于学术出版和职业晋升的激励机制，它们奖励重大的个人贡献而非有条理的团队努力。2015 年社会科学领域的可重复性危机重新揭示了重复研究在科学文献中的重要性，但在学术期刊头版看到零结果仍然很少见。这个新模型在这种环境中脱颖而出。

“在实验案例中，你可能拥有大量负样本但正样本非常少，”Graziani 说，“我们的方法在某种意义上胜出，因为它解锁了否则会停留在简化调优中的学习机制。”

参考文献

• Negative Chemical Data Boosts Language Models in Reaction Outcome Prediction , Science Advances , 2025 ↩

• Molecular Transformer: A Model for Uncertainty-Calibrated Chemical Reaction Prediction , ACS Central Science , 2019 ↩

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/how-to-make-ai-models-more-accurate-embrace-failure