美国环境保护署追踪了近800种有毒物质的排放情况，如果能找到更环保、高性能的替代品，企业会乐于淘汰这些物质。如今，AI有潜力为科学家提供强大的新工具来实现这一目标，通过发现对人类和环境更安全的新材料。

在庞大的分子数据库上预训练的基础模型可以一次筛选数百万个分子，寻找具有理想特性的分子，同时剔除具有危险副作用的分子。这些模型还可以用于生成自然界中完全不存在的新分子，绕过传统漫长、基于试错的发现过程。

近几个月来，IBM Research在GitHub和Hugging Face上发布了一系列新的开源基础模型。任何拥有少量数据的人都可以根据自己的应用需求定制这些模型，无论是寻找更好的电池材料来储存太阳能和风能，还是寻找有毒PFAS“永久”化学品的替代品——这些化学品存在于从不粘锅到笔记本电脑或手机内部芯片的各种产品中。除了模型之外，IBM还设计了多种方法来融合不同的分子表示。

这些模型可以单独使用，也可以组合使用，在短短几个月内，它们已被下载超过100,000次。“我们对迄今为止看到的强烈兴趣感到鼓舞，”IBM Research材料基础模型（FM4M）项目联合首席科学家Seiji Takeda表示。“我们很期待看到社区能创造出什么。”

机器可读的分子

与许多大型语言模型所关注的文字不同，分子存在于三维空间中，其物理结构在很大程度上决定了其行为。将AI应用于化学的一大挑战在于如何以计算机能够有效分析和操作的方式来表示分子结构。

多年来出现了各种表示方式。分子结构可以用自然语言总结，如SMILES和SELFIES文本字符串；可以用带有原子“节点”和键“边”的分子图表示；可以用描述其物理性质相对强度的数值表示；还可以用光谱图表示，光谱图通过显微镜捕获，展示目标分子与光的相互作用。

在将AI应用于分类和预测任务时，每种格式都有其优势——也有其局限性。SMILES数据集以文本字符串表示约11亿个分子，是世界上最大的数据集。但由于SMILES字符串将3D分子简化为文本行，宝贵的结构信息可能会丢失，导致AI模型生成无效分子。另一种相关但不同的格式SELFIES为表示有效分子提供了更稳健、更灵活的语法，然而，与其他文本表示类似，它也缺乏3D信息。

相比之下，分子图能捕捉原子及其键的空间排列，但这种细节需要付出沉重的计算成本。通过实验和模拟收集的数据也可以提供丰富的信息，但它们也有缺点：用于训练化学AI模型的实验数据可能不完整或包含错误。例如，分子与电磁波谱相互作用的测量可能只包含可见光分析，而遗漏红外或紫外光，从而使AI模型对世界产生偏颇的认知。

IBM研究人员在制定材料基础模型构建计划时，对每种表示方式的优缺点进行了讨论。他们最终独立预训练了每个具有独特模态的模型。

SMILES-TED和SELFIES-TED（“transformer编码器-解码器”的缩写）分别基于来自PubChem和Zinc-22数据库的9100万个SMILES和10亿个SELFIES验证样本进行了预训练。MHG-GED（“基于图的编码器-解码器的分子超图语法”的缩写）基于140万个基于SMILES的图进行了预训练，这些图包含其原子序数和电荷。

调用多个专家

一种被称为混合专家（mixture of experts，简称 MoE）的 AI 架构，已成为一种流行的方式，通过使用路由器为不同任务选择性地激活模型权重的子集，从而更高效地服务大型模型。MoE 接收用户输入的查询，并将其交给路由算法，由该算法决定哪些“专家”最适合该任务。

IBM 研究人员利用 MoE 概念，将他们基于 SMILES、SELFIES 和分子图的模型的互补优势融合在一起。在 2024 年于温哥华举行的 NeurIPS 会议上的一项近期研究中，他们表明，通过在“多视图”MoE 架构中结合这三种数据模态的嵌入，他们可以超越其他仅基于单一模态构建的领先分子基础模型。

他们在 MoleculeNet 上测试了他们的 MoE，这是斯坦福创建的基准，反映了药物和材料发现中常用的一些任务。该基准包括各种各样的分类任务，其中可能包括预测给定分子是否有毒；以及回归任务，其中可能包括预测给定分子在水中的溶解度。研究人员发现，他们的多视图 MoE 在这两类任务上都优于其他领先模型。

MoE 方法还提供了关于哪些数据表示与哪些类型任务最匹配的见解。例如，研究人员发现，他们的 MoE 在某些类型的任务中更偏好基于 SMILES 和 SELFIES 的模型，而在其他任务中则均匀调用所有三种模态，这表明基于图的模型在某些问题上增加了预测价值。

“这种专家激活模式表明，MoE 可以有效地适应特定任务以提升性能，”IBM Research 的高级科学家、共同领导该项目的 Emilio Vital Brazil 说。

下一步是什么

IBM 研究人员将在 2 月举行的美国人工智能促进会（AAAI）会议上演示这些基础模型及其能力。在未来一年，他们计划发布新的融合技术，以及基于更多数据模态构建的模型，包括原子在 3D 空间中的定位。

通过 AI Alliance，IBM 还正在与学术界和工业界的其他研究人员合作，以加速发现更安全、更可持续的材料。今年春天，IBM 与日本材料公司 JSR 启动了一个材料工作组（WG4M），目前已吸引约 20 家企业与学术合作伙伴。

该小组专注于开发新的基础模型、数据集和基准，这些可应用于从可重复使用塑料到支持可再生能源所需材料等一系列问题。“没有时间可以浪费，”IBM Research UK 新兴技术 CTO Dave Braines 说。“从半导体制造到清洁能源，几乎每个行业都需要新的、更可持续的材料。AI 现在赋予了我们倍增创造力的能力。”

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/foundation-models-for-materials