导语：当大模型的训练数据逐渐逼近存量上限，研究界的注意力正在从“堆更多数据”转向“把已有数据用得更聪明”。Apple ML Research 的两篇新论文分别从奖励信号设计和失败轨迹回收两个角度切入后训练阶段，而 Google DeepMind 的 AlphaGenome Atlas 则展示了另一种思路——用大规模预计算把单一模型的预测能力转化为可被整个科研社区调用的基础设施。三篇素材看似分属不同领域，但共同指向一个问题：如何为复杂任务构造更细粒度、更可解释的监督与预测信号。

一、把“打分”拆开：基于评分标准的对齐框架

开放域问答的奖励信号设计一直是个难题。一个高质量回答往往需要同时满足多个维度的要求——内容是否完整、是否有证据支撑、是否遵循了用户的指令——而传统的整体标量奖励很难把这些方面区分开来。

Apple ML Research 提出的基于评分标准的奖励框架（Rubric-based Alignment）试图解决这一问题。其核心做法是：生成以检索证据为依据、并分解为多个质量维度的查询特定评分标准，在训练后阶段提供细粒度监督。

从结果看，在组成（composition）、依据性（grounding）和指令遵循（instruction following）三个评估维度上取平均：

• 相比指令微调基线提升 6.5%；
• 相比扁平评分标准变体提升 4%；
• 在所有评估数据集上取得一致增益。

论文给出的两点归因值得注意：其一，将评分标准以检索证据为条件可以改善事实支持；其二，将评分标准分解为特定质量维度则进一步改善连贯性、组织性和对查询要求的遵循。换句话说，“依据”和“拆解”分别解决了不同层面的问题，而不是简单的叠加。

依据现有素材判断，这项工作属于后训练阶段的奖励建模改进，并未涉及新的预训练方法或模型架构变更。它的价值在于把“好答案”这个模糊目标，转化为一组可分别优化的、有证据锚定的子目标。

配图建议：评分标准框架从检索证据到多维度评分的流程示意。

二、从失败中回收黄金轨迹：PROOF-Gen

如果说第一篇论文在优化“如何评价”，那么 PROOF-Gen 则在优化“用什么数据训练”。

Apple ML Research 的这篇工作指出了一个被广泛忽视的成本结构问题：在教师模型生成的轨迹上进行监督微调，是把工具调用能力蒸馏到可部署模型中的标准第一阶段。已发布的工具调用智能体后训练流水线会以每日或每周的节奏重新运行这一阶段，每个周期都要支付前沿教师模型的成本。但其机制本质上是“生成并过滤”——保留教师模型通过的轨迹，丢弃其余部分。

问题在于：每个周期都会留下相同的困难场景，因为失败无法提供任何信号。

论文给出了 τ2-bench 上的具体数据：57% 的教师试验失败，其中三分之二是接近成功的失败——大多数工具调用正确，但被一个决定性错误破坏。这类失败恰恰包含最有价值的信息，却在过滤机制中被直接丢弃。

PROOF-Gen（Per-scenario Reflective Optimization to Overcome Failed Generation，逐场景反思优化以克服失败生成）的做法是：对于每个失败任务，一个反思器会分析执行轨迹和评估反馈，然后编写纠正性指导，引导教师模型走向通过的轨迹。关键设计在于——该指导在训练前会被剥离，因此学生模型从干净的演示中学习，不包含任何任务特定的脚手架。

效果数据：

• 在 τ2-bench 上，逐场景优化恢复了 93% 的失败场景；
• 在合并数据上微调后，Qwen3-4B-Instruct-2507 从 Passˆ1=0.132 提升至 0.529；
• Gemma 4 E4B-it 在 BFCL v4 多轮任务上提升 +7.2pp；
• 在已部署的流水线中，该方法将轨迹质量提升 +6.3pp 的目标完成率，并迁移到已部署的端侧模型（+1.5pp 目标完成率；在响应质量指标上提升 +1.7 至 +5.0pp），在所有语言区域均实现正向迁移（非英语平均 +1.48pp）。

值得注意的是最后一点：非英语区域的正向迁移说明这种基于反思的轨迹修复并非只对英语任务有效，而是具有跨语言泛化性。依据现有素材判断，论文未披露反思器本身的具体模型配置，也未说明剥离指导的具体实现方式。

配图建议：PROOF-Gen 中“失败轨迹—反思—纠正性指导—剥离—干净演示”的流程图。

三、90 亿个 DNA 变异的预测图谱

前两篇论文处理的是模型训练中的信号问题，Google DeepMind 的 AlphaGenome Atlas 则把“预测”本身做成了基础设施。

人类基因组中大约有 90 亿个可能的单字母突变，在实验室中逐一测试实际上是不可能的。AlphaGenome 已经是一个能够预测遗传变异如何影响生物过程的 AI 模型，但此前主要用于分析特定变异。Atlas 的思路是大规模预计算 AlphaGenome 的预测结果，从而向研究人员展示整个基因组中变异的全局视图。

规模上，AlphaGenome Atlas 是一个1 拍字节（petabyte）数据集，比 AlphaFold Database 大 30 多倍。作为参照，2022 年扩展 AlphaFold Database 时，可用的 3D 结构信息从约 19 万个实验结构扩展到超过 2 亿个结构预测。

Atlas 提供四类相互关联的资源：

• 分子效应预测：包含每个变异的数千个分子效应预测，涵盖基因调控的多个重要方面，跨越数百种人类和小鼠细胞类型及组织；
• AVI 评分（AlphaGenome Variant Impact）：一个描述每个遗传变异影响的单一数值，结合了 AlphaGenome 和 AlphaMissense 两个模型的预测；
• AVI 特征归因：每个 AVI 评分关联驱动它的不同生物学特征，例如基因调控方面或蛋白质影响评分；
• DNA 序列基序：超过 2,500 个重复 DNA 序列及其位置的综合集合。

AVI 评分的一个关键特性是同时适用于编码区和非编码区。编码区仅占基因组 2%，而非编码区占其余 98%，协调基因活动并容纳了大多数与性状相关的变异。论文称，AVI 评分在许多变异致病性和罕见病基准测试中提供了同类最佳的性能。

合作者验证的三个方向

素材中给出了三个已通过外部合作者验证的应用案例：

未解决的罕见病。 与 GREGoR Consortium 合作，Broad Institute 的 Laura Covill 和 Anne O’Donnell-Luria 及其同事使用 AVI 评分优先筛选先前研究中被忽视的变异，发现了一个影响 DNM1 基因的变异，该基因与癫痫性脑病密切相关。AlphaGenome 预测显示该变异创建了一个错误的剪接位点，导致所得蛋白质异常延伸，实验筛选验证了这一预测。

群体遗传学。 埃克塞特大学的 Gareth Hawkes 将 Atlas 应用于超过 54,000 名 UK Biobank 参与者的全基因组数据。通过根据预测的分子效应对抗性变异进行分组，他发现了多出 22% 的非编码遗传关联，并精确定位了驱动关键循环蛋白丰度的特定调控变异，包括 PLA2G7（与衰老相关）和 EGLN1（一种重要的细胞氧传感器）。进一步聚焦 Atlas 预测影响最大的 1% 非编码变异，他识别出 19 个与体重指数相关的遗传区域。

调控“词汇”。 Stowers 医学研究所的 Julia Zeitlinger 和 Melanie Weilert 使用该资源对转录因子进行分类，区分哪些仅影响 DNA 的可及性，哪些还能够开启和关闭基因。

可用性与边界

AlphaGenome Atlas 通过网站门户、AlphaGenome API 以及作为 Google Antigravity 中的一项技能提供。从发布之日起开放用于非商业用途，不久后将在 Google Cloud 上开放商业用途。AlphaGenome 基础模型已在 GitHub 上通过 AlphaGenome API 供学术使用，也可通过 Model Garden 在 Cloud 上用于商业用途。

素材中明确声明：AlphaGenome Atlas 提供的信息不旨在替代专业医疗建议、诊断或治疗，AlphaGenome 尚未经过临床验证，也未获准用于任何临床用途。

配图建议：AlphaGenome Atlas 概览图——从全基因组预计算效应到 AVI 评分再到特征归因的三层结构。

四、三条路径的共同指向

把三篇素材放在一起看，可以发现一个共同的思路转向：不再依赖单一的整体信号，而是把监督或预测拆解为可解释、可归因的组成部分。

• 评分标准框架把“好答案”拆成多个质量维度，并用检索证据锚定每个维度；
• PROOF-Gen 把“教师轨迹”拆成成功与失败两类，并从失败中提取可复用的纠正信号，再在训练前剥离；
• AlphaGenome Atlas 把“变异影响”拆成 AVI 评分加特征归因，让研究者不仅知道影响多大，还知道影响在哪个分子过程上。

另一个共同点是对既有资产的再利用。评分标准框架复用检索证据；PROOF-Gen 复用原本会被丢弃的失败轨迹；Atlas 复用 AlphaGenome 和 AlphaMissense 的预测能力，通过预计算把单次推理变成可检索的数据集。在算力和数据成本持续上升的背景下，这种“把已有信号榨干”的思路，可能比单纯扩大规模更具现实意义。

依据现有素材判断，这三项工作目前都处于各自领域的验证阶段：评分标准框架的增益在特定评估维度上得到验证，PROOF-Gen 的效果在 τ2-bench 和 BFCL v4 以及一条已部署流水线上得到验证，AlphaGenome Atlas 则有多个独立研究机构的实验验证案例。它们是否会成为各自方向上的通用范式，还需要更多后续工作来确认。

参考来源

1. Apple ML Research, From Preferences to Principles: Rubric-Based Alignment for Grounded Knowledge Answers, https://machinelearning.apple.com/research/rubric-based-alignment
2. Apple ML Research, PROOF-Gen: From Optimized Data to Better Distillation, https://machinelearning.apple.com/research/proof-gen-optimized-distillation
3. Google DeepMind Blog, AlphaGenome Atlas: A Predictive Map of Every Possible DNA Letter Change in the Human Genome, https://deepmind.google/blog/alphagenome-atlas-a-predictive-map-of-every-possible-dna-letter-change-in-the-human-genome/

生成标记：本文由 ITPUB 文章生成平台基于已选素材整理生成。