作者 Paul Jeha†**、Anastasiia Sedova、Louis Béthune、Skyler Seto、Jes Frellsen†‡、Pierre Ablin‡、Natalie Schluter‡
对于世界上大多数语言而言，语言模型预训练处于数据受限的状态，模型必须多次重复其训练数据，从而损害了泛化能力。存在两种补救措施：激进的超参数调优（例如高权重衰减），以及混入来自高资源辅助语言的数据以直接帮助低资源目标语言。超参数调优通过收缩权重来限制网络容量以正则化模型，而辅助数据混合则使用可调的混合比例来扩展训练分布，并用新知识使训练信号多样化。两者都为在数据受限领域改进训练提供了有原则的方法。我们在从 150M 到 1.43B 参数的四种模型规模上系统地比较了这些手段，以阿拉伯语作为低资源目标语言、英语作为辅助语言，进行了约 1000 次预训练运行。得出了三个发现。第一，在验证损失和下游任务准确率上，混合带来的改进都大于超参数调优，且差距随模型规模增大而扩大。第二，我们量化了混合的帮助程度：在验证损失上，它将性能提升到相当于 2–3 倍唯一目标数据的效果；在下游任务准确率上，相当于 2–13 倍，且增益随模型规模急剧增长。第三，这种差异揭示了目标语言验证损失系统性地低估了混合的价值。混合通过使训练信号多样化来实现正则化，并贡献了重复的目标语料库无法提供的新知识；验证损失只捕捉到了第一种效应。我们的实用建议是：混入一种高资源语言，优先考虑混合比例而非超参数调优，并通过 μP 从小型代理模型迁移超参数。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：Apple ML Research
原创地址：https://machinelearning.apple.com/research/mix-dont-tune
原文作者：Apple ML Research；如有侵权，请联系管理员删除。
