作者 Maureen de Seyssel，Jie Chi*，Zakaria Aldeneh*
多语言自监督语音模型可以从跨语言信息共享中获益，但在匹配的总预训练数据预算下，它们仍然不如单语言模型。我们表明，在预训练期间增强模型区分语言的能力，可以缩小——在某些指标上甚至消除——多语言模型在连续语音和更高层次语言指标上的差距，同时保留大量的跨语言共享。使用受控的英语/法语 HuBERT 设置，我们测试了两种增强语言区分的干预措施：一个辅助语言分类器和按语言的 k-means 目标。在所有干预措施中，连续特征音素区分错误（phone-ABX，↓）从双语基线的 11.6% 降至 10.4%（单语言：10.8%），而词汇表现（sWUGGY，↑）从 52.1% 提升至 56.7%（单语言：58.5%），韵律表现（ProsAudit，词汇子任务，↑）从 68.9% 提升至 72.9%（单语言：72.6%）。在 HuBERT 训练的各个阶段中，大多数语言指标上的最大提升出现在第一次迭代时引入语言区分，而较晚或重复的干预带来的改进较小，并伴随着语言间隔离的增加。这些结果支持语言区分在降低多语言学习额外成本中的因果作用。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：Apple ML Research
原创地址：https://machinelearning.apple.com/research/language-discrimination-multilingual-learning
原文作者：Apple ML Research；如有侵权，请联系管理员删除。
