新预训练模型CodeBERT出世，编程语言和自然语言都不在话下
新预训练模型CodeBERT出世，编程语言和自然语言都不在话下
对于自然语言处理从业者来说，BERT 这个概念一定不陌生，自从诞生以来，它在诸多任务检测中都有着非常优秀的表现。近日，来自哈尔滨工业大学、中山大学和微软亚洲研究院的研究者合作提出了一个可处理双模态数据的新预训练模型 CodeBERT，除了自然语言（NL），编程语言（PL）如今也可以进行预训练了。
CodeBERT 学习能够支持下游 NL-PL 应用的通用表示，比如自然语言代码搜索、代码文档生成，经实验 CodeBERT 模型在两项任务均取得 SOTA 效果，同时研究者构建了 NL-PL 探测数据集，CodeBERT 在 zero-shot 设置中的性能表现也持续优于 RoBERTa。
CodeBERT 既能处理自然语言又能处理编程语言，比如 Python、Java、JavaScript 等。它可以捕捉自然语言和编程语言之间的语义连接，并输出可广泛支持 NL-PL 理解任务（如自然语言代码搜索）和生成任务（如代码文档生成）的通用表示。CodeBERT 模型基于多层 Transformer 构建而成，Transformer 如今已被广泛应用于大型预训练模型中。
为了利用双模态数据实例 NL-PL 对和大量可用单模态代码，研究者使用混合目标函数来训练 CodeBERT，函数包括标准遮蔽语言建模（MLM）和替换 token 检测（RTD），替换 token 检测利用单模态代码学得更好的生成器，从而输出更好的替换 token。
研究使用了 6 种编程语言训练 CodeBERT，其中双模态数据点是具备函数级自然语言文档的代码。CodeBERT 模型的训练设置与多语言 BERT (Pires et al., 2019) 类似，即针对 6 种编程语言学习一个预训练模型，且不使用显式标记来标注输入编程语言。
https://www.toutiao.com/a1659656281573388
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69946223/viewspace-2677437/ ，如需转载，请注明出处，否则将追究法律责任。
