SFT
SFT是Supervised Fine-Tuning的缩写，是一种微调方法，主要用于预训练模型的下游任务。它是在预训练模型的基础上，通过有监督的Prompt数据进行精调，做next token prediction任务，然后用精调后的模型对每个输入的文本和Prompt进行generate，生成4~9个输出，并且进行解码操作 。
PEFT
PEFT是Parameter-Efficient Fine-Tuning的缩写，是一种参数高效微调技术，旨在优化在具有有限计算资源的情况下进行深度学习模型微调的过程。在PEFT中，研究人员使用一系列策略来减少微调所需的计算资源，从而在保持模型性能的同时提高微调的效率。PEFT中常用的方法包括：Adapter Tuning、Prompt Tuning、Prefix Tuning和Fine-Tuning等。
Adapter Tuning
Adapter Tuning 是一种参数高效的微调技术，可用于在低资源硬件上对大型语言模型进行微调。Adapter Tuning 通过添加一个小型参数模块，称为 Adapter，来实现其效率。Adapter 是从预训练模型中提取的知识，并在微调过程中进行训练，以提高模型在特定任务上的性能。Adapter Tuning 方法如下：
从预训练模型中提取知识。
添加 Adapter 到预训练模型中。
对 Adapter 进行训练，以提高模型在特定任务上的性能。
Lora
Lora是 Low-Rank Adaptation 的缩写，是一种可以用于大语言模型微调的参数高效技术。它通过将预训练模型的权重分解为低秩矩阵来实现其效率。这大大减少了需要更新的参数数量，从而缩短了训练时间和所需的计算资源。Lora 微调方法如下：
将预训练模型的权重分解为低秩矩阵。
冻结大部分权重，仅微调少量权重。
在微调数据集上训练模型。
原文作者：芝士AI吃鱼；如有侵权，请联系管理员删除。
