关键字: [亚马逊云科技， 生成式AI， CGMaker， 亚马逊云科技， 大模型训练， 无代码部署， 模型微调， 计算资源]

导读

在这场演讲中，演讲者介绍了亚马逊云科技推出的Alan Model Hub无代码解决方案，该解决方案集成了LLamaFacture和EzrOne框架，并与Amazon Web Services CageMaker动态计算资源相结合，可以通过无代码的方式在CageMaker上使用LLamaFacture或EzrOne进行大模型训练、微调和部署。演讲者还分享了两个实际案例，分别是基于LLamaFacture和EzrOne训练的翻译检测模型和图像识别操作模型，详细介绍了数据集构建、奖励函数设计、训练策略等关键环节。Alan Model Hub旨在简化大模型训练流程，提高效率，并充分利用亚马逊云科技的动态计算资源。

演讲精华

以下是小编为您整理的本次演讲的精华。

在这场精彩的演讲中，演讲者首先感谢了开源社区，特别是郑博在开元社区对亚马逊做出的重大贡献。像 LLaMA 和 Zr One 这样的项目已经在亚马逊的许多国内外客户中广泛使用。正是看到了这些开源框架的影响力，亚马逊决定将它们提升并集成到自己的产品中。

接下来，演讲者介绍了亚马逊云科技 (亚马逊云科技) 提供的一套名为 Amazon SageMaker 的端到端机器学习工具。SageMaker 涵盖了从数据准备、模型构建、训练调优到部署管理整个生命周期，形成了一套完整的从科研实验到生产部署的解决方案体系。在 SageMaker 中，核心组件是训练任务 (Training Job) 和推理端点 (Inference Endpoint)，因为我们需要在训练完模型后将其部署，以进行实验和生产级别的使用。

演讲者指出，在进行模型微调时，我们通常会遇到以下几个日常痛点问题:

首先，我们需要选择合适的机器类型进行微调训练。不同的数据规模和基础模型需要选择不同的 GPU 卡和机器类型，这也取决于我们自身的预算限制，因此硬件层面是一个重要的决策因素。

其次，我们需要考虑业务目标，选择适合特定业务场景的基础模型进行微调。例如，如果我们的业务面向欧洲市场，选择中文模型可能效果不佳，反之亦然。在做实验之前，我们无法确定哪种模型更适合，因此希望通过实验来做出最终选择。

第三，我们需要选择合适的训练框架，目前有许多不同的框架可供选择，如 LLaMA、Foxy、Zr One、UnSLAUE 等，它们在效率和工程难度上存在差异。

第四，也是最耗费时间的一个任务，就是数据集的准备。所有模型的效果最终都取决于训练数据，我们可能会花费大部分时间在数据准备上。

为了解决这些痛点，亚马逊推出了一个名为 AlanModelHub 的开源解决方案。该解决方案将 LLaMA 和 Zr One 与 SageMaker 上的动态计算资源相集成，通过无代码的方式在 SageMaker 上使用这两个框架进行模型训练。

AlanModelHub 本质上是一个单体应用程序，可以部署在本地电脑或普通 CPU 服务器上，作为操作界面来调用后端 SageMaker 的计算资源执行任务。它的右侧是一个界面，提供了模型训练、部署和微调的无代码可视化方案。在技术层面，它使用了 LLaMA，但在硬件层面利用了 SageMaker 的底层计算资源。SageMaker 的一大特点是提供了动态伸缩的计算资源，我们可以按需提交任务，只在使用时计费，训练完成后自动关机停止计费，这使得它非常灵活方便。

接下来，演讲者通过几个简单的示例展示了 AlanModelHub 的特点:

第一，它提供了无代码的方式。以使用开源的 DyPsyR1 数据集从头微调一个支持推理的小型模型 LLaMA 3.23b 为例，我们只需在界面上选择模型名称和开源数据集，无需编写任何代码。

第二，它支持分布式训练，使得之前需要自行搭建集群、配置驱动的复杂过程变得非常简单。我们只需在界面上选择机器类型和数量，比如选择4台8卡 A100 机器，SageMaker 就会自动在资源池中拉起32张 GPU 卡构建集群，任务开始后集群自动搭建好，训练完成后集群关闭，无需持续计费。

第三，它支持 Spot 训练。Spot 指的是在云服务器上的闲置资源，亚马逊会以打折的方式提供给客户。不过这种资源的可用时间是不稳定的，客户可能需要等待一段时间才能获得，或者在使用过程中被抢占后任务就会停止。但总的来说，这是一种省钱的训练方式。在 AlanModelHub 中，我们已经预制了自动保存检查点和自动恢复的功能，因此无需担心任务中断后数据丢失，只需开启 Spot 训练即可。

第四，我们可以将训练数据放在 Amazon S3 对象存储上，只需在界面上填入 S3 地址和 LLaMA 所需的数据集元数据文件，就可以自动从 S3 加载训练数据。

第五，整个训练过程中的所有日志都可以在界面上查看，并且训练产生的检查点文件和最终模型文件都会存储在 S3 上，S3 作为一个无限的对象存储，可以存储任何大小的模型和所有阶段的文件。

第六，训练完成后，我们可以一键将模型部署到 SageMaker 推理集群。我们只需选择部署的实例类型和数量，就可以形成一个多机的分布式集群，以支持生产级别的应用和更大的吞吐量。这些节点之间还支持弹性伸缩，我们可以定制策略，在闲时保持较少节点数，繁忙时扩展到更多节点。

第七，AlanModelHub 提供了一个类似于 ChatBot 的界面，我们可以在其中与已部署的模型进行对话和交互。同时，它还能生成调用代码，让我们直接在程序中或通过 API 访问和调用训练好的模型。

接下来，演讲者分享了两个真实的案例，展示了如何结合 SFT、LLaMA 和 Zr One 在 SageMaker 上训练模型。

第一个案例是训练一个翻译质量检测模型。在翻译场景中，我们有时会遇到大模型拒绝翻译、重复翻译等问题。这个任务的目标是训练一个专门的小模型，能够快速对机器翻译的结果进行质量检查，将人工翻译专家的经验融入其中。整个训练分为两个阶段:

第一阶段是监督微调 (SFT)，选择千万38b 作为基座模型，进行全程微调。第二阶段则基于第一阶段的模型，进行100步 GIPU 训练。

在 SFT 阶段的数据集构造中，我们使用一个大模型来合成数据。任务是希望模型按照6个标准对翻译结果进行0-5分打分，0分表示最差，5分表示最好。如果打分低于2分或3分，就需要将该翻译任务转到人工审核通道;如果得分在3分及以上，则无需人工审核。训练设置与前面介绍的无代码方式相同，选择模型、方法、GPU 等。

SFT 阶段的效果显示，对6种错误类型的平均精确率为82%，召回率为81%。不过，虽然有些预测结果与真实标签只相差1分，但在业务上的影响却很大。因为监督微调会对整个序列进行建模，很难学习到序列中极小的差异信息。

因此，我们进行了第二阶段的 GIPU 训练。在这个阶段的数据集构造中，我们构造了问题和答案两个部分，中间是部分推理过程。不同于 SFT 阶段包含完整的推理过程，这里我们只给出最终答案，让模型自己生成推理过程并找到答案。我们根据业务需求定义了奖励函数，如果同时小于2分或同时大于3分，就给予奖励1，否则为0。这与我们的业务定义相一致。我们选择之前 SFT 训练的权重作为初始化，在 Sport 实例上进行训练。

结果显示，经过100步 GIPU 训练后，奖励值从0.8逐步提升到0.95左右。整体的准确率从0.89提高到0.99，提升了将近10个百分点;召回率也提升了4个百分点。

第二个案例是关于训练一个用于图像识别和操作的 GIPU 模型，应用于亚马逊 Fire TV 产品的自动化测试。在这个产品中，需要根据电视屏幕自动移动遥控器上的按键，执行一系列操作。我们构建了一个数据集，给定一张图片，让模型输出遥控器的操作序列，将光标从一个菜单移动到另一个菜单。

这个案例也分为两个阶段的 GIPU 训练。在第一阶段，我们采用了 PPO 算法和 VR7B 基础模型，使用线性平滑的奖励函数，格式奖励权重设为0.5，准确度奖励权重为0.5，训练20步。因为这是直接从强化学习开始训练，模型对于格式方面的遵循还不足，所以我们给予较高的格式奖励权重，以帮助模型快速收敛。

在第二阶段，由于模型已经学会了基本的格式和移动思路，我们将格式奖励权重降低，准确度奖励权重提高到0.9，采用真正的0-1奖励函数，继续训练20步。

结果显示，在第一阶段，验证奖励从0.82提升到约0.95;在第二阶段，真实准确率从0.8提高到0.9，整个训练趋于稳定。我们还尝试了不同的 Rollout 参数，将一次推理中生成的轨迹数从5增加到10，发现效果会更好，但训练时间也会加长。

最后，演讲者总结了在实践中的几点体会:

第一，在真实的模型微调和大模型训练过程中，不可能线性地进行实验，这会耗费大量时间。因此，需要有良好的工具支持并行实验，如 AlanModelHub 能够充分利用 SageMaker 的计算资源池，同时开启多个实验尝试不同参数、数据集和基础模型。

第二，由于 LLaMA 和 Zr One 都接入了可观测性工具如 TensorBoard 和 WandbBoard，这些工具对于日常工作非常重要，我们可以通过它们查看训练过程中的各种数据，方便地发现和观察损失、奖励等，帮助我们更好地分析问题。

第三，演讲者分享了一些技术博客和代码仓库的二维码，供大家扫码获取更多资料。

总的来说，这场演讲全面介绍了亚马逊在 SageMaker 上无代码部署大型语言模型的解决方案 AlanModelHub，并通过两个真实案例展示了它的使用方式和效果。AlanModelHub 将 LLaMA 和 Zr One 等优秀开源框架与 SageMaker 的动态计算资源相集成，提供了无代码、可视化的模型训练、部署和微调方案，大大简化了传统的复杂流程，同时支持分布式训练、Spot 训练等高级功能，显著提高了模型开发的效率和灵活性。

下面是一些演讲现场的精彩瞬间：

我们要根据业务目标选择合适的基础模型进行微调，比如针对欧洲市场选择欧美模型，针对国内中文业务选择国内中文模型，通过实验找到最佳选择。

通过 SageMaker 服务，只需发送一个命令，即可自动在资源池中选择并配置多台机器进行分布式训练，无需手动搭建集群和配置环境，训练完成后集群自动关闭，极大简化了分布式训练的流程。

启用 sport 训练模式可以利用云服务器的闲置资源以打折价格进行训练，并自动保存和恢复训练进度，从而节省成本但可能延长总体训练时间。

总结

亚马逊云科技推出了一款名为“Alan Model Hub”的无代码解决方案，旨在简化大模型的训练和部署流程。该解决方案集成了开源框架LLaMA和Foxy，并与亚马逊云科技的SageMaker服务相结合，提供了一个可视化界面，用户无需编写代码即可完成模型的训练、微调和部署。

Alan Model Hub的主要优势在于:1)无需编写代码，通过可视化界面即可完成操作;2)充分利用亚马逊云科技的动态计算资源，实现高效的分布式训练;3)支持检查点保存和自动恢复，确保训练过程的稳定性;4)提供了聊天界面，可直接与训练好的模型进行交互。

演讲者还分享了两个实际案例，分别是翻译检测模型和图像识别模型的训练过程。这些案例展示了Alan Model Hub在不同场景下的应用，以及如何通过奖励函数设计和多阶段训练来优化模型性能。

总的来说，Alan Model Hub为大模型的训练和部署提供了一种简单高效的解决方案，有助于降低工程复杂度，加速模型开发和应用。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。