导读

Amazon SageMaker 使数据科学家和机器学习工程师能够加速他们的生成式 AI 之旅，通过深度定制公开可用的基础模型（FMs）并将其部署到生产应用中。这一旅程始于 Amazon SageMaker JumpStart，这是一个提供数百个公开可用基础模型访问的机器学习中心，如 Llama 3、Falcon 和 Mistral。参加本次会议，了解如何评估基础模型、选择合适的模型、使用高级技术进行定制，以及如何部署模型——同时实施 AI 责任、简化访问控制并提高透明度。

演讲精华

以下是小编为您整理的本次演讲的精华。

好的，欢迎大家来到AIM 303。今年谁对参加re:Invent感到兴奋?好吧，再来一次。今年谁对参加re:Invent感到兴奋?就是这样!我们非常高兴今晚你们能亲自到场，也欢迎那些在其他房间的人远程参与。我们将讨论如何使用SageMaker定制基础模型。

我是Carl Albertson，负责SageMaker和Bedrock Inference的产品管理团队。我的同伴是Mark Carp，他是SageMaker的解决方案架构师之一，以及Marin Corian，亚马逊的杰出工程师。

那么，我们今晚在这里的原因是什么呢?我猜这里有许多人已经开始测试现成的基础模型，也许还尝试推动这些模型的极限，无论是你想获得的性能提升、准确性，还是为了大规模生产部署而寻求降低成本。这就是微调基础模型可以发挥作用的地方。

在接下来的60分钟里，我们将讨论何时有必要微调基础模型、如何选择这些模型和准备数据、SageMaker提供的简化这一过程的功能，然后Mark将上台进行演示，展示如何入门。之后Marin将加入，讨论亚马逊如何在许多你们日常使用的产品中使用微调后的模型。

好的，在深入之前，我想先让大家了解一下典型的基础模型工作流程。通常你会选择许多现成的模型，可能会根据你的特定提示库或性能基准对它们进行评估。你可能会定制一些部署，然后将它们投入部署。这通常是一个反复的过程。你要测试多个模型系列、多个模型大小，然后每3个月当新模型发布时，你就必须重复整个过程。

因此，当我们将微调引入这个周期时，它增加了一些复杂性，但我认为在许多情况下，这种复杂性是可控的，而且通常是有益的。

那么，什么时候有必要进行微调呢?正如我开始时提到的，如果大多数人开始触及极限，这一点就会变得显而易见。例如，假设你想提高模型的准确性。你正在寻求一个针对特定用例具有足够准确性和稳健性的概念验证。这可能与你的领域、功能或业务有关，而仅依赖于开放网络数据训练的模型可能无法满足需求。这就是微调模型的一个很好理由。

其次，你已经有了一个令人信服的概念验证，但要将其扩展到预期的生产流量，成本变得难以承受。因此，你在寻找如何从较小的模型中获得更多，以获得类似的准确性，但能够节省成本，使推理可以经济地进行，并真正扩展到生产环境。

或者第三，你可能有一个对延迟要求非常敏感的用例。比如说，你有一个聊天用例，需要快速响应。因此，你可能会寻找一个较小的模型，它具有大型模型的性能和准确性。这就是三个很好的考虑微调的理由。

另一方面，什么时候你已经准备好进行微调了?我认为这真正归结为两点。一是你是否拥有独特且与众不同的数据集，不会包含在原始训练语料库中?我猜很多人都拥有这样的数据集。这可能是你的客户在使用你的产品和服务时产生的数据，这是一个宝贵的信息宝库，可用于微调模型。或者，如果你想改进内部流程和内部用例，这时你可以查看自己的文档，真正提升团队的水平，简化流程。

我看到很多客户从客户服务和客户支持用例入手，因为在内部用例中，响应中的有害内容风险较小，而且你拥有大量问题和答案的数据，以及回应客户时使用的语言和语气。因此，这些都是非常好的数据集，可以用来开始工作，然后扩展到更多关于企业和业务的用例。

好的，现在你已经有了微调的理由和准备微调的条件，那么我们如何实际进行微调呢?嗯，这实际上是一个相当耗时、费力的过程。你必须准备数据集，然后选择合适的实例类型并设置所需的配置。接下来，你将选择合适的超参数，并可能需要进行大量迭代来不断改进。最后，你需要编写评估脚本并设置评估指标，在完成所有这些之后，你还需要打包这些模型并使其准备好部署。

所有这些都非常耗时，而且与你带来的数据和知识并没有太大区别。这就是SageMaker的用武之地。SageMaker确实承担了大部分繁重的工作，让你可以跳过许多基础工作，专注于你能带来差异化的地方，那往往就是我们之前提到的独特于你业务的数据集。这是你对客户和产品拥有的知识。在开始使用SageMaker套件中的一些工具和服务时，你就可以专注于这些方面。

所以我将介绍几个关键功能，帮助你入门。首先，在SageMaker中，我们提供了数百种可微调的预训练基础模型。我们让你很容易找到可用于微调的模型。你可以按模型系列、模型大小过滤，看哪些模型可以进行微调，这样你就可以直接开始。我们通过一个易于使用的UI使这一过程变得简单，该UI可以在SageMaker Studio中的一款名为SageMaker JumpStart的产品中发现。同样，你也可以非常轻松地在SageMaker SDK中使用它们，因此这也可以通过编程方式完成。

此外，我们增加了功能，允许你策展在企业内呈现的模型。我们收到反馈，许多客户希望控制在团队内提供的模型类型。他们可能希望特定许可类型的模型、经过审查的特定模型系列或个别模型。因此，通过策展功能，我们允许你限制可向团队展示或使用的模型，以便快速开始使用这些经过批准的模型。

最后，所有这些模型实际上都是从亚马逊云科技基础设施部署的，这意味着你可以在敏感环境中部署它们。你可以将它们部署到VPC中，实现网络隔离，如果你正在处理敏感数据或敏感环境，这一点非常重要。

好的，现在我们已经选择了一个或一些想要开始使用的模型。那么我们将讨论数据准备的相关内容，我想花一些时间讨论一下微调的几种类型，因为这将影响你实际准备数据的方式。

一个常见的用例是领域适应，即你采用现成的基础模型，并根据你特定行业或职能的需求对其进行改进。例如，如果你是一家法律公司或金融服务公司，你可以为模型提供更多法律文件、法律简报或公司内部研究资料，这相对来说比较直接，因为你只需提供文档本身，这是对最初训练过程的延续。我们只是在学习基于这个新的训练语料库预测下一个标记。

现在，指令微调有一点不同，在这里你要为模型提供特定的问题和答案对，从而训练模型如何回答这些类型的问题。如果你想以贯穿整个公司的特定方式总结信息，或者你想生成遵循相对通用模板的新数据，这将非常有帮助。你可以预先训练这些模型遵循这些指令，这样当你呈现新信息时，它们将遵循这些模板或典型指令。

第三种情况是视觉问答，随着模型开始超越纯文本，更多地采用多模态，这与指令微调类似，都是问题和答案对，但现在你还增加了一个图像层。

所以这就是你最初准备数据集的方式。至于如何实际配置数据并发送给模型，领域适应可能是最直接的。它只是一个简单的文本文件，而指令微调或视觉问答则使用JSON格式，你需要明确识别模型扮演的角色以及问题和答案对。

好的，这通常是客户问我的时候，“我实际上需要多少微调数据才能生成良好的响应?”大多数人在思考这个问题时，认为需要数十万或数百万量级的数据集，这与原始模型训练时使用的数据集的数量级相当。

但我今晚要分享的一个好消息是，我们发现实际上可能需要的数据量要少得多。当然，情况并非总是如此，但我们发现在许多情况下，仅仅几百个示例，有时甚至不到100个示例，就可以显著提高微调模型的准确性。

我与你们分享这一点，是为了鼓励你们，无论你们拥有多少数据，都可以尝试微调模型，你们可能会对这相对较小的数据集所产生的影响感到非常惊喜。

我还想补充一点，那就是客户开始越来越多地尝试使用合成数据来创建或扩充他们的数据集。因此，如果你没有几十或几百个示例，你并不一定束手无策。

我们看到了一些非常令人信服的例子，客户利用大型模型(在这种情况下是4050亿参数的LLaMa模型)来生成对他们问题或数据注释的非常准确的回答。然后，他们可以让人工团队审核这些回答，确保它们确实适用于他们的领域，之后就拥有了一个优秀的问答对，可以用来为一个更小的模型提供指令。

这就是一个例子，我在屏幕上分享的是，你可以使用450亿参数的模型生成那些注释或答案，然后使用80亿参数的模型(这是生产环境中非常常见的模型)。你可以使用这个问答对来为一个更小的模型进行指令微调，在许多情况下，都可以获得准确的结果，并且可以经济地进行扩展。

好的，我们已经了解了微调的原因。现在我们已经准备好了数据集，接下来就要进行实际的微调。在SageMaker上，我们有两种方式来做到这一点，它们是可互换的。我们有SageMaker JumpStart，它旨在成为开始的简单方式。它提供了一个非常简单的UI体验，我们有预先编写的微调脚本、示例数据集，并且超参数已经设置为在大多数情况下开箱即用的默认值。

如果你有更复杂的训练工作或想要完全控制一切，SageMaker训练将允许你深入到任何你想要的程度。因此，这两条路径都是很好的起点。

我在这里展示了SageMaker JumpStart中的超参数的屏幕截图。有很多超参数。这并不是说“嘿，有很多，这很令人困惑或望而生畏”。这是为了向你展示，我们为你提供了随时覆盖或自定义的全部控制权，但对于我们提供微调的每个模型，这些超参数都已填充了在大多数情况下开箱即用的默认值。

我将选择3个来简单介绍一下，我们发现这3个对于高效进行微调以及生成高质量结果都非常有影响。

首先是量化。这是一种实际上会降低模型浮点精度的技术，我们发现在许多情况下，模型的准确性实际上不会受到太大影响，但内存占用可以大幅减少，这不仅可以加快训练过程，而且在后续的推理过程中也可以获得高效的模型。

其次，我将讨论FSDP或完全分片数据并行。这是一种出色的技术，我们开箱即用地提供，它允许你微调非常大的模型。它会为你分片模型，允许使用多个并行工作器，并使SageMaker成为你微调这些大型模型的支柱。

最后，在座的许多人可能都熟悉低秩适应或LoRA适配器。我们的脚本能够开箱即用地使用LoRA微调。在这种情况下，我们不是微调模型本身的每一个模型权重，而是微调其中非常小的一部分，通常是1%或更少，这使得微调过程可以非常快速进行，而后续的模型也可以非常高效地使用。

所以这只是我们众多超参数中的3个例子，在每种情况下，我们都有智能的默认值，因此你可以只看这个页面，什么都不读就点击“开始”，微调作业就会启动。但如果你想回去开始迭代、深入探索，作为SageMaker用户，你随时都可以这样做。

好的，现在我们已经微调了模型，在部署之前还有一个步骤。需要将多个模型工件打包在一起，而在SageMaker中，这实际上是开箱即用的。因此，一旦微调作业完成，就有一个选项可以直接将该模型部署到端点后面。SageMaker在幕后会负责打包该模型并进行设置，以便你可以将该微调模型立即部署到端点后面，用于生产用例或进一步测试。

虽然我今天谈了很多关于SageMaker的内容，但当你想要完全控制要部署的实例时，它确实是一个绝佳的选择。但我们也知道，越来越多的客户正在围绕Amazon Bedrock构建工作流程，我很高兴能谈谈这一点。通过Bedrock的自定义模型导入功能，你可以将在SageMaker上微调的模型导入到Bedrock中，然后你可以使用Bedrock的invoke model和converse API，并将其直接集成到你现有的Bedrock工作流程中。

我们可以根据需要拉取更多或更少，但一旦完成，我们就需要将该数据集(包括元数据JSON)上传到S3，一旦上传完成，我们就可以查看JumpStart为该模型设置的默认超参数。

在这里，我们将把epochs数量覆盖为5。我们可以验证我们设置的超参数，然后重要的是，这就是我们实际创建JumpStart估计器的地方，在这里我们提供要微调的模型ID、一些参数(如实例类型、超参数)以及重要的是，通过fit方法传入S3中的训练数据集，然后训练作业将运行并完成，之后我们实际上也可以使用简单的deploy方法以编程方式部署模型。

但在我们的例子中，我想让我们通过UI部署模型，这是已完成的训练作业，我们可以简单地点击“部署”。一旦点击“部署”，我们就会看到要部署的端点配置的详细信息。我们可以设置端点名称，当然也可以设置实例类型，在我们的例子中，我们也可以将所有这些都保留为默认值。JumpStart会自动设置所有配置、容器、部署所需的环境变量，并预先打包一切，因此你只需点击“部署”即可。

一旦端点启动并投入服务，这就是我们实际调用模型并对其进行推理的时候。为了演示这一点，我们将查看如何使用SDK以编程方式进行操作。这里我有一些代码来实际调用这个SageMaker端点，这里的提示是从验证数据集中获取的，我将获取作为base64编码的图像，对吗?然后我将为模型提供一些指令，基本上是告诉它仔细阅读文本并准确回答图像中文本内的问题，以及一些其他指令，试图让它更加简洁。当然，我还会传入要针对该图像提出的问题，然后我期望模型能够提供响应。因此，推理的有效负载包括我们设置的许多参数，例如应用程序JSON用于输入和输出。

然后我将加载之前创建的验证数据集，在这里我将调用大约5个示例，所以我将使用预测方法。我还部署了一个预训练模型，因此我们可以看到差异。所以在这里，我们可以看到一个示例，问题是这所大学的名称是什么，在这份文件中我们可以清楚地看到是加利福尼亚大学。出于某种原因，预训练模型无法获得正确答案，但微调后的模型成功获得了正确答案。

另一个有趣的例子是，这份文件是发给谁的，这是同一份文件。如果我们看，即使花了我们一些时间，但实际上是Paul。预训练模型能够获得答案，但似乎添加了一些额外的细节，而微调后的模型也能够正确识别出是Paul。

然后这里还有另一个例子，更像是一份打印的文件或表格。根据预算请求摘要，其他费用的总金额是多少?如果我们看这里，答案是975美元。预训练模型似乎没有获得答案，虽然它没有提及，但微调后的模型能够成功提取出正确的金额。

然后这里还有一个例子，S Bunanji参加了多少次提名委员会会议?我们可以看到，我们需要花点时间来研究并尝试理解这张图片。但如果我们放大，我们实际上可以看到Espana G参加了2次委员会会议，我们可以在那里看到，预训练模型再次能够提及它，但似乎只是回答了问题，而微调模型则能够成功获得答案。

最后这也是一个有趣的问题，4月5日举行的可持续发展委员会有多少人出席?如果我们放大到4月5日，我们可以看到答案是6，但由于某些原因，预训练模型决定开始计数，而微调模型则能够成功获取结果。

因此，我们可以看到实际理解图像和文档的准确性大大提高了。我们发现，对于这些拥有自定义文档、自定义表格的组织而言，预训练模型并未经过相应的训练，这就是再次微调这些模型变得至关重要的原因。

因此，请查看一些现有的资源。我们有SageMaker Jumpstart产品详情页面，其中包含了关于不同基础模型产品的大量详细信息。我们还有一个很棒的示例存储库，您可以使用它来入门。如果您想要微调本演示中展示的3.2模型，您实际上可以查看我们最近发布的博客，是的，就这样，我将把话筒交给Marin，让他分享一下Intuit在SageMaker上微调模型的一些令人兴奋的细节。

Marin随后分享了Intuit在QuickBooks中微调模型用于交易分类的案例:

谢谢Mark。大家好!我叫Marin Corrien，是Intuit的资深工程师。我领导着Intuit产品的AI平台，支持生成式AI和传统AI工作负载。

在深入介绍我们的用例之前，我想先向大家介绍一下Intuit。Intuit的战略是成为AI驱动的专家平台。我们的使命是在全球范围内推动繁荣。作为我们战略的一部分，我们希望开发一个平台，为我们的1亿小企业消费者和市场客户提供服务，使他们能够赚更多的钱、节省时间、减少工作量，并对财务决策充满信心。

因此，我们一直在利用AI/ML能力来增强我们的产品体验。您可能熟悉QuickBooks和TurboTax。我展示了一些例子，比如QuickBooks中的自动数据提取、QuickBooks中的现金流预测，以及从您的W2和1099自动输入数据到TurboTax。

2022年9月，Intuit推出了Intuit Assist。这是我们在TurboTax、Credit Karma、QuickBooks和Mailchimp等产品组合中推出的基于生成式AI的财务助理。

这是我们平台的高级概览。我们的数据湖中有95PB的数据。我们每天生成600亿次机器学习预测。我们拥有60，000个消费者属性和近600，000个小企业属性，他们与我们分享了这些信息，使我们能够为他们个性化产品体验。我们拥抱了生成式AI时代，在我们的平台上提供10多个大型语言模型供我们的工程师开发Intuit Assist体验，每月产生1200万次Intuit Assist交互。

现在让我们来看微调的用例。为此，我需要向您介绍一下QuickBooks。QuickBooks是北美领先的小企业财务管理解决方案。全球有超过700万家小企业使用QuickBooks。

您在这里看到的是一家QuickBooks公司的主页。作为一名小企业主，您将设置您的QuickBooks。您将连接您的银行账户，一旦您开始对交易进行分类，会计就会在后台进行，QuickBooks将为您生成财务报告。

您看到的是漂亮的仪表板，它根据QuickBooks对交易进行分类和记账后，为您提供了过去30天的利润和损失、费用、销售情况，以及您最新的应付账款和应收账款快照。

要实现这一点，并非是魔术。在交易流进来，QuickBooks为您进行记账之间，有一个重要步骤，那就是交易分类。

我想向您展示一下交易分类的含义。在这个屏幕上，您看到了一个交易列表。让我们关注前4个。第一个说Books by Bessie。您在11/21花费了55美元。现在，如果这确实是您业务的销售交易，那么您需要正确地对其进行记账。您不能将其留作未分类收入，因此您需要将其更改为销售，以表明这确实是您业务的收入。

同样，第三和第四笔交易是9月和10月从Fourier Business支付的一些与租赁相关的费用。如果这些确实是您作为小企业主的租金支出，例如，可能是您的办公场所或设备的租金，您可能有资格获得税收抵免，因此您需要通过将其分类为租金费用来正确记账。

所以这就是客户的问题 - 逐一查看每笔交易，手动对其进行分类是一个极其耗时的过程，因此如果您是一个非常成功的小企业主，您每周可能会有数百甚至数千笔交易需要分类，这将耗费您数小时的时间，而这些时间您本应专注于您的业务。所以幸运的是，情况并非如此…

Marin随后解释了Intuit多年来是如何创新，使交易分类变得更加容易:

QuickBooks一直在这个领域不断创新，以尽可能简化交易分类的过程。多年前，我们开始使用基于规则的系统，您作为一名小企业主可以根据特定交易类型或支付类型的模式创建规则，以便QuickBooks自动为您分类。但问题是规则需要手动创建，这是麻烦的，如果您有大量的业务合作伙伴，对于您作为一个企业来说，这仍然是耗时的。

因此，我们最新的基于传统ML的解决方案正在生产中运行，它根据您对交易的分类历史来预测类别。我们稍后会看到，但我想先解释一下为什么这是一个难题。

到现在，您可能已经猜到这是一个端到端的分类问题。在一个小企业中，您有n个类别需要将交易分配到这些类别中。现在，让它变得困难的是，这个n对于每个小企业都是独一无二的，而QuickBooks为数百万家小企业提供服务，因此小企业进行会计的方式存在巨大差异。

此外，小企业是一个极其动态和流动的生态系统，他们的会计需求反映了这一点。随着业务的增长或萎缩、员工的雇佣或裁员，或者他们扩展到新的地区，产生与工资相关的费用或可抵扣的工资相关税费，或者为各个城市、县和州引入新的销售税税率，他们需要改变会计方式。

不用说，牙科诊所的会计方式将与园艺公司完全不同。因此，我们可以认为，使用他们之前分类的交易作为训练这些模型以预测未来交易的地面真值。

现在，挑战在于，只有一小部分小企业用户实际雇佣了专业会计师来整理账簿，因此标签数据的质量是一个挑战。

因此，理想的解决方案是QuickBooks能够自动理解您开展业务的细节。它了解每笔交易的意图和目的，并自动识别正确的类别。作为用户，您只需要查看和确认选择即可。因此，您不再需要花费数小时处理交易列表，只需快速浏览、确认和审查即可。

好的，这就是我们现有的解决方案。正如我承诺的，我会分享。我们结合了一个群体模型和大量个性化模型，全部基于传统ML。我们已经达到了提高解决方案准确性的极限，因为如果只依赖客户数据，我们能够训练的数据量是有限的，而且我们的模型架构非常小，因此准确性已有一段时间没有提高了。由于模型架构很小，因此它们无法很好地泛化。

事实上，我们为每个小企业维护一个个性化模型来进行交易分类，所以我们在生产中持续维护着大约400万个模型，增加了运营开销。正如我之前所指出的，高质量的地面真值数据是一个真正的挑战，因此我们需要大量这种数据来不断训练这些模型，以保持它们的更新。

现在，考虑到所有这些背景，大型语言模型为解决这一问题空间提供了全新的方法。大型语言模型非常灵活多变。它们是多功能的，因此使用大型语言模型来制定问题并利用各种数据源要容易得多，因为我们不必过多地担心将数据塑造成适合较小的模态架构。

大型语言模型当然对世界有很多了解。它们了解会计，了解各种行业和业务类型，所以所有这些信息都非常有用。

因此，我们从提示工程开始，使用各种数据集测试商用现成的大型语言模型，我们的早期测试显示准确性有所提高。正如我所说，这令人兴奋，因为我们之前的系统已经达到了提高准确性的极限，所以团队变得非常兴奋。他们开始尝试各种数据集组合，例如少量样本、思维链推理样本、行业信息和历史分类会话数据。

但随后我们开始遇到商用大型语言模型的局限性。我们开始遇到上下文窗口大小、延迟增加和规模挑战。所以那时我们将重点转移到评估开源权重模型，因为它们提供了更多定制选项。

我们的目标是为数百万小型企业客户构建一个专门用于分类交易的模型。这是一个新的场景。我们之前从未为非常具体的任务微调过基础模型，因此我们最初的一些挑战是收集这种方法可行性的证据。这包括大量实验来为进一步投资提供战略方向。

一旦我们确认这确实是正确的方法，接下来的一系列挑战就是跟上每隔一周就出现的各种新模型，进行评估，缩小需要微调的模型范围。我们还有大量利益相关者需要更新，以及大量想法需要测试，因此快速行动非常重要。

因此，团队在快速实验和快速决策的方法上加倍努力，有系统地测试所有想法，消除那些没有前景的想法，并选择最佳想法进一步微调。正是在这里，SageMaker加速了我们的旅程。

我们大量依赖SageMaker提供的样板代码和基础设施工具。这加速了我们最初的模型评估。一旦团队构建了数据管道，他们就能够快速运行实验来选择要微调的基础模型。SageMaker还为我们提供了一个沙盒环境，可以安全地探索最新的大量模型。这对于我们在处理客户数据时满足负责任的人工智能和数据治理标准很重要。

Continuous训练功能帮助我们使用各种数据组合运行多个实验，一个实验层层叠加。总之，我们在几周内使用大型语言模型微调了10多个模型，现在我们正在使用SageMaker提供的推理解决方案进行扩展和托管，以服务于我们数百万客户。

因此，如果您还记得，我们的传统基于机器学习的系统存在3个主要挑战:准确性没有提高，我们在生产中维护数百万个模型存在运营复杂性，以及缺乏地面真值。

我很高兴分享，我们微调的模型在大规模生产使用方面显示出前景。我们发现，与不同群体相比，模型能够显示5%到10%的准确性提高。在传统的机器学习场景中，我们必须使用数百万个样本来训练这些模型，而使用大型语言模型，我们只需要数千个样本。

而且，正如我们之前看到的，我们为每个小企业运营400万个切片模型。使用微调模型，我们可以潜在地取代该解决方案，降低运营复杂性。此外，SageMaker提供了经济高效的推理选项，因此我们已准备好实现大规模推广。

这是Intuit为特定任务提供微调基础模型的用例之一，因此这个用例正在为更多用例铺平道路。有了数据管道，团队现在就能够在新模型推出时对其进行评估，从而实现高速度。

所以我们计划如何在生产中推出这一解决方案。我们不会完全取代现有解决方案。我们采取混合方法，逐步推广。因此，我们现有的解决方案仍将首先对模型进行分类，生成置信度评分。如果置信度评分很高，则无需进一步操作，但如果置信度评分较低，那么我们就可以依赖微调模型生成分类，一旦生成分类，我们就可以发送给客户进行审查。

我想总结一下从这个用例中获得的一些经验教训。由于小企业的会计实践存在差异，我们需要一个包含数千个样本的大型数据集来满足我们对准确性的标准。通常你会听说微调只需要数百个样本。在这个特定示例中，情况并非如此。

合成数据在这个用例中也没有帮助，因为我们需要使用真实的客户数据来覆盖广泛的场景。

那么为什么我们要进行微调呢?微调使我们能够管理客户体验所需的准确性、延迟和规模。在这种情况下，进行推理需要大量上下文数据，根据我们的经验，如果您有合适的用例和合适的数据集，微调是一种经济高效的方式来尝试大型语言模型。

我们采用快速实验作为方法，快速学习、调整和完善想法，并在这一新兴领域不断迭代。因此，这个用例为Intuit的特定任务微调铺平了道路，我们希望将来能做更多工作。这就是我要说的全部内容。谢谢。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。