导读

将生成式AI集成到应用程序中可能很复杂，通常需要开发人员在访问AI后端时处理复杂的权限、暴露的凭证和身份管理挑战。本次会议讨论如何使用Amazon AppSync来简化与Amazon Bedrock等AI后端的集成，为您的用例实现定制查询，利用安全功能部署生产就绪的API，并控制对生成式AI资源的访问。它涵盖了同步和异步两种使用场景。

演讲精华

以下是小编为您整理的本次演讲的精华。

在2024年的亚马逊云科技 re:Invent大会上，有一场题为“如何使用Amazon AppSync为Amazon Bedrock构建AI网关”的精彩会议。Amazon AppSync的主要产品经理Bliss Pele登台阐述了生成式AI的快速采用，以及客户在将应用程序连接到像Amazon Bedrock这样的生成式AI后端时所面临的挑战。Pele强调，虽然生成式AI无处不在，但客户在将应用程序连接到生成式AI后端时仍面临着灵活的安全性和访问控制、灵活的请求处理以及灵活的模型选择等挑战。

为了解决这些挑战，Pele将Amazon AppSync引入作为AI网关解决方案，它已经发展成为许多客户的AI网关。AppSync能够安全地连接到Amazon Bedrock，通过其原生的WebSocket订阅功能为长时间运行的工作负载提供实时解决方案，控制用户和模型访问，并能够将应用程序与模型解耦。Pele深入探讨了AppSync所使用的查询语言GraphQL，它允许客户端高效地向API发出请求，避免过度获取数据。

AppSync提供了各种授权类型，包括Amazon Cognito用于用户授权、API密钥以及自定义Lambda授权者。Pele演示了如何使用AppSync连接到Amazon Bedrock模型，同步或异步调用它们，并使用订阅处理长时间运行的调用并实时更新。他展示了使用AppSync进行内容分析、语言翻译和总结任务的示例。

亚马逊云科技的首席顾问Salman Mogul随后介绍了两个利用AppSync作为AI网关的企业用例。第一个案例涉及使用大型语言模型(LLM)如Anthropic的Claude进行内容分析。Mogul展示了如何将AppSync与Microsoft Office应用程序集成，实现实时内容分析和语言评分，从而为营销专业人士节省大量成本并自动分析语言。

第二个用例关注于联系中心，以及AppSync如何通过克服Amazon Connect的8秒超时限制来实现长时间运行的工作流程。Mogul演示了AppSync如何实现对等待电话的客户的实时更新，缩短平均解决时间并引入24/7支持。他展示了一个利用Claude理解复杂查询并执行适当工具(如密码重置、票证状态检查和知识库搜索)的代理工作流程。

来自Anthropic应用AI团队的Kyle Rube随后讨论了在构建LLM时面临的五大常见挑战。首先是模型选择:Rube建议使用公开的基准测试和排行榜来缩小模型选择范围，考虑价格和延迟要求，并为特定任务制定评估策略。他强调了Anthropic的模型，包括具有智能和视觉能力的Claude 3.5 Sonnet，以及适用于需要实时性能的任务的高速Claude 3.5 Haiku。

其次是提示:Rube强调了清晰、直接的提示以及结构化示例和思维链输出的重要性。他讨论了元提示工具在创建和改进提示方面的作用，以及使用示例和思维链来提高输出质量的技术。Rube提到，虽然Claude 2需要大量的提示工程工作，但较新的Claude 3及以上版本在提示方面更加直观和易于使用。

第三是延迟:输出流、使用更快的模型如Claude 3.5 Haiku、减少输出标记、提示缓存和缩短输入标记等技术可以帮助改善延迟。Rube强调了根据使用场景平衡速度和准确性的重要性，指出在处理数千个标记时，减少输出标记或缩短提示可能会对延迟产生显著影响。

第四是结构化数据输出:Rube提供了从LLM获取一致、高质量JSON输出的技术，包括明确的指令、示例、工具使用和预填充。他解决了将LLM集成到需要结构化数据的后端流程的常见挑战，强调即使没有正式的JSON模式，Claude 3及以上版本也已经通过适当的提示训练来输出JSON。

第五是评估:Rube讨论了各种评估方法，包括“vibes”(主观评估)、人工评估(带评分标准)、A/B测试、程序化检查以及使用LLM作为评判者。他建议根据业务目标采用混合方法，并在提示工程和LLM功能开发过程中进行迭代。Rube提到，虽然“vibes”评估缺乏定量严谨性，但在初始提示工程阶段可能有用，而举办内部“bug狩猎”活动可被视为“大规模vibes”。

总之，本次会议涵盖了使用Amazon AppSync作为AI网关将应用程序连接到Amazon Bedrock、在内容分析和联系中心的企业用例，以及在使用LLM时模型选择、提示、延迟优化、结构化数据输出和评估的最佳实践。演讲者提供了见解和演示，帮助客户应对生成式AI集成的挑战和机遇，利用Amazon AppSync和Anthropic的Claude等LLM的功能。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。