关键字: [亚马逊云科技， 生成式AI， Amazon Bedrock， 提示缓存优化， 跨区域推理部署， 生成式Ai应用， 上下文检索技术， Ai工作流缓存]

导读

李潇涵女士在演讲中介绍了如何利用亚马逊云科技的 Bedrock 优化生成式 AI 应用的提示缓存(Promptation)和跨区域推理(Cross Region Inference)部署策略。她解释了提示缓存可以显著降低延迟和成本，尤其适用于文档问答、多样本提示、编程助手、小样本学习和上下文检索等场景。Bedrock 上的提示缓存通过标记缓存检查点、存储计算结果并在后续请求中读取，实现延迟优化和成本节省。她还介绍了跨区域推理功能，可自动将推理请求路由到合适的区域，提高吞吐量和性能，同时与提示缓存兼容。最后，她强调了有效利用缓存的重要性，包括区分提示的静态和动态部分、注意模型限制等，并可在 CloudWatch 上观测缓存使用情况。

演讲精华

以下是小编为您整理的本次演讲的精华。

在当今时代，生成式人工智能(Generative AI)应用程序的发展如火如荼，为各行各业带来了前所未有的机遇和挑战。作为全球领先的云计算服务提供商，亚马逊云科技(亚马逊云科技)一直走在技术前沿，致力于为客户提供创新的解决方案。在这一背景下，亚马逊云科技推出了Bedrock服务，旨在优化生成式AI应用程序的部署策略，特别是提示缓存(Prompt Caching)和跨区域推理(Cross Region Inference)两个关键技术。

李潇涵是来自亚马逊云科技的全球生成式AI高级架构师，她在最新的技术分享会上，就如何利用Bedrock服务优化这两项技术进行了深入探讨。首先，她着重介绍了提示缓存的概念及其在生产环境中的应用场景。提示缓存是一种在大型语言模型内部集成的缓存机制，它存储处理后的上下文(提示前缀)，由模型自身控制缓存的读取逻辑。与传统的语义缓存相比，提示缓存无需额外的工程开发，可以更高效地优化延迟和降低成本。

在合适的场景下，提示缓存可以为生成式AI应用带来显著的性能提升。李潇涵列举了几个典型的应用场景:文档问答、大型语言模型辅助工作流程、编程辅助、少样本学习和上下文检索等。以文档问答为例，如果有一个很长的文档作为上下文，用户可以不断对其提出不同的问题。由于文档本身是不变的，因此可以将整个文档存入缓存中，作为提示前缀。这样一来，对于每个用户的新问题，模型就可以直接从缓存中读取计算结果，而无需重新处理整个文档，从而大幅降低延迟和计算成本。

另一个重要场景是大型语言模型辅助工作流程，即所谓的“AI助手”(AI Agent)。在这种工作流程中，系统提示、可用工具等静态部分都可以存入缓存，因为对于不同的请求，这些部分是不会改变的。同样，对于编程辅助和少样本学习等应用，长代码文件和高质量样本数据也可以作为提示前缀存入缓存，以提高效率。

除了这些常见场景，李潇涵还介绍了一种名为“上下文检索”(Contextual Retrieval)的技术，这是Anthropic Cloud公司提出的一种处理大规模数据的新方法。传统的检索增强生成(Retrieval Augmented Generation，RAG)模型会将长文档切分成多个文本块，但单个文本块本身往往缺乏足够的上下文信息，导致生成质量不佳。为了解决这一问题，上下文检索技术就是为每个文本块添加相关的上下文描述，从而丰富文本块的信息，提高生成质量。

在Amazon Bedrock上，提示缓存采用了显式提示缓存(Explicit Prompt Caching，EPC)的方式，对客户来说是完全透明的，允许选择需要缓存的上下文部分，即提示前缀。目前，Bedrock支持Anthropic Cloud和Amazon Titan Nova等多种大型语言模型，定价策略因模型而异。以Anthropic Cloud模型为例，客户需支付25%的额外费用进行缓存写入，但读取时可享受一折优惠;而Nova模型则无需支付额外写入费用，读取可享受25%/50%/75%不等的优惠。不过，每种模型都有最小令牌数、缓存检查点数量上限和提示支持形式等具体限制，需要根据实际情况进行评估。

在Bedrock上，提示缓存的运行原理相对简单。用户首先需要明确标记需要缓存的提示部分，即提示前缀。当将提示前缀发送给模型时，模型会处理输入，并将处理后的上下文结果存入缓存中。对于包含相同提示前缀的后续请求，模型会直接从缓存中加载先前的计算结果，无需重新计算，从而优化输入令牌的处理效率。值得注意的是，每次访问后，缓存上下文最多只能保持5分钟的生存时间。客户可以在Amazon CloudWatch上查看缓存的使用情况，包括缓存写入和读取的令牌数，以便计算成本优惠和延迟基准。

有效利用提示缓存的关键在于优化提示结构。李潇涵强调，在进行提示优化时，必须区分提示的静态部分(可重复使用的提示前缀)和动态部分，并注意不同模型的具体限制，如每个缓存检查点的最小令牌数等。同时，也可以创建多个缓存检查点，以进一步提高效率。

除了提示缓存，李潇涵还介绍了另一项关键技术:跨区域推理(Cross Region Inference，CRIS)。CRIS可实现推理请求的自动跨区域路由，提高吞吐量和性能弹性，让用户无需编写复杂的路由逻辑，且无需支付额外的跨区域数据传输成本。

在CRIS中，有两个重要概念:原区域(发起请求所在的亚马逊云科技区域)和目标区域(模型实际处理请求的区域)。值得注意的是，目标区域被限制在原区域所在的地理位置内，以确保数据传输的高效性和安全性。

CRIS路由层已经考虑了提示缓存的情况，采用了智能算法进行路由决策。在理想情况下，包含缓存检查点的请求会被发送到原区域(即目标区域)，从模型主机上读取缓存结果，实现延迟优化和成本节省。但也存在极少数情况，如果原区域不可用，请求会被发送到其他可用区域，导致缓存未命中。不过，李潇涵强调，这种情况非常罕见，只有在原区域完全不可用时才会发生。

由于CRIS的智能路由逻辑会考虑缓存所在区域，因此CRIS和提示缓存可以协同工作，不存在任何冲突。事实上，通过结合这两项技术，客户可以进一步优化生成式AI应用程序的性能和成本效益。

在分享会的最后，李潇涵鼓励客户审视自身的使用场景，评估是否可以利用提示缓存进行优化，并亲自动手实践。她表示，虽然这是她第一次在这个舞台上演讲，或许存在一些瑕疵，但她希望能够从与会者那里获得宝贵的反馈和建议，与大家一同学习和进步。

总的来说，Amazon Bedrock服务为生成式AI应用程序的优化部署提供了全新的解决方案。通过提示缓存和跨区域推理两项关键技术，客户可以显著降低延迟、节省成本，并获得更高的性能弹性，助力生成式AI技术在更多领域的落地应用。作为云计算领域的领导者，亚马逊云科技将继续致力于技术创新，为客户带来更多前沿的解决方案和服务。

总结

亚马逊云科技的生成式AI架构师李潇涵分享了两个重要主题:提示缓存(Promptation)和跨区域推理(Cross Region Inference)，旨在优化生成式AI应用的部署策略。

首先，提示缓存可以在适当场景下显著降低延迟和成本。常见场景包括文档问答、多样本提示和小样本学习等，其中长提示会导致高延迟和高成本。提示缓存通过缓存提示前缀的计算结果，避免重复计算，从而优化延迟和成本。Bedrock提供了标准的API和最佳实践，用户可以指定缓存检查点，并在CloudWatch中监控缓存使用情况。有效利用缓存需要区分提示的静态和动态部分，将静态部分标记为缓存前缀。

其次，跨区域推理(CRIS)可以实现推理请求的自动跨区域路由，提供更高的吞吐量和性能。CRIS会智能地将请求路由到原区域或其他可用区域，并与提示缓存协同工作，尽可能利用缓存优化性能。CRIS和提示缓存可以同时使用，相互补充，为生成式AI应用带来全方位的性能提升。

李潇涵呼吁开发者分析自身场景，尝试使用提示缓存和跨区域推理等技术，充分发挥生成式AI的潜力，提升应用性能。亚马逊云科技致力于为开发者提供强大的工具和最佳实践，助力生成式AI的创新发展。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。