GPT-6 Sol 和 GPT-6 Luna 现已在 Amazon Bedrock 上正式可用,为您提供更多选择,以便将智能与效率匹配到每个工作负载。
大规模 AI 的价值取决于两个维度:模型能做什么,以及您能多频繁地将其投入使用。更强的智能扩展了模型可处理的复杂度,从细微的编码问题到跨工具的多步骤流程。效率则决定了这种智能能在多大范围内支持日常活动和可重复任务,在这些场景中,每一个额外的 token、重试和延迟秒数都会在请求之间成倍放大。
GPT-6 Astra 确立了 GPT-6 系列面向最宏大项目的上限,在这些项目中,实现最高质量的结果比成本更重要。组织还需要先进智能来支持那些维持产品和运营运转的重复性任务。GPT-6 Sol 为贯穿全周的复杂任务带来强大的推理和编码能力,其经济性适合常规使用。GPT-6 Luna 使聚焦、可重复的任务能够以高容量实际运行,在这些场景中,延迟和成本的微小差异会在请求之间成倍放大。
今天,来自 OpenAI 的 GPT-6 Sol 和 GPT-6 Luna 已在 Amazon Bedrock 上正式可用,运行在为大规模高性能、安全性和可靠性而构建的推理引擎上。这两款模型的 API(应用程序编程接口) 定价均显著低于其 GPT-5.6 前代产品,为您提供更多方式,以工作负载所需的性能、控制和灵活性,将 GPT-6 智能引入生产环境。
GPT-6 Sol 专为开发和运营中反复出现的严苛任务而设计。它可以实现功能、调试问题、重构和审查代码、分析数据,并完成跨工具和应用程序的多步骤流程。相较于 GPT-5.6 Sol,其在编码和计算机使用方面的改进,帮助它将任务从调查推进到实现和验证,同时保留其决策背后的上下文。
随着 GPT-6 Sol 处理更多此类流程,开发者需要了解它更改了什么、验证了什么,以及无法确认什么。在一次内部事实性评估中,OpenAI 发现 GPT-6 Sol 的事实性错误约为 GPT-5.6 Sol 的一半。GPT-6 Sol 还得益于对其工作和结果更清晰的沟通,帮助团队更早发现缺口,并理解在哪些地方仍需要人工判断。
更强的执行力和更清晰的报告相结合,使 GPT-6 Sol 在整个开发周期中都切实可用。这里相关的衡量标准是达到可用结果的总成本,包括输出质量、token 使用量、重试和延迟。
当一项任务每天运行数千次时,每次调用的经济性决定了该工作流能否扩展。单次分类或摘要本身成本不高,但在完整的文档流水线中,提取、路由和后续处理的成本会随着每一次额外请求而累积。
GPT-6 Luna 专为处理此类数据量的工作负载而设计。你可以使用它从大型文档集合中提取信息、总结传入的材料、对输入进行分类,并跨多个用户或应用程序回答聚焦的问题。
大规模下的效率还需要一致的输出。OpenAI 的评估显示,GPT-6 Luna 在事实可靠性和结果沟通清晰度方面有所提升。你还可以按请求调整推理力度,以平衡每项任务所需的质量、响应速度和成本。
单个应用程序可能需要在请求推进过程中使用不同级别的智能。你可以使用 GPT-6 Luna 对传入请求进行分类,使用 GPT-6 Sol 调查复杂案例,并在额外推理深度能够实质性改变决策时使用 GPT-6 Astra。这样可以将智能集中在最能创造价值的地方,同时管理系统中的延迟和成本。
在每个阶段内,对同一模型的重复调用可能会复用指令、工具定义、策略和参考资料。重新处理这些上下文可能会削弱通过选择合适模型所获得的效率。
GPT-6 Sol 和 GPT-6 Luna 在 Amazon Bedrock 上支持显式提示缓存。你可以标记提示内容以供复用,使后续请求将处理重点放在新输入上。这对于复用代码仓库指令的编码助手、基于相同策略的支持应用程序,以及应用一致提取模式的文档流程都很有用。
随着 AI 使用量的增长,模型质量只是决定应用程序能否在生产环境中取得成功的部分因素。团队还需要能够在需求变化时保持性能的基础设施、在重复请求中依然成立的经济性,以及保护敏感数据的控制措施。Amazon Bedrock 通过为安全和大规模可靠性构建的高性能推理引擎,为 GPT-6 Sol 和 GPT-6 Luna 提供了这一基础。
你可以通过 AWS Identity and Access Management (IAM) 策略治理模型访问权限,并通过 AWS CloudTrail 审计每次调用。由 AWS PrivateLink 提供支持的虚拟私有云 (VPC) 端点有助于将流量保持在你的网络边界内。推理在硬件隔离的基础设施上运行,且零操作员访问,因此即使是 AWS 操作员也无法在推理期间访问你的提示或补全内容。
你的推理数据不会用于模型训练,使用 GPT-6 Sol 和 GPT-6 Luna 也不需要你选择与 OpenAI 共享数据。对于自动滥用检测,被分类器标记的流量会由 AWS 保留最多 30 天,并以程序化方式处理。你可以通过你的 AWS 账户团队请求零数据保留。有关详细信息,请参阅数据保留。
你可以在 Amazon Bedrock 控制台中开始使用 GPT-6 Sol 和 GPT-6 Luna,也可以通过受支持的 Amazon Bedrock API 以编程方式使用。有关受支持的 AWS 区域、端点、API、功能、推理配置文件和定价的信息,请参阅 Amazon Bedrock 文档。
有兴趣了解 Amazon Bedrock 如何为您的团队提供支持?联系我们,开启对话。
转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文作者:Tanvi Girinath;如有侵权,请联系管理员删除。