更新（2024年12月3日）：我们已修订 Claude 3.5 Haiku 的定价。该模型现在的价格为输入 $0.80 MTok / 输出 $4 MTok。

今天，我们宣布推出升级版 Claude 3.5 Sonnet，以及新模型 Claude 3.5 Haiku。升级版 Claude 3.5 Sonnet 相较其前代实现了全面改进，在编码方面提升尤为显著——这已是它此前领先的领域。Claude 3.5 Haiku 在许多评估中达到了我们此前最大模型 Claude 3 Opus 的性能，速度则与上一代 Haiku 相近。

我们还推出了一项突破性的新能力公开测试版：计算机使用（computer use）。从今天起，开发者可在 API（应用程序编程接口） 上使用该功能，指示 Claude 像人一样使用计算机——查看屏幕、移动光标、点击按钮和输入文本。Claude 3.5 Sonnet 是首个提供计算机使用公开测试版的前沿 AI 模型。在此阶段，它仍处于实验性阶段——有时繁琐且容易出错。我们提前发布计算机使用功能，以获取开发者的反馈，并预计该能力将随时间快速改进。

Asana、Canva、Cognition、DoorDash、Replit 和 The Browser Company 已经开始探索这些可能性，执行需要数十步、有时甚至数百步才能完成的任务。例如，Replit 正在利用 Claude 3.5 Sonnet 的计算机使用和 UI 导航能力，为其 Replit Agent（智能体） 产品开发一项关键功能，用于在应用构建过程中对其进行评估。

升级版 Claude 3.5 Sonnet 现已面向所有用户开放。从今天起，开发者可以在 Anthropic API、Amazon Bedrock 和 Google Cloud 的 Vertex AI 上使用计算机使用测试版进行构建。新的 Claude 3.5 Haiku 将于本月晚些时候发布。

Claude 3.5 Sonnet：行业领先的软件工程能力

更新后的 Claude 3.5 Sonnet 在行业基准测试中展现出广泛改进，在智能体编码和工具使用任务方面提升尤为显著。在编码方面，其在 SWE-bench Verified 上的性能从 33.4% 提升至 49.0%，得分高于所有公开可用的模型——包括 OpenAI o1-preview 等推理模型以及专为智能体编码设计的专用系统。它还在 TAU-bench（一项智能体工具使用任务）上提升了性能，在零售领域从 62.6% 提升至 69.2%，在更具挑战性的航空领域从 36.0% 提升至 46.0%。新的 Claude 3.5 Sonnet 以与其前代相同的价格和速度提供这些进步。

早期客户反馈表明，升级版 Claude 3.5 Sonnet 代表了 AI 驱动编码的一次重大飞跃。GitLab 在 DevSecOps 任务中测试了该模型，发现它提供了更强的推理能力（各用例提升最高达 10%），且没有增加延迟，使其成为驱动多步骤软件开发流程的理想选择。Cognition 使用新的 Claude 3.5 Sonnet 进行自主 AI 评估，与上一版本相比，在编码、规划和问题解决方面都取得了显著改进。The Browser Company 在使用该模型自动化基于 Web 的工作流时指出，Claude 3.5 Sonnet 的表现优于他们此前测试过的所有模型。

作为我们持续与外部专家合作努力的一部分，新 Claude 3.5 Sonnet 模型的联合部署前测试由美国 AI 安全研究所（US AISI）和英国安全研究所（UK AISI）进行。

我们还评估了升级版 Claude 3.5 Sonnet 的灾难性风险，发现我们的负责任扩展政策（Responsible Scaling Policy）中所述的 ASL-2 标准对该模型仍然适用。

Claude 3.5 Haiku：最先进性能与可负担性和速度的结合

Claude 3.5 Haiku 是我们最快模型的下一代。在与 Claude 3 Haiku 相近的速度下，Claude 3.5 Haiku 在各项技能上均有提升，并在许多智能基准测试中超越了上一代最大模型 Claude 3 Opus。Claude 3.5 Haiku 在编码任务上尤为出色。例如，它在 SWE-bench Verified 上得分 40.6%，优于许多使用公开可用最先进模型的智能体——包括原始 Claude 3.5 Sonnet 和 GPT-4o。

凭借低延迟、改进的指令遵循能力以及更准确的工具使用，Claude 3.5 Haiku 非常适合面向用户的产品、专门的子智能体任务，以及从海量数据（如购买历史、定价或库存记录）中生成个性化体验。

Claude 3.5 Haiku 将于本月晚些时候在我们的第一方 API、Amazon Bedrock 和 Google Cloud 的 Vertex AI 上提供——最初为纯文本模型，随后将支持图像输入。

教会 Claude 负责任地操作计算机

通过计算机使用功能，我们正在尝试一些根本性的新事物。我们不是为帮助 Claude 完成单个任务而制作特定工具，而是教它通用的计算机技能——使其能够使用为人类设计的各种标准工具和软件程序。开发者可以利用这一新兴能力来自动化重复性流程、构建和测试软件，以及执行研究等开放式任务。

为了实现这些通用技能，我们构建了一个 API，使 Claude 能够感知计算机界面并与之交互。开发者可以集成此 API，使 Claude 能够将指令（例如“使用我电脑和网上的数据来填写此表单”）转化为计算机命令（例如检查电子表格；移动光标打开网络浏览器；导航到相关网页；用这些页面中的数据填写表单；等等）。在 OSWorld 上——该基准评估 AI 模型像人类一样使用计算机的能力——Claude 3.5 Sonnet 在仅截图类别中得分 14.9%，明显优于次优 AI 系统的 7.8%。当获得更多步骤来完成任务时，Claude 得分 22.0%。

虽然我们预计这一能力将在未来几个月内迅速提升，但 Claude 目前使用计算机的能力尚不完善。一些人类可以毫不费力完成的动作——滚动、拖拽、缩放——目前对 Claude 来说仍存在挑战，我们鼓励开发者从低风险任务开始探索。由于计算机使用可能为垃圾信息、虚假信息或欺诈等更熟悉的威胁提供新的途径，我们正在采取主动措施来促进其安全部署。我们开发了新的分类器，可以识别计算机使用功能何时被使用以及是否正在造成危害。您可以在我们关于开发计算机使用的文章中了解更多关于这一新技能背后的研究过程，以及对安全措施的进一步讨论。

展望未来

从这项仍处于最早阶段的技术的最初部署中学习，将帮助我们更好地理解能力日益强大的 AI 系统的潜力和影响。

我们很高兴您能探索我们的新模型和计算机使用功能的公开测试版——并欢迎您与我们分享反馈。我们相信这些发展将为您与 Claude 协作的方式开辟新的可能性，我们期待看到您将创造什么。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：Anthropic Blog

原创地址：https://www.anthropic.com/news/3-5-models-and-computer-use