当Google于9月30日向一小群测试者发布Gemini 4 Argon时，附带了一份基准测试表，显示Argon在18项测试中的14项上领先于Claude Opus 5.5。这些测试包括DeepSWE（77.9%对74.2%）以及256K至100万token的GraphWalks（84.2%对66.8%）。两周后的10月13日，Google向付费Gemini API开发者开放了Argon。

值得肯定的是，Google也展示了Opus 5.5胜出的方面。Opus在其余四项基准测试中领先，包括Terminal-bench 4.0（66.4%对57.4%），该测试考察命令行中的智能体工作能力。

Google在价格上也低于Anthropic，至少目前如此。截至11月30日，Argon的价格为每百万输入token 2美元、每百万输出token 10美元，是Opus 5.5价格的一半。12月1日起，价格将升至4美元和20美元，与Opus持平。这给开发者大约六周时间来判断Argon是更好，还是只是更便宜。

这给开发者大约六周时间来判断Argon是更好，还是只是更便宜。

基准测试并不总能反映实际工作，而半价窗口只有在模型质量与竞争对手相当的情况下才有意义。为了判断Argon是更好还是（目前）只是更便宜，我在Google声称领先的类别中选取了三个高难度任务，对两个模型进行了正面测试。

测试

我通过OpenRouter在Google和Anthropic各自的服务器上，以默认推理设置对每个模型各运行了一次测试。一个脚本根据我在测试两个模型之前构建并验证的答案键对每个答案进行评分。答案键增加了更多评分维度，以帮助确保每项测试的质量和全面性。

• 缺陷搜寻——一个3,500行的Python库，植入了14个逻辑缺陷和5个诱饵。每个模型审查代码，然后修复其发现的问题。
• 计费规范——一个订阅计费引擎的规范，通过80个隐藏测试进行评分，涵盖夏令时、月末日期和舍入。后续追加了两种货币和20个额外测试。
• 长上下文——一个包含400个服务的模拟wiki，依赖关系分散，分为三种规模。每个模型回答三个带有植入陷阱的图问题。

缺陷搜寻

这一项是平局。两个模型都找到了全部14个缺陷，包括四个只有在跨三个或更多文件追踪某个值时才显现的缺陷。两者都没有标记任何诱饵。在后续测试中，两者都修复了全部14个缺陷，且没有破坏93个现有测试中的任何一个。

Argon更便宜。其审查成本平均为每个发现的缺陷1美分，而Opus为2.4美分，该平均值是我根据每次调用的总费用计算的，而非按每个缺陷实测。即使按12月1日的全价，Argon仍然更便宜，因为它使用的token更少。

• 数据：审查 Argon 输入53,031，输出3,964，$0.15，43.0秒。Opus 输入64,572，输出4,053，$0.34，38.9秒。修复 Argon 输入54,923，输出24,292，$0.35，186.6秒。Opus 输入66,465，输出34,263，$0.95，219.8秒。

计费规格

准确率正是在这里开始出现差异。Opus 通过了全部 80 项隐藏测试，在货币后续测试中又通过了全部 100 项。Argon 通过了 80 项中的 11 项，随后通过了 100 项中的 20 项。Argon 未通过大多数测试，并非因为其逻辑有误，而是因为它在早期犯了一个小错误。它的代码向 Python 的 `datetime.combine()` 传入了一个多余参数，导致报错，而该模块的大部分功能都依赖这个辅助函数。我自己修正那一行后，Argon 的得分变为 80/80 和 100/100。我保留了官方评分，但想解释一下发生了什么，而不只是列出分数。

总体而言，Argon 更便宜，但一旦低价期结束，Opus 与 Argon 的价格差异就会消失，不过 Argon 更低的 token 用量仍会让它在这项测试中更便宜。

• 数据：Build Argon 输入 3,907，输出 3,727，$0.05，54.1 秒。Opus 输入 5,236，输出 7,763，$0.18，63.0 秒。后续测试 Argon 输入 8,881，输出 4,673，$0.06，41.5 秒。Opus 输入 11,807，输出 7,267，$0.19，51.9 秒。

长上下文

各厂商的 token 计数方式不同。我的 500K 文档在 Argon 上计为 549,483 个 token，在 Opus 上计为 784,087 个。我的 900K 文档在 Claude 的分词器上计为 140 万个 token，因此 Anthropic 的 API（应用程序编程接口） 拒绝了它。我添加了第三份约 600K token 的文档，这是两个模型都能容纳的最大规模。

两个模型在各自运行的所有规模下都完美回答了三道题中的两道。分歧出现在爆炸半径问题上，该问题要求列出当一个服务故障时所有会宕机的服务。答案是 33 个服务。

Opus 在 500K 时答对了全部 33 个，在 600K 时答对了 32 个，且没有错误条目。在 500K 时，Argon 答对 20 个、答错 8 个；在 600K 时，答对 19 个、答错 16 个；在 900K 时，答对 23 个、答错 2 个。在 600K 和 900K 时，它把某个依赖项当作已被移除，而 wiki 已将其恢复。与计费 bug 不同，这不是小失误。Argon 在每种规模下的推理都错了。这是一个重大危险信号。

与计费 bug 不同，这不是小失误。Argon 在整个答案中的推理都错了。这是一个重大危险信号。

我还注意到，Argon 在这项长上下文测试中速度飞快。Argon 回答迅速，没有展示任何逐步推理过程，而 Opus 因为先进行推理而耗时更长。这体现在 token 用量上。Opus 使用了超过 5,000 个 token，大部分用于推理，而 Argon 仅用了 243-425 个。这很可能与 Argon 的错误答案有关，尽管我无法从一次运行中证明因果关系。

Argon 在这里更便宜，但不值得在类似任务中使用它，因为它很大程度上不准确且草率。

• 数据：500k Argon 输入 549,483，输出 264，$1.10，24.2 秒。Opus 输入 784,087，输出 5,532，$3.25，68.3 秒。600k Argon 输入 652,492，输出 425，$1.31，32.4 秒。Opus 输入 935,332，输出 5,158，$3.84，69.1 秒。900K Argon 输入 982,367，输出 243，$1.97，41.5 秒。Opus 未运行。

结果

| 测试 | Gemini 4 Argon | Claude Opus 5.5 |
| --- | --- | --- |
| Bug 排查审查 | 14/14，0 误报 | 14/14，0 误报 |
| Bug 排查修复 | 14/14，93/93 测试通过 | 14/14，93/93 测试通过 |
| 计费规范 | 11/80 | 80/80 |
| 计费后续 | 20/100 | 100/100 |
| 影响范围，500K | 20/33，8 个错误 | 33/33 |
| 影响范围，600K | 19/33，16 个错误 | 32/33 |
| 影响范围，900K | 23/33，2 个错误 | 拒绝，超过 1M tokens |
| 总 tokens 输入/输出 | 2,305,084 / 37,588 | 1,867,499 / 64,036 |
| 总成本 | $4.98 | $8.75 |
| 总时间 | 423.3 s | 511.0 s |

我的结果与 Google 的基准测试不符。Argon 在代码审查和修复上与 Opus 持平，成本却不到一半。它因一行错误代码而输掉了规范测试，并且在每个长上下文影响范围问题上都遗漏或虚构了服务。

我怎么看？

基于这些测试，我不会使用 Argon。是的，它在 Bug 排查上更便宜且与 Opus 一样准确，但在其他测试中使用它之后，我不会无条件地信任 Argon 去完成任何任务。

我不会无条件地信任 Argon 去完成任何任务。

Opus 5.5 是 Anthropic 的领先模型之一，Artificial Analysis 的独立指数将其排在第 58 位，领先于 Argon 的第 53 位。

尽管 Google 正在努力追赶，但尚未做到。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：The New Stack

原创地址：https://thenewstack.io/gemini-argon-claude-opus/