ITPub博客

首页 > 人工智能 > 人工智能 > 评估整个推理栈——而不仅仅是开放模型基准

评估整个推理栈——而不仅仅是开放模型基准

人工智能 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑

令人印象深刻的基准测试结果本应让工程师能够轻松选择正确的开放模型,以实现他们被要求开发的目标。然而,实际情况并非如此。

基准测试表明开放模型的最佳性能,但在生产环境中,模型必须能够反复工作。挑战在于,在生产环境中,其他因素也很重要,例如提供给模型的信息及其准确性。因此,基准测试无法告诉工程师他们正在开发的 AI 是否能准确完成任务,甚至是否能完成任务。这对于长周期 AI 任务尤为重要。

AI 云提供商 Nebius 的应用 AI 高级副总裁 Ryan Hanrui Wang 告诉 The New Stack,重要的是结合行业基准与内部基准和测试工具来衡量开放模型,以确保获得组织所需的推理结果,他表示这家总部位于荷兰阿姆斯特丹的公司始终与客户合作这样做。

Wang 加入 Nebius 是因为该公司收购了 Eigen AI——他联合创立并担任 CEO 的推理优化初创公司——这笔约 6.43 亿美元的交易于 5 月宣布;Nebius 通过其 Token Factory 平台销售推理服务。

“客户通常有自己的基准,因此我们可以使用他们的智能体工作流及其追踪记录来了解我们可以达到的成功水平。我们始终与他们紧密合作来定义基准。”

Wang 接着补充道:“公开基准可能无法覆盖工程师希望推理在实际生产环境中执行的多领域任务。”他表示,这可能导致智能体任务与推理调用的真实成本不匹配。“工作流没有经过基准设计的测试。需要上下文学习。”

因此,工程师和组织不应花太多时间选择开放模型;他们应该关注整个推理栈。模型选择应取决于工程师是需要低成本、灵活的开放模型栈,还是需要前沿模型进行推理。

对于需要更低成本的人,Wang 表示 Nebius 会评估 Kimi 和 DeepSeek 等开放模型,以及更轻量的“flash”模型,以了解它们是否能满足推理准确性需求,以及是否需要微调。

那些想要卓越准确性和质量的人通常会将范围缩小到两三个大型开放模型,然后对其进行微调以提高准确性。Wang 表示,开放模型选择只是第一步;选择之后,他们需要确保长上下文任务和缓存输入能够交付预期结果。

推理与后训练

在后训练中,Wang 表示组织使用其数据来提高准确性和任务契合度,而服务层、量化、批处理、缓存和内核优化则驱动推理速度。此外,工程师应为生产流量开发缓存系统,确保工作负载的命中率最大化,使重复输入命中缓存而不是被重新计算。

“另一个重要因素是吞吐量,即在一定时间跨度内生成多少 token 的度量,因为这是与交互性的主要权衡,”Wang 补充道。工程师需要在更好的利用率和更便宜的 token 与可接受的交互性——即每用户速度——之间取得平衡。

正确处理并发可确保组织有效使用开放模型;这对工程师而言是一种精细的平衡。如果计算资源未被充分利用,token 成本就会很高。但高利用率伴随并发增加,可能会降低终端用户的每秒 token 速度。

工程师还需要关注尾部延迟,而不仅仅是平均值。“P95 和 P99 是衡量每用户 token 速度和首 token 时间(TTFT)的重要指标;对我们的一些客户来说,他们需要等待的时间必须低于五秒,”Wang 说。一个系统可能平均响应时间很好,但如果每二十个请求中就有一个卡顿,它仍然不可用。

为准确性建模

工程师在考虑基准测试结果和准确性时需要谨慎。基准测试可能测试数学问题的推理能力,如果工程师正在为客户支持开发 AI 智能体,这并不太有用,因为高情商(EQ)更为重要。“因此,不同基准测试与实际生产之间存在错位,”Wang 说。

关于每个成功任务的成本,Wang 表示工程师必须记住,如果模型不准确,便宜的 token 毫无用处。

工程师需要考虑 AI 将执行的端到端流程。这使工程师能够为 AI 任务选择合适规模的开放模型。Wang 举了一个专业助手智能体的例子,Nebius 收集了 6,000 条追踪记录来优化一个小模型,将准确性提高了 11%,同时执行的工具调用减少了 22%。

他提出这一点是因为它反驳了越大越好的思维倾向,但增加模型规模带来的准确性提升会递减。“这类任务通常有一个临界点,”Wang 说。对于客户支持这样的任务,他说,100 亿参数可能就足够了,而 1000 亿甚至 1 万亿参数只能带来极小的准确性提升。“我们想要做的是找到最佳平衡点。”

工程师可以使用大模型作为参考点,然后用其组织数据调整推理,以找到适合该任务的准确性和规模的开放模型。

“我们通常会扫描多个模型,使用最大的模型作为参考,以了解模型规模的最佳平衡点在哪里,”Wang 说。“对于复杂的任务,我们可以将复杂任务分解为更小的子任务,与客户合作,连接工作流,然后可以使用更小的模型。”

Wang 将这一过程描述为分工,并引用了著名经济学家亚当·斯密。

这种方法展示了 AI 工程成熟的过程。就像技术和工程历史上的每个领域一样,最初的淘金热追求越大越好。随着工程技术的成熟,它聚焦于成果和工程卓越,因此也聚焦于与懂得如何实现这些成果的合作伙伴合作。

有时这意味着更大的模型;其他时候,小型细分开发才是最佳选择。


转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:The New Stack

原创地址:https://thenewstack.io/open-model-benchmarks-production/

原文作者:Mark Chillingworth;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1307
  • 访问量
    572860