ITPub博客

首页 > 人工智能 > 自然语言 > Shopify 的生成式发现模型(2026)- Shopify

Shopify 的生成式发现模型(2026)- Shopify

自然语言 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑


两个人打开手机搜索“背包”。其中一人自从在公交车上遭遇咖啡洒落事件后,一直在比较防水笔记本电脑包。另一人则一直在探索适合穿越科罗拉多落基山脉的大容量背包。

查询只是一个起点。

但每位买家浏览和购买过的商品告诉我们什么对他们重要。我们可以利用这些上下文来个性化他们看到的搜索结果和获得的推荐,让每位买家既能发现来自熟悉商家的相关产品,也能发现来自他们未曾访问过的商家的相关产品。

数百万参与 Shopify 的商家所产生的商业活动,为我们提供了关于购物者如何跨品类发现和购买产品的洞察,而我们的商业生态系统涵盖众多商家店面、Shop 应用,以及专为对话式商务和 AI 智能体设计的 Catalog API(应用程序编程接口)。

挑战在于利用这些搜索、浏览和购买信号,在数十亿商品的目录中为每位买家找到相关产品,同时满足实时请求的延迟预算。

我们的方法建立在搜索和推荐的共同点之上:两者都利用产品知识和买家上下文来识别相关产品。搜索查询增加了明确意图信号;推荐则更多依赖行为来推断接下来可能有用的内容。这些共享的输入和目标使它们成为天然适合联合训练的任务。

我们通过一个共享生成式发现模型将这一理念付诸实践,该模型在 Shopify 的搜索和推荐数据上联合训练。它为两种体验生成产品候选,目前已在生产环境部署,在离线和在线场景均带来显著收益。

本文介绍了将该模型投入生产的产品表示、训练方案和部署决策。

完整的方法论和实验结果,请参阅我们的详细技术报告。

一个用于搜索和推荐的基础模型

一个开放权重的预训练语言模型提供了起点。其通用世界知识为理解产品描述、属性和买家查询提供了基础。然后,我们使用 Shopify 为此目的可用的商业数据对模型进行适配,包括我们的产品目录以及搜索和推荐中符合条件的买家交互。

为了评估模型,我们在线衡量买家结果,离线衡量检索质量。

当前模型性能

在推荐方面,加入生成式模型后,Shop 首页信息流取得了以下在线收益:

| 在线首页信息流推荐指标 | 相对提升 |
| --- | --- |
| 订单 | +7.95% |
| 转化者 | +8.60% |
| 转化率(CVR) | +9.85% |

在离线评估中,生成式模型为推荐生产系统贡献了 2.65pp 的增量池召回率(Incremental Pool Recall)。它也是我们最强的独立候选生成器。

在搜索方面,该模型自身即可提供高质量结果,并进一步改进生产系统,整体 OneDCG@10 提升 2.1 分。对于已登录用户,模型可以个性化买家结果,OneDCG@10 提升 2.7 分,其中 25% 的查询在前 10 相关性上净提升。

OneDCG@10 是 NDCG 的一种变体,用于衡量前十条结果的搜索质量。它以十个完美结果而非每个查询的理想排序进行归一化,为所有查询提供相同的参考点。

| 搜索配置 | 综合 OneDCG@10 | 仅个性化 OneDCG@10 |
| --- | --- | --- |
| 当前不含生成式模型的生产系统 | 30.6 | 33.0 |
| 当前含生成式模型的生产系统 | 32.7 (+2.1) | 35.7 (+2.7) |
| 仅生成式模型 | 28.5 | 33.6 |

这些结果依赖于关于产品表示、训练和服务的决策。我们将逐一介绍每项决策,首先从模型表示产品的实用方法开始。

为模型提供产品词汇表

Shopify 的商品目录包含数十亿产品。原始产品 ID 可以区分数据库记录,但其数字不携带任何产品信息。将每个产品视为独立输出会创建一个包含数十亿条目的词汇表,每个条目都需要学习自己的表示。许多产品的训练样本稀疏,因此独立学习每个 ID 的有用表示效率低下。

我们之前关于生成式推荐的帖子概述了下一步:将产品表示为语义 ID 令牌与文本并列。我们在此基础上,将产品内容编码为嵌入(embedding),即产品的向量表示。分词器将该嵌入转换为语义 ID:模型可以学习和生成的短离散代码序列。

我们评估了 RQ-VAE 和 RQ-KMeans 这两种常见的 tokenizer 方法,并选择了 RQ-KMeans,因为在相同 codebook 形状下,它产生了更好的下游性能。RQ-KMeans 对产品嵌入进行聚类,减去选定的聚类中心,并对剩余残差重复此过程。每一层捕获前一层留下的信息。我们选定的配置使用三个 codebook,每个包含 8,192 个条目,为每个产品提供一个三 token 的语义 ID。

相关产品可以共享代码,允许它们的训练示例更新共享表示。这为交互较少的产品提供了一种从邻居训练中受益的方式。

一个真实的目录示例可以更清楚地说明这一点。

共享前缀 [6001] 的产品包括不同风格和面料的背心和马甲。沿着一个分支,[6001, 5561] 将不同颜色的加厚马甲分组,而 [6001, 5561, 0] 缩小到灰色加厚设计。第二个分支,[6001, 4551],将工装风格马甲分组;[6001, 4551, 879] 包含靛蓝牛仔背心。

多个产品可以共享相同的完整代码序列。我们探索了几种在服务时解决这些冲突的方法,包括在将语义 ID 映射回产品时使用产品流行度的轻量级排序步骤。我们的技术报告更详细地涵盖了这些方法。

为产品含义和买家意图进行训练

我们的训练配方将商业知识构建到预训练语言模型中:将语义 ID 连接到产品含义,从买家旅程中学习,为每个任务细化预测,并将专业专家带回一个共享模型。图 4 概述了这些阶段。

在开发这个配方时,我们发现了四个关键教训。

教训 1:搜索和推荐相互学习

我们使用共同的产品词汇一起训练搜索和推荐。图 5 显示了持续预训练的示例,每个示例将上下文与模型学习预测的完成配对。

为了理解这些任务如何相互贡献,我们从训练混合中移除了搜索或推荐数据:

| 训练混合 | 搜索相关性 OneDCG@10 | 搜索购买 Recall@10 | 推荐 Recall@50 |
| --- | --- | --- | --- |
| 基线 | 28.8 | 33.4 | 21.0 |
| 无搜索数据 | — | — | 20.9 |
| 无推荐数据 | 28.5 | 32.6 | — |

当移除一个数据流时,其训练 token 份额会按比例重新分配给其余数据流。破折号表示未针对被排除任务报告的指标。

这些结果表明,搜索和推荐通过共享训练相互提升。

经验 2:发现需要显式训练

我们现有的基于规则的候选生成器已经能够处理买家交互历史中的重定向产品。更困难的推荐问题是找到买家从未交互过的有用产品。历史记录中包含许多重复访问,因此基于这些记录训练的模型可能会过度强调买家已经了解的产品。

为了显式地教授发现能力,我们对围绕首次购买构建的训练流进行上采样:买家对某产品的首次购买、从某商家的首次购买,或在某品类中的首次购买。这在微调期间赋予发现事件更高的权重。我们还通过丢弃旧点击和其他过时交互来压缩历史记录,同时保留购买记录,从而在上下文中为近期行为留出更多空间。

发现召回率衡量的是买家从未交互过的产品的购买情况,因此它是该目标更直接的度量指标。

在一项离线实验中,历史压缩与发现配方相结合,在截断值为 10 和 50 时,发现召回率相对提升了约 10–15%,而整体召回率相对提升了约 2%。

经验 3:强化学习提升检索质量

监督微调教会模型复现历史示例,但准确预测下一个 token 并不能完全反映检索质量。多个产品可以满足同一意图,即使训练示例中只包含一个观察到的购买或点击。

对于搜索,我们使用 LLM 相关性评判器来提供奖励信号。模型生成候选,评判器评估其相关性,强化学习利用该反馈来优化模型的选择。这使训练更接近我们真正关心的目标:为买家检索到的产品质量。将强化学习应用于搜索使 OneDCG@10 提升了 +1.5。

经验 4:专业化专家可以增强共享模型

联合训练让我们对产品和买家形成共享理解。任务特定的微调和后训练在此基础上构建,以培养专业的搜索和推荐专家。我们的目标是构建一个共享的发现模型,同时保留分别优化每个任务所获得的质量提升。

我们采用多教师蒸馏,将两位专家的能力迁移到一个共享的学生模型中。其思路是:让每位专家专注于各自的任务,再将它们的学习成果整合到一个模型里。随着每位专家在各自任务上不断进步,蒸馏使共享模型能够继承这些进展。

以生产级速度提供生成式发现服务

实时搜索或推荐请求留给候选生成的时间非常有限。我们针对质量和延迟对服务路径进行优化,先从模型入手,再减少生成有效商品编码所需的工作量。

在服务预算内选择基础模型

我们将模型作为候选生成器来提供服务,与下游排序共享实时请求的延迟预算。针对这一角色,我们选择了 Liquid AI 的 LFM2-2.6B,因为它在质量和延迟之间提供了最佳平衡,同时为后续阶段留出了足够时间。在生产环境中,我们使用 RIPL 推理栈来服务 Liquid 模型。

| 模型 | 搜索相关性 OneDCG@10 | 搜索购买 Recall@10 | 推荐 Recall@50 | p95 延迟 |
| --- | --- | --- | --- | --- |
| LFM2-2.6B — 已选用 | 24.9 | 32.3 | 25.3 | 25.5 ms |
| Qwen3-1.7B | 24.9 | 32.5 | 26.0 | 46.1 ms |
| Qwen3-14B | 25.3 | 35.0 | 26.7 | 108.4 ms |

为确保公平比较,所有模型使用相同的训练数据混合,并在相同的搜索和推荐基准上进行评估。p95 延迟在服务器端使用 TensorRT-LLM 通过闭环基准测量:每个客户端等待其请求完成后才发送下一个请求。在此表中,延迟仅衡量服务器端生成器调用的实际耗时,使用 beam width 为 100 生成 100 个候选。LFM2-2.6B 使用定制的 TensorRT-LLM 引擎。延迟基准使用从真实生产流量中采样的请求。Prompt 长度在 p50 为 22 个 token,在 p95 为 620 个 token。

加速约束解码

模型还需要生成能够解析为合格商品的编码。只有部分 token 组合对应目录中的商品,因此我们使用有效 semantic-ID 路径的索引来约束生成。

检查这些路径可能变得非常昂贵。我们基于 STATIC 构建,它将目录的前缀树(trie)表示为 GPU 上的稀疏索引。这使引擎能够通过向量化操作检查有效的后续路径。TurboMind 内部的 CUDA/C++ 插件强制执行这些解码约束。在我们的场景中,约束开销从每请求超过 50 ms 降至约 1 ms。

另一个挑战是约束生成式检索的元数据路由。每个请求可以携带自己的资格过滤器,例如买家的市场,这些过滤器必须约束模型可以生成哪些 semantic-ID 路径。我们将在后续文章中分享我们如何处理这一问题的细节。

一次预测 semantic ID 序列

我们的输出具有一种有用的结构:我们需要许多候选产品,但每个产品仅由三个码字表示。自回归(AR)生成会逐个预测这些码字。

多令牌预测(MTP)在单次模型传递中预测所有三个位置的分布,然后将它们组合成有效的语义 ID。这减少了生成候选所需的顺序模型工作。后续文章将解释多令牌预测的设计、其服务优化,以及质量、延迟和吞吐量之间的权衡。

图 6 比较了在我们当前生产设置下的 AR 和 MTP。非个性化搜索使用查询;个性化搜索还在提示中包含买家画像上下文。

我们利用节省的时间通过 MTP 生成更大的候选集,然后应用轻量级排序器来选择最佳候选。MTP 和排序器共同显著提升了质量,优于 AR,同时保持了更低的 p95 延迟。

下一步方向

如今,产品发现通过多阶段漏斗运行。检索从大型目录中选择候选,后续的排序阶段为买家缩小范围并排序。我们共享的生成式发现模型目前在该技术栈中作为候选生成器。每个阶段都会影响下一个阶段可以考虑的内容:在检索期间遗漏的相关产品无法被后续排序器恢复。

展望未来,我们的目标是将更多发现技术栈整合到一个发现模型中。该模型将推理买家的处境,推断购物意图,通过语义 ID 生成产品候选,并对它们进行排序。这种共享理解将支持搜索、推荐和广告,同时尊重买家的隐私选择。下面完全共享的路径是我们的长期方向。

为了支持这一方向,我们需要对用户购物旅程有一个更丰富、有序的视图,将搜索查询、产品浏览、购买和店铺访问整合到一个有序序列中。保留它们的顺序和时序将为搜索和推荐提供关于每个买家兴趣和意图如何演变的共享视图。

我们正在基于这一共享上下文进行三项押注。

第一项是意图推理。对于正在布置小公寓的人,购买一张桌子会改变接下来可能有用的东西。也许买家需要与桌子和空间相匹配的椅子。我们希望模型能够在整个旅程中连接这些线索,并将这种理解贯穿于候选生成和排序。

第二项是更丰富的多模态表示,重点关注视觉信息。产品图像揭示了描述可能遗漏的细节:形状、纹理、图案和风格。将这些视觉信号与文本以及买家已探索的产品连接起来,将帮助模型理解他们的偏好并识别其他匹配的产品。

第三项是在线持续训练。我们希望新的点击、购买和其他结果能够为共享模型的持续更新提供输入,使其能够随着买家偏好和目录的变化而适应。缩短从交互到模型更新的路径,将使从搜索或推荐中学到的经验能够改善两种体验。

本文包含 Aaron Yuen、Darshan Fofadiya、Kyumin Park、Michael Garner、Joshua Antonio Crisologo、Ryan Synk、Jose Sepulveda 和 Anthony Maltsev(Liquid AI)的贡献。

特别感谢 Liquid AI 团队的 Darian Bhathena 和 Edoardo Mosca。


转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:Shopify Engineering

原创地址:https://shopify.engineering/generative-discovery

原文作者:Shopify Engineering;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1307
  • 访问量
    573886