-
EmbeddingGemma 2：一个开放、轻量级的多模态嵌入模型
EmbeddingGemma 2 是用于端侧多模态嵌入的最强模型，可将文本、图像、音频和视频的组合原生映射到统一的嵌入空间。 研究工程师，Google DeepMind Henrique Schechter Vera 研究工程师，Google DeepMind 您的浏览器不支持音频元素。 我们去年推出了 EmbeddingGemma，旨在为高质量文本嵌入提供一种轻量级方案，帮助您的应用直接在消费级硬件上组织、搜索和连接信息。开发者社区的反馈远超我们的预期。凭借超过 2000 万次下载，开发者已将其用于驱动更智能的端侧搜索工具和隐私优先的检索增强生成（RAG（检索增强生成））流水线。 今天，我们推出 EmbeddingGemma 2，从文本扩展到统一代码、图像、视频和音频于共享嵌入空间。
-
自压缩语言模型智能体
作者 Tianjian Li†, Jingyu Zhang†, William Jurayj†, Xi Wang†, Chuanyang Jin†, Mehrdad Farajtabar, Eric Nalisnick†, Daniel Khashabi† 由思维链和工具调用组成的长智能体轨迹会累积过时内容，这些内容会锚定后续生成，并最终超出上下文窗口。现有脚手架通过在 token 阈值处触发固定间隔压缩来缓解这一问题。此类触发机制不考虑轨迹结构，存在在推导或搜索中途丢弃部分结果的风险。我们提出 SELFCOMPACT，一种允许模型自身决定何时以及如何压缩的脚手架。
-
基于Token计数的批处理：更快、更经济的查询嵌入推理
在服务大量短请求时，嵌入模型推理往往难以兼顾效率——这是搜索、检索和推荐系统中的常见模式。在 MongoDB 旗下的 Voyage AI，我们将这些短请求称为查询（queries），其他请求则称为文档（documents）。查询通常必须以极低延迟（通常为 100–300 毫秒）提供服务。 查询通常较短，其 token 长度分布高度偏斜。因此，查询推理往往受内存限制而非计算限制。查询流量波动很大，因此自动扩缩容过于缓慢。总之，顺序服务大量短请求的效率极低。 在这篇博客文章中，我们探讨如何利用批处理（batching）来更高效地服务查询。我们首先讨论现代推理引擎中的填充移除（padding removal），这是一项实现有效批处理的关键技术。然后，我们介绍形成批次和选择合适批次大小的实用策略。
-
文本嵌入能完美编码文本吗？
近年来，随着生成式 AI 的快速发展，许多公司纷纷将 AI 融入自身业务。其中最常见的做法之一，是构建能够回答文档数据库中相关问题的 AI 系统。此类问题的大多数解决方案都基于一项关键技术：检索增强生成（RAG（检索增强生成））。 这正是当前许多人采用的廉价且便捷的 AI 入门方式：将大量文档存入数据库，让 AI 针对给定输入检索最相关的文档，然后基于检索到的文档生成对输入的回复。 这些 RAG 系统通过使用“嵌入”（embeddings）——由嵌入模型生成的文档向量表示——来判断文档相关性。这些嵌入应当表示某种相似性概念，因此与搜索相关的文档在嵌入空间中会具有较高的向量相似度。 RAG 的普及催生了向量数据库的兴起，这是一种专为存储和搜索大量嵌入而设计的新型数据库。
-
知了 | 基于NLP的智能问答推荐系统
通常，客服系统主要有两种应答模式：机器人自动应答和人工应答。当用户提出问题后，客服系统首先启动机器人自动应答模式，如果用户认为机器人推荐的结果不准确，会进一步请求进入人工问答模式，由专门的客服人员跟进答疑。
-
美团BERT的探索和实践
他山之石，可以攻玉。美团点评NLP团队一直紧跟业界前沿技术，开展了基于美团点评业务数据的预训练研究工作，训练了更适配美团点评业务场景的MT-BERT模型，通过微调将MT-BERT落地到多个业务场景中，并取得了不错的业务效果。
