EmbeddingGemma 2 是用于端侧多模态嵌入的最强模型，可将文本、图像、音频和视频的组合原生映射到统一的嵌入空间。

研究工程师，Google DeepMind

Henrique Schechter Vera

研究工程师，Google DeepMind

我们去年推出了 EmbeddingGemma，旨在为高质量文本嵌入提供一种轻量级方案，帮助您的应用直接在消费级硬件上组织、搜索和连接信息。开发者社区的反馈远超我们的预期。凭借超过 2000 万次下载，开发者已将其用于驱动更智能的端侧搜索工具和隐私优先的检索增强生成（RAG（检索增强生成））流水线。

今天，我们推出 EmbeddingGemma 2，从文本扩展到统一代码、图像、视频和音频于共享嵌入空间。EmbeddingGemma 2 基于 Gemma 4 架构构建，并以商业友好的 Apache 2.0 许可证发布，拥有 7.4 亿参数，非常适合端侧推理。它可以帮助从语音备忘录中找到特定的视频片段，或根据文本查询搜索数小时的音频录音，所有这些都由一个原生的多模态模型处理。

EmbeddingGemma 2 采用与 Gemini Embedding 模型相同的技术构建，具有以下特点：

• 同尺寸中最佳：在 MTEB（Massive Text Embedding Benchmark）Code 和 MAEB（Massive Audio Embedding Benchmark）等基准测试中，于 10 亿参数以下的多模态嵌入模型中取得领先分数，同时在文本、视觉和音频任务中匹配或超越许多更大的模型。

• 模块化设计：纯文本工作负载仅需 270M 参数，并可选用视觉（170M）和音频（300M）编码器以实现完整的多模态支持。

• 存储高效：利用 Matryoshka 表示学习（MRL），开发者可以将输出向量从 768 维动态截断至 512、256 或 128 维。这为本地向量数据库和内存使用提供了高达 6 倍的存储缩减。

• 针对端侧性能优化：在严格的资源限制下高效运行。通过量化，在 Google Pixel 11 Pro 上，EmbeddingGemma 2 的纯文本权重仅需约 191MB 活动 RAM，完整多模态模型约需 567MB。

• 扩展上下文就绪：具有 8K token 上下文窗口（比 EmbeddingGemma 1 大 4 倍），允许直接在本地硬件上处理长达 5.5 分钟的音频、29 张图像、58 个视频帧或其交错组合。

在代码、视觉和音频方面实现顶级质量

EmbeddingGemma 2 在保持 EmbeddingGemma 强大的多语言文本性能的同时，在代码性能上实现了显著的 9.92 分提升（在 MTEB Code 中，从 68.76 提升至 78.68），使其非常适合本地代码库索引、语义代码搜索和编码智能体检索。在图像、视频、文档和音频方面，它为 10 亿参数以下的模型树立了每参数质量的新标准，甚至超越了一些规模是其两倍以上的专用模型。

在 EmbeddingGemma 2 模型卡中查找完整的评估指标和模型信息。

完全在设备端实现语义搜索、路由和检索

EmbeddingGemma 2 将强大的能力直接带到边缘硬件。在本地生成嵌入有助于确保数据隐私、降低流水线延迟，并使开发者能够构建完全离线运行的跨模态搜索和检索。

当与 Gemma 4 等生成模型配合使用时，EmbeddingGemma 2 可支持理解复杂多模态数据的设备端 RAG 流水线。由于 EmbeddingGemma 2 构建于 Gemma 4 之上，并共享其文本分词器和音频编码器，开发者可以在统一流水线中同时运行这两个模型，并降低组合后的总内存占用。

使用文本或图像，根据语义相似度在你的媒体库中查找最佳匹配项。可在 Google AI Edge Gallery 的 Instant Media Search 中试用。

使用文本或音频查询定位视频中的特定时刻。可在 Google AI Edge Gallery 的 Video Moments Finder 中试用。

将用于本地文件检索的 EmbeddingGemma 2 与用于上下文推理的 Gemma 4 配对使用。可在 Google AI Edge Foresight 应用中试用。

通过 MediaPipe Decision Task API（应用程序编程接口） 创建利用多模态上下文进行分类、路由和预测能力的实时决策引擎。

要了解如何使用 LiteRT 构建设备端搜索和 RAG 系统，请阅读 Google AI Edge 博客文章。

开始使用 EmbeddingGemma 2

我们与以下合作伙伴密切合作，以确保 EmbeddingGemma 2 可在你的构建环境中立即使用：

• 下载模型：可在 Hugging Face 和 Kaggle 上找到模型权重，Gemini Enterprise Agent（智能体） Platform Model Garden 也将很快提供。访问 Hugging Face 上的 LiteRT Community，获取针对设备端优化的模型。

• 设备端部署：使用 Google AI Edge MediaPipe 开发跨平台应用，以实现开箱即用的嵌入、检索和决策任务，或使用 LiteRT 进行自定义模型集成。使用 transformers.js 或 WebGPU 为浏览器构建。

• 使用你喜欢的开发工具：使用 transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama 和 LMStudio 高效地提供模型服务。使用 Qdrant 存储你的嵌入向量。

• 微调：遵循 Unsloth 的指南，了解如何为你的用例微调 EmbeddingGemma 2。

探索我们的开发者指南、文档，以及用于推理和微调的指南。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：Google DeepMind Blog

原创地址：https://deepmind.google/blog/embeddinggemma-2-an-open-lightweight-multimodal-embedding-model/