关键字: [亚马逊云科技， 生成式AI， OpenSearch， 向量数据库， 智能搜索体验， 生成式Ai， 专业知识补充， 多路召回]

导读

在本次演讲中，演讲者介绍了亚马逊云科技的OpenSearch向量数据库，解释了它如何通过向量嵌入和索引来实现智能搜索，支持多模态搜索、专业知识注入等功能。OpenSearch作为托管服务，具有高性能、高可用、低成本等优势，可与大模型结合使用，为生成式AI应用提供强大的搜索能力。演讲者还分享了OpenSearch在亚马逊音乐、品牌保护等场景的应用案例。

演讲精华

以下是小编为您整理的本次演讲的精华。

在当今生成式人工智能时代，亚马逊云科技为客户提供了多种工具，以加速向AI时代的转型。互联网搜索、企业知识库搜索以及多模态搜索等，都是智能搜索在不同场景下的体现。然而，智能搜索的体验能够被革新到何种程度?底层架构又将如何支持这种革新体验?

传统搜索过程是用户输入关键词进行文本搜索，查看结果是否满意。如果一次搜索无法找到所需内容，就需要多轮迭代。传统搜索引擎无法理解用户意图，最多只能给出一些相关提示。这种方式虽然仍有用武之地，但在AI时代，更多搜索体验来自于直接向应用程序或机器人提问，由它们给出回答并提供进一步指引，以更快获取所需答案，需要大语言模型的支持。

尽管大语言模型能够帮助我们完成许多任务，但在搜索场景中，单靠大模型是不够的。首先，大模型训练数据具有时效性，无法包含最新内容和知识。其次，大模型是通用的，缺乏特定行业和领域的专业知识。再者，在无法回答某些问题时，大模型可能会产生“幻觉”，给出错误或不合理的答案，在某些场景下这是无法接受的。另外，如果每次搜索都要经过大模型，调用成本会很高。最后，大模型生成答案需要时间，整体响应时间会较长。

为弥补这些局限性，亚马逊云科技提出“增量生成(IG)”解决方案，在大模型外部加载“向量数据库”外挂，存储大模型所缺乏的时效性、专业性知识，在用户提问时注入这些信息，使大模型能够产生准确、正确的回答。

IG核心是向量嵌入。以电商场景为例，我们可将产品目录、退货流程、培训内容等内部知识，通过大模型或其他嵌入模型转化为高维向量，每个维度代表一个特征，如鞋款式、颜色、退货政策等。相似产品或知识点，其向量距离就越近。将所有向量存储在向量数据库中，当用户提出查询时，系统将查询也转化为向量，在数据库中找到最相似的那些向量及其对应内容，返回给用户。

整个工作流是:原始多模态数据经过数据预处理和向量嵌入，建立索引存入向量数据库。用户查询也被转化为向量，在数据库中通过向量相似度匹配找到最相关结果向量，返回给用户，并可选结合大模型生成总结性回答。

亚马逊的OpenSearch向量数据库产品是一个完全开源的Apache 2.0项目，自2021年第三季度发布以来下载量超过7亿次，在向量引擎排行中名列前茅，全球包括中国在内有众多代码贡献者。许多合作伙伴也在基于OpenSearch构建相关应用。

OpenSearch支持热门向量引擎如Lucene、Faiss、Annlite等，原生支持文本搜索，具有高性能(可低成本存储数十亿甚至上百亿条向量)、高可用性、多路召回(提高准确率)等优势，还提供Serverless版本便于部署使用。

用户通过REST API将原始文档发送到应用程序，OpenSearch将文档文本构建成向量存储，用户则通过API发送查询条件(字段匹配、布尔表达式、排序、聚合分析等)，OpenSearch返回相应结果向量。

数据准备阶段包括:提取原始数据(文本、图像、表格等)→文本规范化→从图像提取文本数字信息→长文本切分→向量嵌入→存入OpenSearch索引。对于大规模数据，可离线批量处理，将原始数据存至Amazon简单存储服务(S3)，经处理后存入新S3传输桶，再通过OpenSearch摄入器导入索引，数据摄取过程只需几行代码。

在搜索时，除向量相似度匹配外，OpenSearch还支持精确匹配、近似匹配，以及与文本搜索的混合检索。通过多路召回将向量搜索和文本搜索结果加权合并，可提高准确率，特别是对专业词汇和同义词的识别。例如在电商场景中，将产品名称、代码、型号、昵称等作为自定义词汇和同义词，与向量搜索结合，使用户能通过输入昵称等方式找到所需商品。OpenSearch还可与Kendra问答服务集成，直接通过自然语言问题获取知识库答复。

OpenSearch优化策略有多种，在召回率、延迟和成本之间可灵活权衡。例如通过数据分层策略，将大部分数据存于低成本对象存储，能将成本降低到原来的1/3，虽然延迟会增加，但相比大模型响应时间而言这点延迟可接受。通过官方网站提供的不同优化方式，客户可根据需求在三者之间权衡，找到最佳方案。

OpenSearch在亚马逊内部有两大应用案例。第一是亚马逊音乐推荐，底层向量数据库存储了1亿首歌曲向量，总计超过10亿条向量，高峰期每秒查询率可达7100，是大规模应用场景。第二是亚马逊品牌保护计划，对上传新商品进行侵权检测，数据库存储681万条商标数据，每天可自动发现99%侵权案例，有效保护品牌权益。

除了亚马逊内部使用外，OpenSearch还有其他客户案例。在电商场景中，OpenSearch可以将产品目录、退货流程、培训内容等内部专有知识转化为向量存储，当用户搜索时，通过向量相似度匹配返回相关产品或知识点。这种方式可以让用户很方便地搜索到内部特有的内容，而这些内容并不包含在大模型的训练数据中。

通过将产品信息如鞋款式、颜色、退货政策等特征转化为高维向量，相似产品的向量距离就越近。将所有产品向量存入向量数据库后，当用户输入查询时，系统会将查询也转化为向量，在数据库中找到最相似的那些产品向量并返回给用户。这种基于向量相似度的搜索，能让用户快速精准地找到所需商品。

在生成式AI时代，智能搜索应用场景包括互联网搜索、知识库、聊天机器人、多模态搜索等。OpenSearch作为亚马逊云科技向量数据库产品，具有良好性价比、高可用性、可扩展性(能承载数千亿条向量)、一键扩缩容、Serverless等优势，通过与文本搜索多路召回，能帮助用户获得更满意搜索结果，实现智能搜索新体验。

总的来说，OpenSearch向量数据库为生成式AI时代智能搜索提供了强有力底层支持。它能存储海量专业知识，通过向量相似度匹配快速返回相关结果，并与大语言模型无缝集成，产生准确完整回答，为用户带来全新智能搜索体验。在多个应用场景中，OpenSearch已展现卓越性能和价值，未来必将在更多领域发挥重要作用，推动智能搜索革新发展。

下面是一些演讲现场的精彩瞬间：

During the keynote， the speaker highlighted the captivating potential of generative AI and 亚马逊云科技’ extensive suite of tools to accelerate the transition into this transformative era.

在生成式AI时代，我们更多的搜索体验来自于直接向应用或机器人提问，获得回答和建议，以更快获取所需答案。

The speaker explains the importance of vector embedding in the IG process， using an e-commerce scenario as an example to illustrate how product catalogs and other content can be converted into vectors for efficient search and retrieval.

每个向量由多个维度组成，每个维度代表一个特征，如鞋款的款式、颜色等，两个向量之间的距离越近，表示它们的相似度越高。

通过离线方式批量处理文档数据并将其存储在S3上，然后使用OpenSearch摄入器将数据导入OpenSearch集群，实现高效的数据摄取流程。

总结

在生成式人工智能时代，智能搜索体验正在革新。传统搜索存在局限性，无法理解用户意图，需要多轮迭代才能找到所需内容。而现代搜索体验则允许用户直接提问，由大型语言模型生成回答并提供进一步指引。然而，仅依赖大模型也有缺陷，如训练数据时效性、缺乏专业领域知识以及可能产生幻觉等。

为解决这些问题，亚马逊云科技推出了OpenSearch向量数据库，作为大模型的补充。它利用向量嵌入技术将文本、图像等多模态数据转换为高维向量，存储在数据库中。用户查询也被转换为向量，从而快速检索相似向量并返回相关内容。OpenSearch支持多种优化方式，在召回率、延迟和成本之间实现平衡。它还支持与文本搜索相结合，利用专业词汇和同义词提高准确性。

OpenSearch已在亚马逊音乐、品牌保护等场景中大规模应用，展现出卓越的性能和可扩展性。通过与大模型的结合，OpenSearch为生成式人工智能时代带来全新的智能搜索体验，满足用户对及时、专业、个性化内容的需求。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。