ITPub博客

首页 > 数据治理 > 数据治理 > Search on Flex:用分层存储承载更大规模的 Redis 搜索索引

Search on Flex:用分层存储承载更大规模的 Redis 搜索索引

原创 数据治理 作者:虹科云科技 时间:2026-11-10 14:50:20 0 删除 编辑
商品目录增加属性,风控查询扩展到完整历史,RAG 从部分文档扩展到整个知识库,都会推高搜索索引的规模。单项需求可能并不激进,但叠加之后,把整个索引放在 RAM 中的成本就可能超出预算。
Search on Flex 将 Redis Flex 的分层存储机制扩展到搜索索引。在本文介绍的 Redis Cloud Pro Preview 中,索引可以使用 RAM 与 SSD 共同承载,应用继续使用原来的 Redis Search API、查询语句和客户端,无需因存储方式变化重新设计访问接口。

索引分层如何改变内存开销

Redis Flex 已经能够管理键和值在 RAM 与 SSD 之间的分布:热点数据驻留内存,温数据进入 SSD。Search on Flex 把同样的思路用于索引本身,完整索引由分层存储承载,热点索引元数据留在 RAM。
根据 Redis 团队的介绍,这种方式可将索引的 RAM 占用降至同等纯内存索引的约 10%。用户可以调整数据库的 RAM 与 Flash 比例,在成本和性能之间选择合适的位置,之后继续调整时也无需重建索引或重写应用。将比例调整至 100% RAM,则回到纯内存运行方式。
SSD 读取会增加延迟。为满足吞吐需求,Search on Flex 配合 Query Performance Factor(QPF),将查询执行分布到多个 vCPU。团队提出的“10:10”是设计目标:以约 10% 的 RAM 占用,换取约为纯内存查询 10 倍的延迟。它描述的是设计上的成本与延迟取舍,不应理解为对所有工作负载的固定性能保证。
具体分层机制可参考 Redis Flex 文档。在 Redis Cloud Pro 中,这部分基础设施由平台管理。

从缓存子集,扩展到完整数据集检索

分层索引让 TB 级搜索负载有了新的部署空间。原文介绍的目标工作负载从约 1 TB 延伸到十余 TB,包括完整历史上的风控与合规筛查、保留更多特征和更长历史的特征存储,以及面向完整商品目录、知识库和 Agent 上下文的文档检索。
RAG 和 Agent 检索很容易受到 RAM 容量限制。把大规模 Embedding 和文档放在 SSD 上后,检索范围可以覆盖整个数据集,而不必局限于能够装入内存的那部分内容。
这也为简化架构提供了可能。过去,一些团队使用 Redis 做缓存,另外部署 Elasticsearch、OpenSearch 或专用向量数据库处理搜索,因为同等规模的 Redis 索引无法经济地全部驻留内存。在所需功能得到支持的负载中,Search on Flex 可以让 Redis 同时承担缓存与搜索职责,源数据库仍然作为权威数据源。配合 Redis Data Integration,将现有数据库中的数据近实时同步到 Redis 后,搜索也可以覆盖同步进来的完整数据集。
由于分层和纯内存配置沿用相同引擎与命令,团队还可以在早期采用 SSD 占比较高的配置,之后随需求增长提高 RAM 比例和 QPF。容量与性能的调整由配置完成,而不必每次都演变为数据迁移项目。

Redis Cloud Pro Preview 的支持范围

本文发布时,Redis Cloud Pro 的 Search on Flex 仍处于 Preview,主要支持以下内容:
  • HASH 文档。
  • TEXT 字段,包括前缀、中缀、后缀、通配符和模糊匹配。
  • TAG 字段。
  • 使用 HNSW 和 FLAT 索引的 VECTOR 字段。
  • 通过 SORTBY 和 RETURN 从键空间加载字段。
  • 高可用、持久化、备份和升级。
当时,Redis Cloud Pro 暴露的能力少于 Redis Software。 NUMERIC、 GEO、JSON 文档、 FT.AGGREGATE、 FT.HYBRID 和后台索引在 Redis Software 中已经可用,Cloud Pro 还需要后续版本补齐。团队将与纯内存 Search 达成功能对等作为 GA 目标,并根据客户需求安排剩余功能的优先级。
FT.CREATE、 FT.SEARCH 和已有客户端的使用方式保持一致,但这不等于 Preview 已经支持所有纯内存 Search 功能。接入时仍需以 Preview 的实际支持范围为准。本文发布时,数据库按既有 Flex 方式计费,Search on Flex 使用的 QPF 暂无额外费用。

开始使用

要试用这项能力,需要在 Redis Cloud 控制台为 Redis Cloud Pro 订阅启用相应的 Preview 选项,之后即可创建使用分层搜索索引的 Flex 数据库。Terraform 支持也处于预览级别,正式发布前支持范围还会继续扩展。
Search on Flex 的价值,是把搜索规模从“能买得起多少 RAM”扩展为可按应用需求选择的存储配置。对于能够接受相应延迟、且功能落在支持范围内的工作负载,更大的检索范围不必再完全依赖内存容量。更多产品信息可参考 Redis Flex。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70026953/viewspace-3188328/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
公众号(ID:艾体宝IT):分享数据存储、网络安全等相关的产品信息、解决方案、应用案例及行业信息,如Redis、ArangoDB、ONEKEY、Lepide等!艾体宝IT官网:https://www.itbigtec.com/ 联系我们:18483658974(同微信)

注册时间:2023-02-21

  • 博文量
    216
  • 访问量
    223000