南大通用GBase 8c分布式数据库(gbase database)通过内置 DataVec 引擎,把向量检索能力直接做进一体化数据库,在保留 ACID 事务与完整 SQL 生态的前提下,实现亿级数据的毫秒级相似检索。
GBase 8c向量搜索的核心技术原理:KNN、ANN 与 HNSW
1、距离度量
相似性检索的前提是"可度量"。常见度量方式包括:
- 欧氏距离(L2): 向量空间中的直线距离,越小越相似;
- 余弦相似度:衡量两个向量的夹角,关注方向而非长度,文本语义检索中最常用;
- 内积(IP):兼顾方向与模长,常用于推荐场景。
不同 Embedding 模型适用的度量方式不同, 建库与查询必须保持一致,否则相似度排序会失真。
2、KNN:精确最近邻
KNN(K-Nearest Neighbors) 的原理非常直接:把查询向量与数据库中每一个向量逐一计算距离,排序后返回最近的 K 个结果。
- 优点:结果绝对精确,是近邻搜索的"黄金标准";
- 缺点:时间复杂度为 O(n),数据量越大越慢。
在小数据量下 KNN 完全够用;但到了百万级、上亿级,逐一比对会让查询延迟从毫秒级直接上升到分钟级,无法支撑在线业务。
3、ANN:近似最近邻
ANN(Approximate Nearest Neighbor) 的核心思想是 用微小的精度损失换取巨大的性能提升:不再扫描全部数据,而是构建特殊索引,把搜索范围限制在一个"候选集"中,先查目录、再找书。
这听起来像是"偷工减料",但在工程上是极其划算的交易:牺牲少量召回率,换来几个数量级的性能提升,使亿级数据毫秒级检索成为可能。
4、HNSW:分层可导航小世界
HNSW(Hierarchical Navigable Small World) 是当前业界公认性能最好的 ANN 算法之一,融合了 跳表的分层思想与 小世界网络的连接特性。
可以这样理解它的搜索过程:
开车回家时,先从高速公路快速行驶,然后下高速进入外环路,再转入城市街道,最后进入小区内部道路。范围一层层缩小,路径一步步精确。
HNSW 正是构建了这样一座"金字塔"式索引:
- 上层节点稀疏、连接跨度大,用于快速跳跃、缩小范围;
- 越往下节点越密、连接越精细,用于局部精确遍历;
- 查询从顶层入口开始,逐层向下跳转,最终在底层定位到相似节点。
它的核心优势是:
实际使用中,HNSW 的效果主要受三个因素影响:每个节点的邻居数 M、建索引时的候选集大小 efConstruction、查询时的候选集大小 efSearch。 M 与 efConstruction 越大,索引质量越高但构建越慢、占用内存越多;efSearch 越大,召回率越高但延迟越大。 这是一组需要根据业务 SLA 反复调优的平衡参数。