ITPub博客

首页 > 数据库 > 国内数据库 > GBase 8c向量数据库核心技术原理KNN、ANN与HNSW解析

GBase 8c向量数据库核心技术原理KNN、ANN与HNSW解析

原创 国内数据库 作者:GBASE南大通用 时间:2026-11-19 17:11:13 0 删除 编辑

南大通用GBase 8c分布式数据库(gbase database)通过内置 DataVec 引擎,把向量检索能力直接做进一体化数据库,在保留 ACID 事务与完整 SQL 生态的前提下,实现亿级数据的毫秒级相似检索。

GBase 8c向量搜索的核心技术原理:KNN、ANN 与 HNSW

1、距离度量

相似性检索的前提是"可度量"。常见度量方式包括:

  • 欧氏距离(L2): 向量空间中的直线距离,越小越相似;
  • 余弦相似度:衡量两个向量的夹角,关注方向而非长度,文本语义检索中最常用;
  • 内积(IP):兼顾方向与模长,常用于推荐场景。

不同 Embedding 模型适用的度量方式不同, 建库与查询必须保持一致,否则相似度排序会失真。

2、KNN:精确最近邻

KNN(K-Nearest Neighbors) 的原理非常直接:把查询向量与数据库中每一个向量逐一计算距离,排序后返回最近的 K 个结果。

  • 优点:结果绝对精确,是近邻搜索的"黄金标准";
  • 缺点:时间复杂度为 O(n),数据量越大越慢。

在小数据量下 KNN 完全够用;但到了百万级、上亿级,逐一比对会让查询延迟从毫秒级直接上升到分钟级,无法支撑在线业务。

3、ANN:近似最近邻

ANN(Approximate Nearest Neighbor) 的核心思想是 用微小的精度损失换取巨大的性能提升:不再扫描全部数据,而是构建特殊索引,把搜索范围限制在一个"候选集"中,先查目录、再找书。

这听起来像是"偷工减料",但在工程上是极其划算的交易:牺牲少量召回率,换来几个数量级的性能提升,使亿级数据毫秒级检索成为可能。

4、HNSW:分层可导航小世界

HNSW(Hierarchical Navigable Small World) 是当前业界公认性能最好的 ANN 算法之一,融合了 跳表的分层思想与 小世界网络的连接特性。

可以这样理解它的搜索过程:

开车回家时,先从高速公路快速行驶,然后下高速进入外环路,再转入城市街道,最后进入小区内部道路。范围一层层缩小,路径一步步精确。

HNSW 正是构建了这样一座"金字塔"式索引:

  • 上层节点稀疏、连接跨度大,用于快速跳跃、缩小范围;
  • 越往下节点越密、连接越精细,用于局部精确遍历;
  • 查询从顶层入口开始,逐层向下跳转,最终在底层定位到相似节点。

它的核心优势是:

优势

说明

高性能

十亿级数据仍可做到毫秒级检索

高召回率

结果逼近 KNN 的精确度

高扩展性

支持动态增删,适合持续写入的业务

实际使用中,HNSW 的效果主要受三个因素影响:每个节点的邻居数 M、建索引时的候选集大小 efConstruction、查询时的候选集大小 efSearch。 M 与 efConstruction 越大,索引质量越高但构建越慢、占用内存越多;efSearch 越大,召回率越高但延迟越大。 这是一组需要根据业务 SLA 反复调优的平衡参数。

5、工程上的取舍

方案

精度

性能

适用场景

KNN

100% 精确

随数据量线性下降

小数据、离线校验、高精度场景

ANN / HNSW

逼近精确

亿级数据毫秒级

在线检索、推荐、RAG 等大规模场景


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69979120/viewspace-3189605/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论
GBASE南大通用,致力于成为用户最信赖的数据库产品供应商!

注册时间:2020-07-16

  • 博文量
    1357
  • 访问量
    1355014