首页 > 数据库 > 国内数据库 > 南大通用GBase 8c企业级向量数据库概述
摘要:向量数据库把文本、图像、音频等非结构化数据映射成高维向量,用"距离"代替"精确匹配"来回答"什么和它相似";南大通用GBase 8c分布式数据库(gbase database)通过内置 DataVec 引擎,把向量检索能力直接做进一体化数据库,在保留 ACID 事务与完整 SQL 生态的前提下,实现亿级数据的毫秒级相似检索。
过去几十年,关系型数据库的核心命题是 精确匹配:给定一个主键、一个账号、一个订单号,快速、准确地找回那条记录。B+ 树、哈希索引等结构都是为这件事服务的,它们擅长交易、账务等对准确性要求极高的场景。
但 AI 应用带来了另一类问题:
这类问题的答案不是唯一的,也没有标准主键。用户真正想要的是 最相似的 Top N 个结果,而不是"等于"某条记录。用 LIKE 做字符串匹配,只能匹配字面,无法理解语义;用全表扫描逐一比对,数据量一大就会从毫秒级退化到分钟级。
这正是GBase向量数据库要解决的问题: 从"精确匹配"转向"模糊相似",通过距离度量找出最相似的结果。
先看一个生活化的比喻。
去水果摊买水果,有经验的老板不需要看标签,通过水果的 颜色、形状、气味、甜度就能判断出这是什么水果。这些用于区分事物的特征,组合起来就构成了这个水果的"特征向量"。
在 AI 语境下:
向量(Vector) 是把一个对象的多维特征用一组数值表示出来的结果。相似的对象,在向量空间中的距离就更近。
一个水果可以抽象成 [颜色, 形状, 气味, 甜度, ...],一段文本、一张图片、一段音频同样可以被抽象成几百甚至几千维的浮点数数组。 维度就是特征的个数,数值就是特征的具体取值。
再用图书馆做类比:
所以,GBase向量数据库并不是"存向量的数据库"这么简单,它的本质是:
面向高维向量提供存储、索引与相似性检索能力的数据系统。
围绕向量,它通常具备三项核心能力:
连接非结构化数据与向量数据库的桥梁,是 Embedding(嵌入) 。它把现实世界的对象映射到高维向量空间,让机器具备"理解语义关系并计算相似度"的能力。
Embedding 生成向量通常分为三步:
第三步尤其关键。特征并非提取越多越好:维度越高,占用的磁盘空间越大,距离计算的 CPU 开销也越高。 特征压缩在尽量保留语义的前提下降低维度,使海量非结构化数据变成统一、低维、可计算的向量表示。
这也是 Embedding 的两大价值所在:
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69979120/viewspace-3189328/ ,如需转载,请注明出处,否则将追究法律责任。