数据库世界经历了40多年的发展，依然生机勃勃。最古老的数据库类型是SQL或关系数据库，其中所有的数据都结构化的。

Web 2.0公司不断增长的需求引发了NoSQL革命，数据库变得更加灵活，出现了能够处理更多非结构化数据的数据库，能够处理的数据量更加庞大。

现在，随着市场对人工智能应用的追捧，出现了另一种被称为矢量数据库(vector databases)的新市场。AIGC热更是加速了矢量数据库的投资热。

新型数据库获得大量投资

到今年3月底，包括Pinecone、Chroma和Weviate等不少矢量数据库初创公司获得了众多风险投资公司的投资，金额从几百万美元到数千万美元不等。

开源搜索引擎Weviate的开发商SeMI Technologies宣布，已获得由New Enterprise Associates和Cortical Ventures领投的A轮融资，金额为5000万美元。

2022年3月，矢量数据库排头兵Pinecone在A轮融资中获得了1800万美元的融资。

矢量数据库初创公司Chroma获得了1800万美元的种子资金，估值达到7500万美元。同样值得注意的是，Chroma在GitHub上只有 1.2颗星。

最近，另一家德国初创公司Qdrant今年4月中旬宣布从主要投资者Unusual Ventures获得750万美元的种子资金。

被生成式人工智能(AIGC)漏洞打击的投资者正在涌向生态系统中一些相互关联的领域。但是，人们会问，钱投入这些公司值得吗?

答案是肯定的。“Weaviate矢量数据库被用作新兴AI原生生态系统的核心基础设施，它允许用户——从初创公司到企业——创建从定制搜索和推荐系统到ChatGPT插件的新一波应用程序。”

另外，矢量数据库本身非常有价值，同时代表了更丰富的数据集，包括文本、音频、图像和视频，这对于生成式人工智能提出的无数用例来说是“完美的”。

矢量数据库的“实力”

如何构建基于AI的语义搜索或问答应用程序?您可能需要一个矢量数据库来轻松存储和搜索嵌入。

那什么是矢量数据库呢?矢量数据库是一种将数据存储为高维向量的数据库，高维向量是要素或属性的数学表示。每个向量都有一定数量的维度，范围从几十到几千不等，具体取决于数据的复杂性和粒度。

而矢量通常是通过对原始数据(如文本、图像、音频、视频等)应用某种转换或嵌入函数来生成的。嵌入函数可以基于各种方法，如机器学习模型、词嵌入、特征提取算法。

由此我们可以看出，矢量数据库使用基于矢量的数据结构而不是传统的关系模型，主要用于人工智能(AI)应用，如机器学习、自然语言处理和图像识别等。矢量数据库支持快速高效的数据存储和检索过程，使其成为 AI用例的理想选择。

矢量数据库的主要优点是允许根据矢量距离或相似性快速准确地搜索和检索数据，这意味着，您可以使用矢量数据库根据语义或上下文含义查找最相似或最相关的数据，而不是使用基于完全匹配或预定义条件查询数据库的传统方法。

因此，矢量数据库的典型应用场景包括：

语义搜索，使用自然语言查询查找相关结果，而无需了解有关数据分类方式的细节。

图像、音频、视频、JSON 和其他形式的非结构化数据的相似性搜索。

排名和推荐引擎，根据最接近的匹配项查找相似项目的能力使矢量数据库成为提供相关建议的理想选择，并且可以根据相似性分数轻松对项目进行排名。

重复数据删除和记录匹配，使用相似性服务查找近似重复的记录，从目录中删除重复项。

异常检测，也可以找到与预期结果相距甚远或不同的对象，用于威胁评估、欺诈检测和IT运营等。

目前，市场上的矢量数据库还不少。一种是关系型数据库和NoSQL数据库，增加向量嵌入存储，但它们最初都没有设计用于存储和提供这种类型的数据。Supabase是一个托管的 PostgreSql解决方案，它使用pgvector 扩展实现存储嵌入。pgvector是一个开源库，可以将您的Postgres DB转换为矢量数据库。

另一种是从开始设计时就用于管理矢量嵌入的原生矢量数据库，如Pinecone和Zilliz等矢量数据库。Zilliz是Milvus的主要开发者，Milvus是一个于 2019 年首次发布的开源矢量数据库。该数据库是以现代云方式开发的，可以提供“对万亿矢量数据集的毫秒级搜索”。最近Zilliz宣布了矢量数据库Milvus 2.3的最新版本。

为了不落后，老牌数据库公司正在通过与人工智能相关的服务来强化自己。例如，甲骨文正在提供一系列人工智能算法，同时也以“数据库内学习的速度”提供。

IBM的老式DB2现已更名为“AI数据库”，现在具有ML来提高查询性能和“基于置信度的查询”。

矢量数据库就是淘金中“铁锹”

虽然矢量数据库的应用场景众多，可以用于搜索引擎、推荐系统、AIGC等，但矢量数据库最常见的用例是其搜索功能，以与传统数据库截然不同的方式排列数据。

简而言之，它将非结构化数据数组保存在彼此相似的集群中，有助于用户使用相似对象查询数据库，以便轻松比较和查找相似的匹配项。

矢量数据库的另一个优点是这些查询具有低延迟，非常适合生成式AI应用。

随着大型语言模型(LLM)的兴起，矢量数据库已成为新AI堆栈的基本构建块，允许开发人员通过使用实时和真实世界的数据扩展基于 LLM 的应用程序(如ChatGPT)的“知识库”来构建更高级的应用程序。

因此，矢量数据库的一个新的重要用例是大型语言模型，用于检索可以在文本生成期间查询的领域特定或专有事实......矢量数据库对于构建专有大型语言模型的组织至关重要。

像ChatGPT这样的LLM，已经接受了来自互联网的大量数据语料库的训练，已经证明自己在生成对问题的适当回答方面非常出色(尽管并不完美)。因为他们已经接受过培训，许多组织已经开始投资即时工程工具和技术，以使LLM更好地为特定用例工作。

但是，如果说人工智能是大多数公司的前沿和中心，那么自然会要求建立人工智能优先的基础设施。

矢量数据库与关系数据库公司最大不同是“人工智能优先的基础设施”，这是第一次在数据科学中所做的所有事情和人们看到的前景和需求之间建立了这座桥梁。”

在矢量数据库与生成式AI工具的错综复杂的联系中，专家认为“每次淘金热都有人卖铁锹。对于生成式AI，铲子是什么?矢量数据库。”

“几乎每个LLM (AI大型语言模型)驱动的应用程序都使用或即将使用矢量数据库。LLM将集成到几乎所有主要应用程序中。投资一篮子提供托管矢量数据库的公司似乎是在现代淘金热中从铁锹中获利的方式。”

称向量数据库为铁锹并不为过。随着部署到企业生产中的人工智能应用程序与日俱增，对一流矢量数据库的需求与SQL操作云一样重要。

“目前与任何有效的新技术一样，可能很难将炒作与实际好处分开。”谷歌开发者专家、YouTube频道Fireship的创建者杰夫·德莱尼(Jeff Delaney)谈到了他如何启动一个名为Rektor的矢量数据库项目时表示，该项目没有收入、商业计划或代码可显示，但在很短的时间内公司的估值却飙升至4.2亿美元。

处在风口，猪都会被吹起来!矢量数据库现在就处在风口!