📣 1.序言

>自从OpenAI推出了全新的对话式通用人工智能工具——ChatGPT，

ChatGPT 表现出了非常惊艳的语言理解、生成、知识推理能力，

ChatGPT 的横空出世拉开了大语言模型产业和生成式AI产业蓬勃发展的序幕，

大模型作为新一代的AI处理器，提供了数据处理能力；

而向量数据库提供了存储能力，成为大模型时代的重要基座。

📣 2.向量数据库

数据库有事务处理（OLTP）与数据分析（OLAP）两大核心场景，

向量数据库自然也不例外。典型的事务处理场景包括：知识库，问答，推荐系统，人脸识别，图片搜索，等等等等。

知识问答：给出一个自然语言描述的问题，返回与这些输入最为接近的结果；

以图搜图：给定一张图片，找出与这张图片在逻辑上最接近的其他相关图片。

这些功能说到底都是一个共同的数学问题：向量最近邻检索（KNN）：

给定一个向量，找到距离此向量最近的其他向量。

向量数据库的主要应用场景：

1.人脸识别

向量数据库可以存储大量的人脸向量数据，

并通过向量索引技术实现快速的人脸识别和比对。

2.图像搜索

向量数据库可以存储大量的图像向量数据，

并通过向量索引技术实现快速的图像搜索和相似度匹配。

3.音频识别

向量数据库可以存储大量的音频向量数据，

并通过向量索引技术实现快速的音频识别和匹配。

4.自然语言处理

向量数据库可以存储大量的文本向量数据，

并通过向量索引技术实现快速的文本搜索和相似度匹配。

5.推荐系统

向量数据库可以存储大量的用户向量和物品向量数据，

并通过向量索引技术实现快速的推荐和相似度匹配。

6.数据挖掘

向量数据库可以存储大量的向量数据，

并通过向量索引技术实现快速的数据挖掘和分析。

📣 3.向量插件PGVECTOR

>在所有现有向量数据库中，pgvector是一个独特的存在 —— 

它选择了在现有的世界上最强大的开源关系型数据库 PostgreSQL 上以插件的形式添砖加瓦，

而不是另起炉灶做成另一个专用的“数据库” pgvector有着优雅简单易用的接口，

不俗的性能表现，更是继承了PG生态的超能力集合。

📣 4.PGVECTOR安装

1.配置yum源

yum install -y

2.编译安装

# 先安装git(如果已安装，跳过)

yum install -y git

# 切换到/tmp目录，下载源码包，我这里选择是目前最新版本0.5.1

cd /tmp

git clone --branch v0.6.0

# 进入/tmp/pgvector目录，进行编译安装

cd pgvector

make & make install

3.安装vector扩展

# 创建demo数据库

create database demo;

# 切换到demo数据库

\c demo

# 安装vector扩展

CREATE EXTENSION vector;

# 创建测试表

CREATE TABLE test (id bigserial PRIMARY KEY, embedding vector(3));

# 插入测试数据

INSERT INTO test (embedding) VALUES ('[1,2,3]'), ('[4,5,6]');

# 按与给定向量相似度(L2 distance)排序，显示前5条

SELECT * FROM test ORDER BY embedding <-> '[3,1,2]' LIMIT 5;

📣 5.PGVECTOR实践

✨ 5.1 知识检索

用一个简易的 Python 小脚本，

就可以制作一个全文模糊检索的命令行小工具

# !/usr/bin/env python3

from text2vec import SentenceModel

from psycopg2 import connect

model = SentenceModel('shibing624/text2vec-base-chinese')

def query(question, limit=64):

    vec = model.encode(question)  # 生成一个一次性的编码向量，默认查找最接近的64条记录

    item = 'ARRAY[' + ','.join([str(f) for f in vec.tolist()]) + ']::VECTOR(768)'

    cursor = connect('postgres:///').cursor()

    cursor.execute("""SELECT id, txt, vec <-> %s AS d FROM sentences ORDER BY 3 LIMIT %s;""" % (item, limit))

    for id, txt, distance in cursor.fetchall():

        print("%-6d [%.3f]\t%s" % (id, distance, txt))

✨ 5.2 距离定位

📣 6.总结

>向量数据库是一个非常有前景和潜力的行业，相信未来随着AI技术的不断发展，

向量数据库也必将迎来更加广阔的发展空间。