![](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/recommended-system/0.jpg)

本文是一个基于 NebulaGraph 上图算法、图数据库、机器学习、GNN 的推荐系统方法综述，大部分介绍的方法提供了 Playground 供大家学习。

## 基本概念

推荐系统诞生的初衷是解决互联网时代才面临的信息量过载问题，从最初的 Amazon 图书推荐、商品推荐，到电影、音乐、视频、新闻推荐，如今大多数网站、App 中都有至少一个基于推荐系统生成的供用户选择的物品列表界面。而这些物品的推荐基本都是**基于用户喜好、物品的特征、用户与物品交互历史和其他相关上下文**去做的。

一个推荐系统会包含以下几个部分：

- 数据、特征的处理
- 从特征出发，生成推荐列表
- 过滤、排序推荐列表

这其中，过滤的核心方法主要有两种：基于内容的过滤 Content-Based Filtering、与协同过滤 Collaborative Filtering，相关论问介绍可参考延伸阅读 1、2。

### 基于内容的过滤

内容过滤方法的本质是给用户的偏好做画像，同时对所有待推荐的物品计算特征，做用户的画像与待推荐物品特征之间的距离运算，过滤得到相近的物品。。

内容过滤的方法的好处有：

- **清晰的可解释性**，无论是对用户的画像分析，还是对物品的运算本身天然带来了排序、过滤的可解释性；
- **用户数据输入的独立性**，对指定的待推荐用户来说，只需要单独分析他们的画像和历史评分就足够了；
- **规避新物品冷启动问题**，对于新的添加的物品，即使没有任何历史的用户评价，也可以做出推荐；

同时，基于内容过滤的推荐也有以下弊端：

- 特征提取难度，比如：照片、视频等非纯文本数据，它们的特征提取依赖领域专家知识。举个例子，电影推荐系统需要抽出导演、电影分类等领域知识作为特征；
- 难以打破舒适圈，发掘用户的潜在新兴趣点；
- 新用户冷启动数据缺失问题，新用户个人信息少难以形成用户画像，进而缺少做物品画像、特种距离运算的输入；

### 基于协同过滤

协同过滤的本质是结合用户与系统之间的交互行为去推荐物品。

协同过滤的方法又分为**基于记忆** memory-based 的协同过滤与**基于模型** model-based 的协同过滤。

基于记忆的协同过滤主要有物品与物品之间的协同过滤 ItemCF 和用户与用户之间的协同过滤 UserCF。ItemCF 简单来说是，推荐和用户之前选择相似的物品，即：根据行为找物品之间的相似性；UserCF 则推荐与用户有共同爱好的人所喜欢的物品，即：根据行为找用户之间的相似性。

基于模型的协同过滤主要根据用户喜好的历史信息、利用统计与机器学习方法训练模型，对新用户的偏好进行推理。

协同过滤的方法的好处有：

- 无需对非结构化物品进行特征分析，因为协同过滤关注的是用户和物品之间的协同交互，这绕过了对物品领域知识处理的需求；
- 对用户的个性化定制程度更强、更细，基于行为的分析使得对用户偏好的划分本质上是连续的（相比来说，对用户做画像的方法则是离散的），这样的推荐结果会更加“千人千面”。同时，也会蕴含内容过滤、有限的画像角度之下的“惊喜”推荐。

但，它的缺点有以下方面：

- 有新用户和新物件上的冷启动问题，因为它们身上都缺少历史喜好行为的信息；

我们总结一下，两种过滤方式各有利弊，也存在互补的地方。比如，新物件的冷启动上，基于内容的过滤有优势；对于个性化、推荐惊喜度方面，协同过滤有优势。所以，在实操中，推荐系统大多演变都比上面的归类复杂得多，而且常常伴随着多种方法的融合。

## 基于图的个性推荐

图技术、图数据库技术在推荐系统中的应用是多方面的，在本章节中我们会从图数据库的出发点上给出多种应用例子。

### 建立图谱

在开始之前，我简单地介绍下本文使用的图数据集。

为了给出更接近实际情况的例子，我从两个公开的数据集 [OMDB](https://www.omdb.org/en/us/content/Help:DataDownload) 和 [MovieLens](https://grouplens.org/datasets/movielens/) 中分别抽取了所需信息，组成了一个既包含电影的卡司（导演、演员）和类型，又包含用户对电影评分记录的知识图谱。

Schema 如下：

- 顶点：
  - user(user_id)
  - movie(name)
  - person(name, birthdate)
  - genre(name)
- 边：
  - watched(rate(double))
  - with_genre
  - directed_by
  - acted_by

![](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/recommended-system/schema_0.png)

这个数据的准备、ETL 过程会在另外的文章里详细介绍，在进入下一章节之前，我们可以用 [Nebula-Up](https://github.com/wey-gu/nebula-up) 一键搭起一个测试的 NebulaGraph 单机集群，再参考数据集的 GitHub 仓库，一键导入所需数据，数据集参考延伸阅读 4。

具体操作步骤：

1. 用 Nebula-Up 安装 NebulaGraph；
2. 克隆 movie-recommendation-dataset；
3. 导入数据集 NebulaGraph；

```bash
curl -fsSL nebula-up.siwei.io/install.sh | bash

git clone https://github.com/wey-gu/movie-recommendation-dataset.git && cd movie-recommendation-dataset

docker run --rm -ti \
    --network=nebula-net \
    -v ${PWD}:/root/ \
    -v ${PWD}/dbt_project/to_nebulagraph/:/data \
    vesoft/nebula-importer:v3.2.0 \
    --config /root/nebula-importer.yaml
```

### 基于内容的过滤

CBF，内容过滤的思想是利用领域知识、历史记录、元数据分别对用户和物件做画像、打标签，最终根据用户的标签与待推荐物件之间的距离评分进行排序给出相关推荐。

对用户的画像不涉及其他用户的信息，但是输入的特征可能来源于元数据（生日、国籍、性别、年龄）、历史记录（评论、打分、购买、浏览）等等，在这些基础之上对用户进行标签标注、分类、聚类。

对物件的画像输入的特征可能是基于语言处理（NLP、TF-IDF、LFM）、专家标注、多媒体处理（视觉到文字再 NLP、音频风格处理、音频到文字再 NLP）等。

有了用户画像与物件的画像特征、对用户涉及的画像进行相关画像物件中新对象的近似度计算，再评分加权，就可以获得最终的推荐排序了。其中的近似度计算常见的有 KNN、余弦相似度、Jaccard 等算法。

CBF 的方法中没有限定具体实现方式。如前边介绍，可能是基于机器学习、Elasticsearch、图谱等不同方法。为切合本章的主题，这里我给出一个基于图数据库、图谱上的 CBF 的例子，做一个电影推荐系统，能让读者理解这个方法的思想。同时，也能熟悉图数据库、知识图谱的方法。

实操部分的用户特征直接利用历史电影评价记录，而推荐物件「电影」的画像则来自于领域中的知识。这些知识有：电影风格、电影的卡司、导演。近似度算法则采用图谱中基于关系的 Jaccard 相似度算法。

#### Jaccard Index

Jaccard Index 是一个描述两个集合距离的定义公式，非常简单、符合直觉地取两者的交集与并集测度的比例，它的定义记为：

![](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/recommended-system/jaccard-index-formula.png)

这里，我们把交集理解为 A 与 B 共同连接的点（有共同的导演、电影类型、演员），并集理解为这几种关系下与 A 或者 B 直连的所有点，而测度就直接用数量表示。

#### CBF 方法在 NebulaGraph 中的实现

CBF 方法分如下四步：

1. 找出推荐用户评分过的电影；
2. 从用户评分过的电影，经由导演卡司、电影类型找到新的待推荐电影；
3. 对看过的电影与新的电影，藉由导演、卡司、电影类型的关系，在图上做 Jaccard 相似性运算，得出每一对看过的电影和待推荐新电影之间的 Jaccard 系数；
4. 把用户对看过电影的评分作为加权系数，针对其到每一个新电影之间的 Jaccard 系数加权评分，获得排序后的推荐电影列表；

```
// 用户 u_124 看过的电影
MATCH (u:`user`)-[:watched]->(m:`movie`) WHERE id(u) == "u_124"
WITH collect(id(m)) AS watched_movies_id

// 根据电影的标注关系找到备选推荐电影，刨除看过的，把评分、交集关联链路的数量传下去
MATCH (u:`user`)-[e:watched]->(m:`movie`)-[:directed_by|acted_by|with_genre]->(intersection)<-[:directed_by|acted_by|with_genre]-(recomm:`movie`)
WHERE id(u) == "u_124" AND NOT id(recomm) IN watched_movies_id
WITH (e.rate - 2.5)/2.5 AS rate, m, recomm, size(COLLECT(intersection)) AS intersection_size ORDER BY intersection_size DESC LIMIT 50

// 计算 Jaccard index-------------------------------------------------

// 针对每一对 m 和 recomm：
// 开始计算看过的电影，集合 a 的部分
MATCH (m:`movie`)-[:directed_by|acted_by|with_genre]->(intersection)
WITH rate, id(m) AS m_id, recomm, intersection_size, COLLECT(id(intersection)) AS set_a

// 计算推荐电影，集合 b 的部分
MATCH (recomm:`movie`)-[:directed_by|acted_by|with_genre]->(intersection)
WITH rate, m_id, id(recomm) AS recomm_id, set_a, intersection_size, COLLECT(id(intersection)) AS set_b

// 得到并集数量
WITH rate, m_id, recomm_id, toFloat(intersection_size) AS intersection_size, toSet(set_a + set_b) AS A_U_B

// 得到每一对 m 和 recomm 的 Jaccard index = A_N_B/A_U_B
WITH rate, m_id, recomm_id, intersection_size/size(A_U_B) AS jaccard_index

// 计算 Jaccard index-------------------------------------------------

// 得到每一个被推荐的电影 recomm_id，经由不同看过电影推荐链路的相似度 = 评分 * jaccard_index
WITH recomm_id, m_id, (rate * jaccard_index) AS score

// 对每一个 recomm_id 按照 m_id 加权求得相似度的和，为总的推荐程度评分，降序排列
WITH recomm_id, sum(score) AS sim_score ORDER BY sim_score DESC WHERE sim_score > 0
RETURN recomm_id, sim_score LIMIT 50
```

上边查询的执行结果截取出来是：

| recomm_id | sim_score           |
| :-------- | :------------------ |
| 1891      | 0.2705882352941177  |
| 1892      | 0.22278481012658227 |
| 1894      | 0.15555555555555556 |
| 808       | 0.144               |
| 1895      | 0.13999999999999999 |
| 85        | 0.12631578947368421 |
| 348       | 0.12413793103448277 |
| 18746     | 0.11666666666666668 |
| 628       | 0.11636363636363636 |
| 3005      | 0.10566037735849057 |

#### 可视化分析

我们把上面过程中的部分步骤查询修改一下为 `p=xxx` 的方式，并渲染出来，会更加方便理解。

例子 1，用户 `u_124` 看过的、评分过的电影：

```
// 用户 u_124 看过的电影
MATCH p=(u:`user`)-[:watched]->(m:`movie`) WHERE id(u) == "u_124"
RETURN p
```

![CBF_step0](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/recommended-system/CBF_step0.png)

例子 2，找到用户 `u_124` 看过的那些电影在相同的演员、导演、电影类型的关系图谱上关联的所有其他电影：

```
// 用户 u_124 看过的电影
MATCH (u:`user`)-[:watched]->(m:`movie`) WHERE id(u) == "u_124"
WITH collect(id(m)) AS watched_movies_id
  
// 根据电影的标注关系找到备选推荐电影，刨除看过的，把评分、交集关联链路的数量传下去
MATCH p=(u:`user`)-[e:watched]->(m:`movie`)-[:directed_by|acted_by|with_genre]->(intersection)<-[:directed_by|acted_by|with_genre]-(recomm:`movie`)
WHERE id(u) == "u_124" AND NOT id(recomm) IN watched_movies_id
RETURN p, size(COLLECT(intersection)) AS intersection_size ORDER BY intersection_size DESC LIMIT 500
```

可以看到用户 `u_124` 看过电影经由演员、类型扩散出好多新的电影

![CBF_step1](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/recommended-system/CBF_step1.png)

在得到待推荐电影以及推荐路径后，通过 Jaccard 系数与用户路径第一条边的评分综合评定之后，得到了最终的结果。

这里，我们把结果再可视化一下：取得它们和用户之间的路径并渲染出来。