把之前的deepseek +本地知识库的部署内容做了一版,
增加内容:
1, ollama 安装
2,cherry studio在线模型配置
3,anythingLLM的在线以及文本分割配置
相关联的文章。
国产AI之光!DeepSeek本地部署教程,效果媲美GPT-4,
先画个数据流程流程。

14B及以上有推理能力,32b比较实用。显卡最低12GB。内存最好32GB.
相关的软件,我已经放入到网盘,网不好的同学,可以直接下载。
下载链接:https://pan.quark.cn/s/b69829720b68
电脑配置低:可以参考
下载ollama
https://ollama.com/download/
默认为当前电脑的对应的版本,直接下载即可。下载以后,一路点点点即可。
环境变量设置
安装完以后先不要使用,先设置下环境变量。默认模型下载到C盘。一个模型最小也得几个GB.
通过 我的电脑->右键-> 属性-> 高级系统设置-> 环境变量->新建用户变量即可。

OLLAMA_HOST: 0.0.0.0OLLAMA_MODELS:E:\ai\ollama\models
OLLAMA_HOST:设置为0.0.0.0 会将ollama服务暴露到所有的网络,默认ollama只绑定到了127.0.0.1,只能通过localhost或127.0.0.1访问。
OLLAMA_MODELS:设置了模型的存放的地址。
https://ollama.com/library/deepseek-r1
打开:https://ollama.com/library/deepseek-r1
选择适合自己的模型,12GB~16GB显存建议最大选择14B,24GB显存建议32B.
安装语言模型
# 下载模型ollama pull deepseek-r1:14b# 下载或运行模型,正常ollama不会运行模型的ollama run deepseek-r1:14b
基于本地的deepseek搭建个人知识库。使用本地服务,安装嵌入模型,用于将文本数据转换为向量标识的模型。
需要先下载向量模型
# 命令行窗口执行拉取下即可。ollama pull bge-m3
cherry Studio 文本分割不能选择文本长度和重叠度。
根据自己的环境下载cherry studio



操作步骤:

1,在模型服务里,选择对应的模型服务商,比如硅基流动
2,注意开关
3,填写自己的密钥

1,选择嵌入模型
2,选择要添加的模型

cherry可以添加文档,也可以添加目录(这个极其方便),添加完以后出现绿色的对号,表示向量化完成。




大家可以看到deepseek已经把结果整理了,并告诉了我们参考了哪些资料。
差别就是大模型的选择,在模型服务里配置下在线的deepseek服务即可。
如果你的知识库有隐私数据,不要联网!不要联网!不要联网!

下载以后,安装的时候,注意安装到其他磁盘,不要在c盘安装。



https://console.cloud.tencent.com/lkeap/api
接口地址
https://cloud.tencent.com/document/product/1772/115969
ollama show deepseek-r1:14bModelarchitecture qwen2parameters 14.8Bcontext length 131072embedding length 5120quantization Q4_K_M
14b的最大长度是131072,ollama 默认是不用设置的。


1,设置文本块大小,根据自己的文本输入。
2,设置文本块重叠(建议重叠10%~25%)



将文档拖拽到上传框。ps: 只需要拖拽一次就行了,它在聊天框能看到。不知道为什么,我这拖拽以后,没看到上传成功,然后又拖拽了几次。然后聊天框就好多份。


当然你可以配置远程文档,confluence、github都可以。

ps: 需要注意的是文档在工作区间内是共用的。
AnythingLLM 可以提供api访问的功能,这个可以作为公共知识库使用。

整个操作下来,AnythingLLM 的体验没有cherry好。AnythingLLM就像一个包壳的web应用(后来查了下,确实是)。AnythingLLM 得具备一定的程序思维,给技术人员用的。非技术人员还是使用cherry吧。作为喜欢折腾的开发人员,我们可以结合dify使用。
个人知识库+本地大模型的优点
创作不易,辛苦大家动动发财的小手。
if 文章有用:点赞() # 👍 小手一抖,bug没有收藏() # 📂 防止迷路,代码永驻关注() # 🔔 追更最新内容else:留言吐槽() # 💬 评论区等你来战
最后,我们邀请了各个AI赛道的极客和大咖,开了一个10多天的免费公开课,有图文分享,有直播实操讲解。
如果你想深度使用学习AI,并且想要抓住AI风口赚钱,请尽快扫码进群听课程分享。
名额有限,先到先得!

原文作者:5ycode;如有侵权,请联系管理员删除。