傅盛说：”AI本质上是个平权工具，它让更多以前离技术很远的人能够很快地用上技术成果“。想要平权，得先用上AI才行。今天给大家介绍一个本地运行大模型的工具ollama，能够让我们方便地运行各种大模型，Open Webui 界面化的管理使用各种大模型。

1.安装ollama

1.1 什么是ollama

ollama是专为在Docker容器中部署LLM而设计的，简化了部署和管理流程，目前它支持的模型如下：

Model	Parameters	Size	Download
Llama 2	7B	3.8GB	ollama run llama2
Mistral	7B	4.1GB	ollama run mistral
Dolphin Phi	2.7B	1.6GB	ollama run dolphin-phi
Phi-2	2.7B	1.7GB	ollama run phi
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
Llama 2 13B	13B	7.3GB	ollama run llama2:13b
Llama 2 70B	70B	39GB	ollama run llama2:70b
Orca Mini	3B	1.9GB	ollama run orca-mini
Vicuna	7B	3.8GB	ollama run vicuna
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b

也就是说，我们安装了ollama之后，可以轻松地使用这些开源的大模型，ollama也强调了，想要运行这些大模型的硬件要求。

注意：应该至少有8GB的可用内存来运行7B模型，16GB的可用内存来运行13B模型，以及32GB的内存来运行33B模型。

1.2 安装ollama

安装ollama特别简单，直接从官网下载，然后执行安装即可

地址：https://ollama.com/

点击下载，然后进行安装即可

下载，根据提示进行安装即可，安装完成之后，执行

ollama -v

显示版本号，代表安装成功

1.3 ollam运行gemma

运行以下命令即可

ollama run gemma:7b

如果报错，没有模型，先拉取模型,拉取完成之后再执行。

ollama pull gemma:7b

然后再执行上面命令，显示下面内容代表模型gemma已经运行了，可以开始对话了

我们测试一下：

2.安装Open Webui

2.1 安装Docker

docker-desktop：https://www.docker.com/products/docker-desktop/

直接下载安装，然后重启，执行docker -v 显示版本代表安装成功。

2.2 查看ollama运行状态

访问http://127.0.0.1:11434/ 查看ollama的运行状态，显示下图代表运行中，如果不是，执行ollama serve命令。

2.3 安装Open Webui

执行docker命令安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成后，您可以通过http://localhost:3000访问 Open WebUI

至此安装完成

3.Open Webui 运行模型

界面如下

依次选择模型，选择对应的模型后，在3处输入内容即可。

openwebui: https://docs.openwebui.com/getting-started/

ollama github: https://github.com/ollama/ollama

ollama官方网站：https://ollama.com/

docker 安装包下载地址：https://www.docker.com/products/docker-desktop/

ITPub博客

通过ollama+open webui可视化运行gemma