今天为大家介绍一个非常有趣的AI开源项目：LlamaGPT。这是一个类似于ChatGPT的应用服务，但最大的特点是它可以在本机或局域网中运行，这意味着你不必担心数据泄露的风险。

LlamaGPT是一个自托管的、离线的、类似于ChatGPT的聊天机器人，由Llama 2驱动。它100%私有，不会有数据离开你的设备。这个项目的背后是Llama 2，它基于ggml调用LLM，所以即使没有好的显卡也能运行，只是速度会慢一些。另外，模型越大，需要的内存也越高。

在M1 Max MacBook Pro (10 64GB RAM)上，7B的速度大约是8.2 tokens/sec，而13B的速度大约是3.7 tokens/sec。目前还没有公布70B的性能参数，但对于M1笔记本来说，不建议运行70B模型，还是需要一块好显卡。

在umbrelOS家用服务器上安装LlamaGPT在umbrelOS家用服务器上运行LlamaGPT只需一键。只需从Umbrel App Store中安装即可。
在M1/M2 Mac上安装LlamaGPT首先确保你已经安装了Docker和Xcode。然后，克隆这个仓库并进入它
```
git clone <https://github.com/getumbrel/llama-gpt.git>
cd llama-gpt
```
使用以下命令运行LlamaGPT：
```
./run-mac.sh --model 7b
要运行13B或70B模型，将7b替换为13b或70b。
```
使用Docker在其他地方安装LlamaGPT (仅CPU)**你可以在任何x86或arm64系统上运行LlamaGPT。确保你已经安装了Docker。然后，克隆这个仓库并进入它：
```
git clone <https://github.com/getumbrel/llama-gpt.git>
cd llama-gpt
```
根据你的硬件，你现在可以使用以下任何模型运行LlamaGPT。

最后，LlamaGPT是一个非常有潜力的项目，它提供了一个安全、私有的方式来使用强大的GPT模型。如果你的资料比较敏感或者想基于自己的数据进行微调，强烈建议你可以试一下。

地址：https://github.com/getumbrel/llama-gpt

ITPub博客

开源版ChatGPT：手把手部署离线版的GPT