ITPub博客

首页 > 自动化运维 > 应用服务器 > 使用 Appilot 部署 Llama2,会聊天就行!

使用 Appilot 部署 Llama2,会聊天就行!

原创 应用服务器 作者:Seal数澈 时间:2023-11-03 10:15:57 0 删除 编辑

Walrus 是一款基于平台工程理念的应用管理平台,致力于解决应用交付领域的深切痛点。借助 Walrus 将 云原生的能力和 有效实践扩展到非容器化环境,并支持任意应用形态统一编排部署,降低使用基础设施的复杂度,为研发和运维团队提供易用、一致的应用管理和部署体验,进而构建无缝协作的软件交付流程。
 

在之前文章中,我们探讨了如何使用 Walrus 在 AWS 上部署 Llama2。在今天的文章中,我们将手把手教您使用 AI 工具 Appilot 来简化这个部署过程。Appilot 是一款面向 DevOps 场景的 AI 助手,它可以充分利用 AI 大语言模型的能力让用户直接输入自然语言即可实现应用管理、环境管理、故障诊断、混合基础设施编排等功能。
 

使用前提

  • 获取可访问 gpt-4 模型的 OpenAI API 密钥。

  • 安装 python3 和 make。

  • 安装 kubectl 和 helm。

  • 拥有一个正在运行的 Kubernetes 集群。
     

安装 Appilot

克隆版本库:

git clone https://github.com/seal-io/appilot && cd appilot

 

运行以下命令获取 envfile envfile。

cp .env.example .env

 

编辑 .env文件并填入 OPENAI_API_KEY 。运行以下命令进行安装。它将创建一个填写 venvb并且安装所需的依赖项。

make install

 

使用 Walrus 后台

Appilot 也可以使用 Kubernetes 等项目作为后端,本文以 Walrus 作为后端为例。要启用 Walrus 后台,首先需要 安装 Walrus 并编辑 envfile :

  • 设置 TOOLKITS=walrus

  • 填写 OPENAI_API_KEY 、 WALRUS_URL 和  WALRUS_API_KEY
     

以下是有关配置的更多信息,Appilot 可通过环境变量或 envfile进行配置:


 

然后,您就可以运行 Appilot 了:

make run

 

像聊天一样在 AWS 上部署 Llama2

在这篇文章中,我们使用了 Appilot 和 Walrus 来开启探索 Llama2 部署的旅程,并见证了这些强大的工具如何简化复杂的部署过程。您可以通过访问项目的 GitHub 地址下载和安装 Walrus 和 Appilot:

Walrus:  https://github.com/seal-io/walrus

Appilot:  https://github.com/seal-io/appilot
 


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70026925/viewspace-2992721/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2023-02-20

  • 博文量
    138
  • 访问量
    88936