作者：寒斜

继生成式文本大模型 Chatgpt， 生成式图片 Stablediffusion 之后生成式语音 Text To Speech 在开源社区也出现了一匹黑马，就是 GPT-Sovits ,之所以说他是黑马，让人觉得惊艳，是因为在语音效果克隆上做的足够真实和简单， 只需要小样本的声音数据源，就可以实现高度相似的的仿真效果， 也正是因为足够简单和好的效果， GPT-Sovits 的社区也异常火爆, github的star数迅速飙升,目前已达27.2K。然而，无论是C端的内容生产者，想要使用进行内容生产，还是B端用户做商业化落地，部署这套 GPT-Sovits 软件都需要面临一些技术挑战，今天我们就来给大家介绍一下，如何通过阿里云函数计算快速托管 GPT-Sovits 来解决这些挑战。

应用场景

在进行GPT-Sovits的实践之前，为了能够进一步说明他的价值，我们先来聊聊关于应用场景，更确切的来说是生成式语音（TTS）的应用场景：

• 教育：在教育场景下对声音的诉求尤其重要，对于学生而言，有情感色彩的交流，价值远大于纯文本的交换, 个人教育比如英语培训也是跟语音强相关的
• 游戏娱乐：游戏场景就更加明确， 个性化的声音是吸引人的关键因素
• 新能源： 在车载系统，导航里，希望实时对话查询目的地相关的信息是有刚性需求的，比如使用高德导航，正在路上开车的时候，通过实时对话
• 新媒体： 在数字人直播场景下，构建差异性专业的声音是直播效果好坏的关键
• 农业： 比如农业智能化，技术人员在田间工作的时候，打字是一定没有语音交互方便的
• 机器人：机器人要有耳朵和嘴巴，需要声音的输出

以上的场景都是跟TTS强相关的，或者说TTS作为核心的基础能力被使用，当然构建完整的应用还需要大量工程化的实现和其他基础模型，后续我们再展开讲讲。

动手部署一个AI克隆大模型

通过函数计算部署GPT-Sovits模型的好处有两个：

一、无需关心GPU服务器维护和环境配置，即可快速部署和体验模型

二、可以充分利用函数计算按量付费，弹性伸缩等优势，高效地为用户提供基于GPT-Sovits模型的文本到语音生成服务。

技术架构概览

本方案的技术架构包括以下基础设施和云服务：

• 函数计算 ：用于提供GPT-Sovits模型的应用服务。
• 文件存储 NAS ：用于存放预训练的GPT-Sovits模型。
• 专有网络 VPC：用于配置专有网络，方便函数计算访问文件存储 NAS。

重要

1. 阿里云不对第三方模型的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。
2. 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。

部署 GPT-Sovits 模型

1.登录 函数计算3.0控制台 。

2.请确认访问的控制台是函数计算3.0，否则您需要在右上角单击 体验函数计算3.0 。

3.在左侧导航栏，单击 应用 。

4.（可选）在 应用 页面，单击 创建应用 。

说明： 如果您之前未使用过应用中心，请跳过本步骤，可直接进入下一步。

5.在 应用 页面，选择 人工智能>语音克隆生成GPT-SoVITS ，单击 立即创建 。

6.在 创建应用 页面， 部署类型 选择 直接部署 ， 角色名称 请确认所需要的权限均已获取（若缺失权限请按照页面引导进行操作），服务状态请确认函数计算FC和文件存储NAS已开通，其他配置保持默认即可，然后单击 创建应用。

7.在 活动应用创建提醒 对话框中，选中函数计算FC和文件存储NAS两个收费项，选中 我已经了解上面的内容，并同意上述描述 ，单击 同意并进行部署 。

8.等待约1分钟，部署状态变为部署成功，表示应用部署成功，并生成访问域名，单击访问域名后的链接开始体验应用。

***.devsapp.net域名是CNCF SandBox项目Serverless Devs社区所提供，仅供学习和测试使用，不可用于任何生产使用；社区会对该域名进行不定期地拨测，并在域名下发30天后进行回收，强烈建议您绑定自定义域名以获得更好的使用体验

快速体验

部署完成后，您可以使用已经准备好的DEMO声音样例，进行声音的合成和体验。

我们准备了一些童年经典动画片的台词，您可以合成试试：

• 既然你诚心诚意的发问了，我们就告诉你，为了防止世界被破坏，为了守护世界的和平，贯彻爱与真实的邪恶，可爱又迷人的反派角色，武藏、小次郎！我们是穿梭在银河的火箭队，白洞，白色的明天在等着我们！ ——《小精灵》
• 成为第一名是我从小的梦想，我不会放弃，这点小伤根本不能让我放弃。 ——《灌篮高手》
• 舒克舒克舒克舒克开飞机的舒克，贝塔贝塔贝塔贝塔开坦克的贝塔。——《舒克和贝塔》

合成操作步骤

1.选择 默认语音模板 ，输入 需要生成的文本 ，单击 合成语音 。

2.等待语音合成之后，可以单击播放。

声音训练

您可以通过声音源文件微调GPT-Sovits大模型，生成您期望的声音。在微调训练过程中，训练步骤的所有中间产物将置于NAS的output文件夹下。训练将使用默认的UVR5和ASR模型。若需要使用其他的UVR5和ASR模型，可根据 官方README 下载，并分别置于NAS的tools/asr/models和tools/uvr5/uvr5_weights目录下。

1.数据预处理。准备一个较长的您需要克隆的原始声音，单击 数据预处理 ，输入您需要上传的语音文件，单击 开始数据预处理 。

2.微调文本。单击 训练语音文本校对 ，调整原始文本的内容。

3.开始训练，单击 模型微调 ，开启SoVITS训练和GPT训练。训练后的模型将存储在NAS下的GPT_weights和SoVITS_weights文件夹内。

4.训练完之后，在 语音克隆&&推流 页签，刷新和选择自己训练的模型，再体验合成语音。

如果您需要了解更多，请使用钉钉进入“ 阿里函数计算官网客户2群”群的钉钉（群号： 64970014484）