关键字: [亚马逊云科技， 生成式AI， ， Nova Sonic端到端语音模型， 实时双向流式传输， 多轮对话交互， 工具调用集成， 知识库集成]

导读

在本次演讲中，演讲者介绍了亚马逊云科技自研的Nova Sonic端到端语音模型。Nova Sonic是一种支持双向流式语音识别的模型，可实现实时低延迟的多轮对话。它具有自适应云响应、支持打断和保留对话上下文、对接知识库构建RAG系统、支持工具调用搭建智能体应用、对背景噪音具有鲁棒性以及内置内容审核和水印保护等核心特性。演讲者通过动手实验演示了Nova Sonic的各项功能，包括系统提示处理、聊天历史管理、工具调用使用以及与知识库、MCP工具和Agent的集成等，展现了Nova Sonic在语音客户服务、个人助理、教育等场景的应用前景。

演讲精华

以下是小编为您整理的本次演讲的精华。

在阳光明媚的日子里，亚马逊云科技举办了一场关于Nova Sonic端到端语音模型的实战工坊。作为亚马逊自研的第一款端到端语音模型，Nova Sonic具备实时双向流式传输、自适应云响应、支持打断保留对话上下文、对接知识库构建RAG系统、支持工具调用等核心特性，可广泛应用于语音客户服务、语音个人助理、教育和语言学习等场景。

当天下午1点30分，实战工坊正式开始。主讲人高云怡是来自亚马逊云科技的GNI产品解决方案架构师，现场还有其他资深架构师陈冰、云齐等担任助教，为学员答疑解惑。

高云怡首先向学员介绍了传统语音智能体的工作流程。传统流程需要先进行人声活动检测(VAD)，然后使用自动语音识别(ASR)模块将语音转录为文本，接着使用自然语言理解(NLU)模块或大语言模型处理文本，最后通过语音合成(TTS)将文本转化为语音输出。而Nova Sonic作为一种端到端模型，可以直接将语音识别并生成语音输出，无需中间的文本处理环节，工作流程更加简洁高效。

不仅如此，Nova Sonic还提供了实时转录、工具调用接入、情绪渲染等多种功能。它的实时转录功能可将语音直接生成文字;工具调用接入允许它连接外部API、函数、知识库等，构建更加复杂的AI工作流;情绪渲染则可根据内容自动调整语音的音调、音律，使输出语音更加自然流畅。

Nova Sonic的核心特性主要有以下几点:首先，它支持双向流式语音识别，可实现实时低延迟的多轮对话。其次，它具备自适应云响应能力，可根据语音的节奏动态调整输出。第三，它支持打断识别，可根据用户意图转变当前话题，并保留对话上下文信息。第四，它可对接Bedrock上托管的知识库，用于构建RAG系统。第五，它支持工具调用，可搭建各种智能体应用。第六，它对输入语音环境的背景噪音有很强的鲁棒性，可在一定噪音下依然精准识别。最后，Nova Sonic内置了内容审核和水印保护功能，可识别AI生成内容，有助于构建负责任的AI系统。

在语音客户服务领域，Nova Sonic可用于电话销售、人工客服培训等，提高服务效率。在语音个人助理领域，它可助力日常事务的处理，如日程安排、活动预定等。在教育和语言学习领域，Nova Sonic作为一个自然的英语语音模型，可通过互动对话的方式教授复杂主题，帮助学生和非母语人士提高英语口语水平。

理论部分介绍完毕后，高云怡带领学员进入动手实验环境。实验使用亚马逊云科技提供的账号，通过网页端VS Code进行配置和操作。Nova Sonic的API接口是Invoke Model with Streamed Action and Streamed Response，支持HTTP/2双向通信协议。如需使用WebSocket，则需通过HTTP/2包装。该API支持多种语言的SDK，其中Python版本需要较高版本。

Nova Sonic的核心实现基于JSON格式的事件流输入输出。当用户输入语音时，会按时间顺序逐步输入一系列JSON事件，包括Session Start、系统提示词、对话历史记录、音频帧等。模型输出也是一系列JSON事件，包括Session Start、实时转录结果、工具调用结果、文字输出预览、音频帧输出、最终文字输出、Session End等。如果模型检测到用户打断意图，还会输出Barging事件。

总的工作流程是，当用户输入语音后，Nova Sonic模型会给出实时转录文字和音频输出，同时可动态通过工具调用与外部系统连接，包括对接知识库、执行外部函数、调用API和数据源等，实现语音代理功能。

了解了基本原理后，高云怡带领学员在实验环境中体验Nova Sonic的各项能力。首先与模型进行语音交互，观察其JSON事件流的输入输出格式。在输入端，有Session Start事件，其中包含了推理模型的max_tokens、top_p、temperature等参数，用于控制模型的输出多样性。Prompt Start事件中包含了voice_id参数，指定了一个男性英语语音。System Prompt事件则设置了模型的角色和回答范式。Chat History事件记录了之前的对话内容。在输出端，模型先给出一个Speculative Transcript预览将要输出的文字，然后输出一串音频帧，最后给出Final Transcript确认实际输出的文字。

接下来，高云怡调整了系统提示词，观察它对模型输出的影响。最初让模型扮演友好助手，以对话形式简短回复。后来将提示词改为要求每次输出时附加情绪标签，如“同情”、“快乐”等。实验结果显示，模型不仅输出了相应的情绪标签，语音也根据情绪进行了实时渲染，使输出更自然。

之后，高云怡展示了Nova Sonic的打断识别和对话历史管理能力。由于支持双向流式通信，Nova Sonic可在输出过程中实时检测用户的打断意图，中断当前输出并重新生成回复，同时保留之前的对话上下文。高云怡还演示了如何在Chat History参数中包含对话历史，让模型紧密衔接上下文，如补充之前未说完的信息。

下一个环节是工具调用。高云怡定义了一个获取当前日期时间的简单工具get_day_two，并在与模型交互时主动触发该工具，观察它如何影响模型的输出。实际上，工具调用功能允许Nova Sonic连接外部API、函数、知识库等，构建复杂的AI工作流。

考虑到Nova Sonic作为开放式交互模型的安全风险，高云怡介绍了两种保护方法。一是通过系统提示词限制模型不回答涉及暴力、不当内容等不当输出;二是通过工具调用的方式，连接Bedrock上的GuTrueIL服务，对模型输入输出进行内容审核，拦截不当内容。

接下来，高云怡带领学员体验Nova Sonic与Bedrock知识库的集成。当用户提问时，Nova Sonic根据自身推理能力判断所需工具和参数，调用Bedrock托管的知识库服务，从中检索相关文档;然后Nova Sonic将这些文档知识与对话上下文进行整合，最终回复用户。构建知识库只需在Bedrock控制台上注入文档，并选择推理模型进行同步。高云怡还现场演示了如何将知识库ID设置为Nova Sonic的环境变量kb_id，让其能够在对话中调用知识库服务。

除了知识库，Nova Sonic还可与MCP工具集成，如地点搜索、地理编码等。它会根据用户的问题，识别出所需调用的工具，并在后台调用MCP服务获取结果。

另一种集成方式是与亚马逊自研的StrengthAgent SDK集成。用户可使用该SDK构建Agent模型，并将其包装为一个工具，由Nova Sonic进行调用。这种方式的优点是将复杂的推理工作交给专门的Agent模型处理，缺点是会增加一些响应延迟。

最后，高云怡介绍了利用Bedrock Agent服务的方式。用户可在Bedrock上构建和部署Agent模型，然后通过工具调用的方式，由Nova Sonic进行调用。

高云怡总结了利用Nova Sonic构建智能体应用的两种设计思路:一是利用Nova Sonic的推理能力，拆解任务并调用合适的工具，完成后返回结果;二是直接调用预先构建的Agent模型，将复杂的推理工作卸载给Agent。具体采用哪种方式，需要根据业务场景对延迟和推理能力的要求来权衡。

虽然工坊的实验时间有限，但高云怡鼓励学员在实验有效期内继续探索Nova Sonic更多功能拓展，如与Bedrock知识库、MCP工具、StrengthAgent等的集成实践。

总的来说，这场实战工坊全面深入地介绍了Nova Sonic这一创新的端到端语音模型，让学员对其原理、能力和应用场景有了较为透彻的理解。通过动手实验，学员亲身体验了Nova Sonic在语音交互、工具集成、知识库对接等多方面的卓越能力，见识到了它为语音AI应用带来的全新可能。相信通过这次工坊，学员们对Nova Sonic有了更加深刻的认识，并为未来在实际场景中的应用和创新打下了坚实基础。

下面是一些演讲现场的精彩瞬间：

一个演示视频展示了如何使用语音输入与AI助手进行对话，并解释了后台发生的JSON事件流和相关参数设置。

通过使用 Strength Agent、Bedrock Agent 或其他构建 Agent 的框架，并以 Agent as Tool 的方式调用 Nova Sonic，可以将复杂推理的工作负载分配给其他模型，从而提高性能并更好地适应业务场景。

总结

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。