亚马逊近日发布了Amazon Nova Sonic ，这是一个将语音理解和生成统一到单一模型的新型基础模型，旨在为AI 应用提供更人性化的语音对话能力。该模型通过亚马逊Bedrock 的新型双向流式API 提供服务，简化了语音应用的开发流程，可应用于客服自动化和各行业AI 代理等场景，包括旅游、教育、医疗保健、娱乐等多个领域。

亚马逊人工通用智能高级副总裁Rohit Prasad 表示：" 从开发全球最佳个人AI 助手Alexa ，到推出被广泛应用的AWS 服务（如Connect 、Lex 和Polly ），亚马逊一直坚信语音应用能让客户的生活更便捷。通过Amazon Nova Sonic ，我们在Bedrock 平台推出了一个新的基础模型，帮助开发者更容易地构建语音应用，这些应用不仅任务完成更准确，而且更自然、更具吸引力。"

传统的语音应用开发涉及多个模型的复杂协调，包括将语音转换为文本的语音识别、理解和生成回应的大语言模型(LLMs) ，以及将文本转回语音的文本转语音技术。这种分散的方法不仅增加了开发复杂性，还无法保留语调、韵律和说话风格等对自然对话至关重要的声学特征。

Nova Sonic 通过统一模型架构解决了这些挑战，无需为每个步骤配置单独的模型。这种统一使模型能够根据声学语境（如语调、风格）和语音输入来调整生成的语音响应，实现更自然的对话。Nova Sonic 甚至能理解人类对话的细节，包括说话者的自然停顿和犹豫，在适当时机发言，并能优雅地处理打断。它还为用户语音生成文本记录，让开发者能利用文本调用特定工具和API 来构建语音AI 代理（例如，可通过检索最新航班信息来订票的AI 旅行助手）。这些功能加上极快的推理速度，使Nova Sonic 支持的语音应用更自然、更实用。

领先的精确度和质量

Nova Sonic 已经在语音理解和生成的多个行业标准基准测试中经过严格测试，在类人实时语音对话方面展现出卓越的质量和准确性。

该模型在自然对话处理方面表现出色，能够无缝理解和适应对话中的停顿、犹豫和打断，同时在整个交互过程中保持对话语境的连贯性。这种能力使其在轮次交替测试中展现出优异的整体质量和准确性。

与业内其他模型相比，Nova Sonic 在整体对话质量方面表现突出。目前具有类似实时会话语音能力的模型仅有少数几个，如OpenAI 的GPT-4o （实时版）和谷歌的Gemini Flash 2.0 （通过Gemini 实验性实时API 提供）。例如，根据Common Eval 数据集的测试，其美式英语男声在单轮对话中分别对OpenAI 的GPT-4o （实时版）和谷歌的Gemini Flash 2.0 取得了51.0% 和69.7% 的胜率。同样，在相同数据集上，Nova Sonic 的美式英语女声对这两个模型分别达到了50.9% 和66.3% 的胜率。Nova Sonic 的英式英语女声表现更为出色，对OpenAI 的GPT-4o （实时版）达到了58.3% 的胜率。

由于准确识别口语对于生成准确回应至关重要，因此在多种语言、方言和口音中测量Nova Sonic 的语音识别准确率（以词错误率WER 计）也很重要。在多语言LibriSpeech 测试中，Nova Sonic 在英语、法语、意大利语、德语和西班牙语的平均词错误率为4.2% ，相比OpenAI 的GPT-4o 转录模型低36.4% 。

在多语言LibriSpeech （MLS ）数据集的英语语句测试中，compared 与OpenAI 的GPT-4o 转录模型相比，词错误率相对降低了24.2% 。

Nova Sonic 在嘈杂环境中也表现稳健。在增强多方交互（AMI ）会议基准测试中—— 这个测试包含真实世界的噪声和多人发言场景—— 其英语词错误率比OpenAI 的GPT-4o 转录模型相对低46.7% 。

工具调用和代理工作流支持

Nova Sonic 支持应用程序的工具调用功能—— 例如客服电话自动化—— 这要求响应必须基于企业数据事实，如定价方案、库存状况和档期安排等。Nova Sonic 的原生工具调用还使模型能够解决复杂的客户查询并代表客户完成任务，例如" 预订座位" 或" 查找替代航班" 。

多种原生声音和说话风格

Nova Sonic 支持三种富有表现力的声音，包括现已推出的英语男声和女声，并支持美式和英式等不同英语口音的语音生成。更多语言和口音支持将很快推出。

业界领先的速度和价格性能

根据Artificial Analysis 的基准测试，从客户说话结束到系统生成 语音响应，Nova Sonic 的平均感知延迟为1.09 秒。相比之下，OpenAI 的GPT-4o （实时版）为1.18 秒，谷歌的Gemini Flash 2.0 （通过Gemini 实验性实时API 提供）为1.41 秒。

与具有类似实时语音对话功能且公开定价的模型相比，Nova Sonic 是业内 成本效益的模型。例如，其成本比OpenAI 的GPT-4o （实时版）低近80% 。

Amazon Nova Sonic 助力企业提升客户满意度和生产效率

ASAPP 通过GenerativeAgent （一个全对话式生成AI 语音代理）为企业客户的联络中心提供无与伦比的客户服务。ASAPP AI 工程副总裁Nirmal Mukhi 表示：" 在ASAPP ，我们专注于使用生成式AI 为联络中心提供可靠、安全且高性能的客服解决方案。Amazon Nova Sonic 高度准确的语音理解能力给我们留下了深刻印象，它能实现更自然的语音交互和精确的电话对话处理。我们很高兴继续使用Nova Sonic 提供安全、高质量和精准的对话服务，以满足企业联络中心的需求。"

教育第一（EF ）通过其在50 多个国家的学校和办事处网络，在国际教育领域处于领先地位。EF 人工智能和数据副总裁Tim Hesse 表示："Amazon Nova Sonic 使EF 学生能在动态学习环境中练习新词汇并改进发音，而模型的互动性使学生能够即时获得发音反馈，从而实现更高效的学习过程。该模型能够准确理解具有各种口音的非英语母语者。Nova Sonic 的打断功能也让我们印象深刻，模型能够快速响应打断。这项技术的可扩展性和可靠性将使我们能够在不影响教学质量的情况下，同时为更多学生提供服务。"

Stats Perform 是一家为全球媒体机构、 运营商和职业体育队提供体育数据和AI 技术的供应商。Stats Perform 首席运营官Mike Perez 表示：" 在Stats Perform ，我们的目标是通过庞大的实时和历史Opta 体育数据集的精细细节，为全球 体育广播商、媒体、联合会和团队赋能，帮助他们赢得观众、客户和奖杯。通过Opta AI 聊天，他们能够以多种格式和语言生成独特、准确和具有上下文的响应，这些响应由实时数据洞察驱动，具有惊人的速度，从而找到制胜的分析或叙事优势。在测试Amazon Nova Sonic 时，系统的低延迟给我们留下了特别深刻的印象，即使是复杂查询也能实现近乎实时的响应，创造出无缝的用户体验，将人类专家转变为超人专家。其直观的提示功能和简便的设置超出了我们的预期，使实施变得简单。总的来说，Nova Sonic 已经证明是一个出色的解决方案。"

亚马逊致力于人工智能的负责任开发

亚马逊Nova 模型建立在集成的安全措施和保护机制之上。公司已为Nova 模型推出AWS AI 服务卡，提供关于使用案例、局限性和负责任AI 实践的透明信息。