Gemini 3.8 Live with Live Avatar 为 Gemini 的对话式 AI 带来了实时视觉呈现。通过将我们的实时对话能力与低延迟流式视频原生耦合,Live Avatar 为企业及其用户带来了更自然、更直观的对话体验。
软件工程师,代表 Gemini Audio 团队
延续上周 Gemini 3.8 Live 发布的势头,今天我们很高兴推出 Gemini 3.8 Live with Live Avatar——为我们的原生实时对话模型带来近乎实时的视觉呈现。通过将近乎实时的视频生成与语音相结合,Live Avatar 功能创造出一种能够倾听、观察并以动态视觉形象说话的体验。
凭借精准的口型同步、自然的表情和流畅的轮流对话,Live Avatar 使企业能够以更具互动性的方式扩展其虚拟服务。无论是提供引人入胜的客户服务,还是交付互动式导览,它都能将数字交流转变为更丰富、更易获取的体验。
从今天起,Gemini 3.8 Live with Live Avatar 已在 Gemini Enterprise 中可用。
了解 Gemini 3.8 Live with Live Avatar 如何支持多种角色,每个角色都有独特的外貌、声音和富有表现力的形象。
对话本质上是多模态的:我们通过倾听、观察、说话和使用面部表情来进行交流。Live Avatar 将这些能力带给了企业智能体。通过同时处理视觉和音频输入,它能够生成更丰富的对话,带来更全面的体验。
观看 Gemini 3.8 Live with Live Avatar 如何近乎实时地接收它所看到和听到的内容,并以富有表现力的音频和视频做出回应,从而实现更自然的对话。
除了视觉呈现之外,该功能还由 Gemini 的高级推理能力提供支持。通过异步工具调用,Live Avatar 可以在继续活跃对话的同时,在后台触发工具调用并获取数据,在处理复杂任务的同时确保对话流程不中断。
了解 Gemini 3.8 Live with Live Avatar 如何处理复杂任务,例如在酒店为客人办理入住。在对话不间断进行的同时,在后台调用工具。
对话式呈现应当自然流畅,不应受语言限制。Live Avatar 具备原生多语言语音到语音同步能力。该功能可动态调整唇形同步与表情,并能在 97 种语言之间无缝切换,而不会降低视频保真度或引入视觉漂移。
观看 Gemini 3.8 Live Avatar 如何在对话中途切换语言,唇形同步与表情在 97 种语言之间无缝适配。
组织通常需要独特的视觉形象来契合其品牌。除了一系列多样化的预设头像外,组织还可以自定义其 Live Avatar。开发者可以从一张高质量参考图像出发,生成一个完全动画化、响应式的头像,同时保留参考对象的相似度、品牌风格或角色身份。自定义头像创建目前仅通过企业白名单开放。
我们在构建 Live Avatar 时采用了严格的防护措施,旨在尊重身份,并保持 AI 生成内容的透明度。我们 AI 产品生成的所有输出均使用 SynthID 添加水印。这种不可感知的水印直接嵌入音频和视频输出中,有助于确保 AI 生成内容可被检测,从而帮助减少错误信息和错误归属。如需了解我们在安全与负责任部署方面的全面方法,请阅读我们的模型卡。
带 Live Avatar 的 Gemini 3.8 Live 已在 Gemini Enterprise 中提供。请查阅 API(应用程序编程接口) 文档以开始使用。

转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文来源:Google DeepMind Blog
原创地址:https://deepmind.google/blog/introducing-gemini-38-live-with-live-avatar/
原文作者:Shuo-yiin Chang;如有侵权,请联系管理员删除。