导读

解锁亚马逊Nova的力量：一个革命性的多模态理解模型家族。本次会议深入探讨了亚马逊Nova的突破性能力，这些能力正在人工智能领域树立新的标杆。了解这些模型如何在视觉推理、代理工作流程以及关键企业垂直领域的功能专长方面表现卓越。体验Amazon Bedrock上业界首创的视频理解功能，以及通过自助式微调和蒸馏实现的无与伦比的定制化能力。亚马逊Nova提供卓越的性价比，在相同或更好的延迟下提供更低的定价。参加本次会议，探索亚马逊Nova如何改变您的人工智能应用，从文档分析到API执行和UI操作。

演讲精华

以下是小编为您整理的本次演讲的精华。

2024年亚马逊云科技 re:Invent大会见证了Amazon Nova的发布，这是一套突破性的前沿多模态AI模型，有望重新定义人工智能的边界。来自Amazon AGI的首席产品经理Ferrell B.登台介绍了这一革命性的发展，详细阐述了其功能及其在各行业产生的深远影响。

Ferrell首先回顾了前一天的公告，宣布了Amazon Nova的到来，这是一代新的先进的基础模型，旨在以行业领先的价格性能提供前沿智能。这套模型包含一系列产品，每一款都针对特定需求和智能级别进行了量身定制。

首先是Amazon Micro，这是一种纯文本模型，旨在以极低的成本提供闪电般的响应速度。再往上是Amazon Nova Light，这是一款高性价比的多模态模型，能够以惊人的速度处理图像、文本和视频输入。Amazon Nova Pro是一款高能力的多模态模型，在准确性、速度和成本之间取得了最佳平衡，适用于广泛的任务。最后是即将推出的Amazon Nova Premiere，这是能力的顶峰，旨在胜任复杂的推理任务，并作为提炼定制模型的首要教师。

Ferrell阐明了这些模型的核心优势，即能够提供前沿智能，使它们能够以先进的准确性执行广泛的任务。这些模型设计用于快速推理，每款模型在其各自的智能层级中都是最快的，非常适合低延迟应用。此外，它们提供了卓越的价格性能，以最低的成本提供先进的智能，同时易于使用，并且在需要与专有系统和API交互的应用中也能有效运行。

这些模型与Amazon Bedrock深度集成，完全支持Bedrock代理、知识库和防护栏，让客户拥有无与伦比的控制权。Micro、Light和Pro模型的微调功能使客户能够利用自己的标注数据提高准确性。此外，Amazon Nova还支持通过Bedrock Distillation Service进行蒸馏，从而将知识从高能力模型转移到更小、更高效的模型。

Ferrell展示了一系列全面的基准测试和关键属性，彰显了Amazon Nova的实力。Nova Micro是一款文本到文本模型，具有128k的上下文长度，支持200多种语言，在语言理解、翻译、推理、代码补全和数学问题解决等任务中表现出色。在95%置信区间的统计显著性测试中，Nova Micro的性能等于或超过了与Llama相比的11个基准中的11个，与Gemini相比的12个基准中的12个。除了智能，Nova Micro还拥有每秒210个输出token的惊人速度，非常适合低延迟应用。

Nova Light能够处理文本、图像、文档和视频输入，并输出文本，提供300k的上下文长度。它在广泛任务中的准确性，加上其速度，使其非常适合在成本是关键考虑因素的交互式、高容量应用。Nova Light在图表理解、文档理解、视觉字幕和视觉问答等视觉任务中表现出色，在19个基准测试中的17个上超过或与OpenAI的GPT-4持平，在21个基准测试中的17个上超过Gemini，在12个基准测试中的10个上超过纯文本的Haiku 3.5。

与Light一样，Amazon Nova Pro也可以处理文本、图像、文档和视频输入，输出文本，提供300k的上下文长度。它的能力，加上行业领先的速度和成本效率，使其成为几乎任何任务的不二之选，包括视频摘要、问答和能够执行多步骤工作流的AI代理。Nova Pro的智能不仅可以通过微调来定制文本，还可以使用图像和视频内容来定制其视觉能力。在基准测试中，Nova Pro在20个基准测试中的17个上等于或超过了GPT-4，在21个基准测试中的16个上超过了Gemini。与被认为是同类最佳的Sonnet相比，Nova Pro在大约一半的基准测试中表现相等或更优，而在其他基准测试中也紧随其后。

Ferrell强调了Amazon Nova的行业领先价格性能，引用了Artificial Analysis的一项分析，该分析将这些模型定位为具成本效益的模型系列，Micro、Light和Pro在Bedrock上至少比各自智能等级中表现最佳的模型高出四倍的成本效益。

转而谈到Amazon Nova Premiere，Ferrell对其即将推出的能力表示兴奋，预计它将提供更深层次的推理能力，这对于需要多个步骤才能完成的复杂任务至关重要。

接下来，Ferrell通过一个演示展示了Amazon Nova的原生视频理解能力，其中Nova Pro对一段足球比赛视频提供了丰富、详细的描述。以前，客户必须将视频处理成关键图像帧，并将它们作为图像传递给图像理解模型，这是一个繁琐和耗时的过程。有了Nova Light和Pro，客户现在可以在Bedrock上原生处理视频内容，用于视频摘要等任务。

另一个演示展示了Nova在理解手写文档方面的实力。通过提供一个图像和文本提示，Nova Light准确地捕获了图像上的所有信息，并以JSON格式输出，使客户能够轻松地从手写发票和其他文档中提取信息。

然后，Ferrell呈现了一个更复杂的场景，要求Nova Pro总结一个繁忙的技术图表并提出改进建议。Nova Pro提供了详细的描述，正确地将该图表识别为一个流体处理系统，并解释了其组成部分。当被要求提出改进建议时，Nova Pro提出了一个详细的建议，例如增加冗余作为增强安全性的措施，展示了它在简化文档、知识转移以及让团队和组织即时理解复杂技术图表方面的潜力。

接下来，Ferrell深入探讨了Amazon Nova的突破性计算机代理能力，这种能力结合了视觉智能、指令执行和行动能力。他演示了如何让Nova模型支持能够自然地与网站、浏览器和基于屏幕的应用程序交互的计算机代理，在Mine to Web Visual、WebBench和GroundUI等计算机代理基准测试中树立了新标准。

在一个引人入胜的演示中，Ferrell展示了一位销售代表与Nova驱动的计算机代理互动，在SAP S/4HANA中更新一个运输地址，这是最广泛使用的SaaS ERP系统之一。通过简单的自然语言指令，该代理自主导航S/4HANA界面，滚动、输入客户信息、填写表格，并点击链接和下拉菜单，成功更新了订单信息，无需任何人工输入。

来自Amazon AGI的科学总监Imrae进一步阐述了Amazon Nova作为代理的能力，展示了量化其在代理工作流程中性能的基准测试。这些工作流程使开发人员能够构建利用检索、增强生成、API执行或UI执行的应用程序，例如预测API操作以自动化客户端应用程序。

Nova模型在伯克利函数调用排行榜上表现出色，该排行榜评估了模型根据用户的自然语言请求准确调用和利用真实世界函数的能力。Amazon Nova模型，尤其是Pro和Light，在各自的智能层级中展现了行业领先的函数调用准确性，跨18个不同类别，以远低于其他模型的成本和延迟提供了无与伦比的性能。

Imrae通过三个基准测试展示了Nova在视觉推理和代理能力方面的实力，这些基准测试评估了代理在网站导航和解决现实世界任务方面的能力:Visual WebBench、Mind to Web和GroundUI。Nova Pro和Light在这些任务中都表现出色，其中Nova Pro被证明是支持智能UI自动化工作流的最佳模型。

在一个引人注目的演示中，Imrae展示了一个由Nova Pro驱动的“AI随叫随到代理”MOCA，它能够通过收集相关数据(包括指标、日志、部署状态等)自主根源分析服务问题，这些数据是通过API调用和浏览器自动化获取的。MOCA根据工单概述生成了一个计划，利用反应循环从可用工具(如日志API或服务指标浏览器)收集信息。Nova Pro的多模态理解和推理能力使MOCA能够识别出错误图中峰值的时间和相关值，最终将根本原因确定为最近一次代码提交中系统中未使用的客户端ID。

Imrae提供了对MOCA架构的见解，揭示了其简单性。用户与MOCA计算机代理进行交互，该代理协调以react循环编写的任务。MOCA利用Nova Pro进行多模态推理、指令执行和跨API和UI执行工具的工具调用。它使用API工具(如服务描述和日志)来收集必要的数据，同时还通过Web浏览器使用UI执行工具来代表用户执行操作，例如在CloudWatch中查找和分析服务图表。Nova Pro根据收集的所有信息生成计划，以确定代理的下一步操作，当它成功识别根本原因并在工单上发布最终评论时，即实现了其目标。

值得注意的是，MOCA的实现仅需约400行代码和自然语言语句以及四个API和UI工具，这凸显了开发人员使用Amazon Nova构建像MOCA这样的代理应用程序的简易性。

亚马逊AGI的科学经理Fabian深入探讨了Amazon Nova通过微调实现简易定制的能力。使用客户数据(特别是提示和响应)，客户可以提高Nova模型在其定制用例中的零射精度，从而提供更好的性价比。

Fabian强调，客户可以对所有Amazon Nova模型(包括Micro、Light和强大的Pro模型)进行微调，用于文本和多模态功能，从而改善针对图像或视频输入的特定上下文响应。此外，Amazon Nova支持蒸馏，允许客户进一步增强其Nova Micro或Light模型，方法是使用Nova Pro作为教师生成用于微调和训练的合成数据，将更快模型的速度与Nova Pro的智能和泛化能力相结合。

Fabian提供了一个实际示例，其中早期版本的Nova Micro和Light针对涉及17个API的函数调用任务进行了微调。经过微调的Nova Micro模型实现了大幅提高的准确性，达到或超过了开箱即用的Nova Light模型，并超过了GPT-4 mini(该任务的基线)的性能。当对Nova Light模型应用相同的微调时，它明显优于两倍昂贵的GPT-4 mini，同时推理速度提高30%，展示了Amazon Nova在行业领先的性价比和为客户构建量身定制解决方案的灵活性。

在解决低延迟这一关键方面，Fabian强调了Amazon Nova在以速度解决理解任务方面的行业领先性能。在同一智能类别中，Amazon Micro、Light和Pro在Bedrock上跨模型比较输出令牌/秒，均位居各自智能等级的领先地位，并且新推出的延迟优化Bedrock推理功能进一步提升了它们的性能。

Fabian展示了一个散点图，将模型精度(由Anthropic的AI分析测量)与输出令牌/秒(速度指标)进行比较。Nova Light和Micro模型都位于理想的右上象限，提供了与市场上最佳模型相当或更高的精度和速度，而较小的点大小表示它们的成本更低。Nova Pro也占据了右上象限，提供了快速的速度和高精度，与代表更昂贵模型的较大点相比，成本更低。

针对客户对处理长输入上下文的强大性能需求，Fabian展示了Amazon Nova在NeedleInTheHaystack任务中的能力，该任务衡量模型在较长文档中定位特定内容的能力。Nova Micro、Light和Pro在128k上下文长度上分别取得了97%、98%和99%的出色成绩。热图可视化展示了Nova Micro在处理从32k到128k不同上下文长度的隐藏信息方面的实力。

虽然128k是Nova Micro的上限，但Nova Light和Pro都支持当前Bedrock上最长的300k上下文长度，在所有上下文长度上都有出色的精度，如热图中的绿点所示。Fabian随后做出了一个令人兴奋的预告:Amazon Nova理解模型将很快支持高达500万个令牌的上下文长度，远远超过当前的300k上限。

Peter Goldstein是赫斯特公司的首席产品和AI战略师，他分享了该公司的生成式AI之旅以及使用Amazon Nova的经验。赫斯特是一家跨国集团，拥有22，000多名员工，年收入数十亿美元，业务遍及各个垂直领域，包括杂志(Cosmopolitan、Good Housekeeping、Car and Driver)、报纸(旧金山纪事报、休斯顿纪事报)、电视台、与A&E和ESPN的合资企业、赫斯特健康、运输(汽车和航空)以及Fitch集团(金融服务)。

赫斯特认识到生成式AI对其信息处理业务的变革潜力，因此大力投资培训员工、建立内部生成式AI聊天和应用程序开发门户、确定高ROI机会，并探索提升客户体验的方式。

Peter强调了Amazon Nova可以显著影响赫斯特业务的几个关键用例。在Fitch集团，Nova强大的文档处理能力(包括理解图形和图表)可以简化从冗长的金融文档中提取关键数据点的过程。在医疗保健领域，Nova可以自动处理保险授权，将其与特定案例相匹配，并处理诸如传真或手写笔记等基于图像的输入。

在媒体方面，Nova理解视频内容的能力可以帮助赫斯特从市政会议中识别新兴趋势、新产品或值得报道的事件，从而加快为其出版物生成和报道内容的速度。

Peter分享了一个实验结果，赫斯特使用Amazon Nova评估视频广告的潜在成功率，方法是理解广告的叙事、目标受众和情感影响。Nova的视觉理解能力使其能够理解广告信息、识别目标受众，并预测不同人群会产生何种情感反应，为广告投放和优化提供了宝贵的见解。

Peter对Amazon Nova在大规模视觉理解方面的能力感到兴奋，这是许多以前的模型所缺乏的。他强调了Nova在赫斯特多元化业务中优化工作流程的潜力，通过实现从文档中预提取信息，减少人工审查的需求，为客户实现更快、更敏捷的运营。赫斯特估计，利用Amazon Nova的能力可节省数千万美元。

Ferrell总结了本次会议，回顾了不同的Amazon Nova模型及其功能，并介绍了令人兴奋的即将推出的新功能。这些包括用于复杂推理任务的Nova Premiere、支持高达500万个令牌的上下文长度、延迟优化的Bedrock推理、能够接受语音和文本输入并生成语音和文本输出的语音到语音模型，以及一个强大的任意到任意模型，可以处理多模态输入(文本、图像、音频、视频、语音)并在单个模型内以任何这些模态生成输出。

Ferrell鼓励与会者开始使用Amazon Nova，可以在Bedrock上评估模型、与当前实现进行比较，或者在Bedrock游乐场中进行测试。他还提供了提示指南、快速入门和其他材料的资源，以及参加相关会议和研讨会进行Amazon Nova实践体验的信息。

总之，亚马逊云科技 re:Invent 2024年大会见证了Amazon Nova的发布，这是一套革命性的前沿多模态AI模型，结合了无与伦比的理解、推理、指令执行和自主行动能力，同时提供行业领先的性价比和定制选项。通过引人入胜的演示、基准测试和客户见证，Amazon Nova成为一股变革力量，有望重新定义人工智能在各行业的边界，实现新的自动化、优化和客户体验水平。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。