导读

探索如何利用生成式人工智能的力量，同时保持准确性、安全性和治理。本次会议探讨如何将生成式人工智能的潜力转化为高质量、安全的现实应用。学习如何使用企业数据构建、部署和管理生成式人工智能解决方案，以增强或创建与业务深度契合的定制大语言模型。从亚马逊云科技和Databricks合作开发全面治理的端到端生成式人工智能解决方案的案例研究中获得见解。了解Mastercard如何利用Databricks构建名为Mastercard Assistant的代理工厂来支持其企业。这不仅仅是关于技术，更是为准确、受控和安全的人工智能创新设立新标准。本次演讲由亚马逊云科技合作伙伴Databricks为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在人工智能领域，构建和部署生产级别的生成式AI应用程序已成为当务之急。在亚马逊云科技 re:Invent 2024上，一场引人入胜的演讲揭示了Databricks为实现这一宏伟目标所经历的复杂历程。

故事从Databricks人工智能和机器学习产品管理负责人Craig阐述公司专注于开发能够经受关键业务运营考验的AI应用程序的坚定决心开始。与仅仅提高生产力不同，Databricks的愿景是打造可以被委以重任的解决方案，在这些任务中，可靠性和准确性至关重要。

Craig指出令人沮丧的事实是，高达85%的生成式AI项目未能从概念转化为生产部署。这一惊人的统计数据凸显了确保这些尖端技术成功应用所必须克服的巨大挑战。质量、成本和隐私/治理构成了主要障碍，每一个都带来独特的挑战。

为了驾驭这些艰难的水域，Databricks打造了一个综合平台，无缝集成了开发和部署高质量AI应用程序所需的各个组件。这一统一解决方案包括数据准备、代理构建(将模型与工具相结合)、代理部署、代理评估以及强大的治理机制来监督代理使用和交互。

Craig介绍了他的同事Nick，为展示Databricks强大的AI游乐场做好了准备，这是一个创建客户服务代理的强大环境。Nick熟练地演示了选择模型的过程，在这个例子中是强大的GPT-4，作为代理的“大脑”。但真正的力量在于与Databricks的Unity Catalog中的工具相结合，这是一个精心策划的SQL查询和其他功能的存储库，用于治理和可访问性。

借助这些工具，代理可以无缝检索和处理与客户查询相关的数据，将其能力提升到远远超出语言理解的水平。演示生动地展现了代理如何利用这些工具提供量身定制的响应，汲取Unity Catalog中丰富的信息。

Craig的叙述接着转向代理评估这一关键环节，这个过程确保了开发出的解决方案的质量和可靠性。他强调了地面真实数据集、主题专家和语言模型评审员在这一过程中的重要性。Databricks创新的方法包括生成合成地面真实数据集，然后由主题专家进行审查和完善，确保评估过程植根于现实场景和特定领域的知识。

Nick演示了评估过程的内部运作，揭示了语言模型评审员的工作原理，它们根据正确性、上下文、基础和安全性这四个标准评估代理的响应。这些评审员给出分数并提供宝贵的改进建议，使代理的性能能够通过迭代优化过程不断提高，最终达到所需的质量标准。

一旦达到这个基准，代理就可以通过Databricks的模型服务功能无缝部署，将代理暴露为API，便于集成到各种应用程序和工作流程中。此外，Databricks还提供了一个审查应用程序，这是一个专门的平台，让主题专家与已部署的代理进行互动并提供宝贵反馈，进一步提高其性能并确保其与现实需求保持一致。

在这个时候，Craig介绍了Mastercard研发工程高级副总裁Peter Nolan，他分享了他们成功实施客户服务生成式AI应用程序的经历，利用了Databricks平台的强大功能。

Peter阐述了Mastercard的战略方法，即为特定产品领域创建多个模型。这种有意识的分割不仅解决了术语重叠带来的挑战，还促进了不同团队的参与，每个团队都为开发过程贡献了自己的专业知识。

Mastercard的实施采用了人机协作系统，这种范式使代理能够对模型的响应提供反馈。这些反馈随后由主题专家仔细审查并纳入训练数据，形成了一个持续改进和完善的循环。

为了评估模型的性能，Mastercard采用了语言模型评审员，它们根据黄金评估数据集评估响应。这种评估产生了一个1-5的综合分数，使他们能够识别需要改进的领域，并通过自动化流程将得分较高的模型推广到生产环境。

认识到优化的重要性，Mastercard探索了微调和缓存等技术，以提高其生成式AI解决方案的性能。微调使他们能够利用较小的基础模型同时保持所需的效力水平，而缓存则促进了经过验证的响应的高效检索，降低了计算开销并提高了响应时间。

Peter对Mastercard客户服务代理应用程序的生动演示，让我们一窥他们努力的成果。代理界面使用户能够无缝查询模型，而主题专家界面则促进了对响应的审查和评分，确保了底层模型的持续完善。

这个故事以Databricks坚定的承诺作为结束，即支持组织构建和部署生产级别的生成式AI应用程序。Craig邀请大家探索Databricks AI Cookbook，这是一个全面的资源，指导用户完成演讲中演示的复杂过程。此外，他还鼓励与会者体验Databricks Playground，这是一个实践环境，促进对这些尖端技术的实验和探索。

在这个科技飞速发展的时代，掌握生成式AI的力量，同时确保质量、治理和现实应用能力，已成为当务之急。正如这个引人入胜的故事所展示的，Databricks创新的方法成为了一线希望，为这些变革性技术在关键业务运营中的成功部署指明了方向。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。