ITPub博客

首页 > 人工智能 > 机器学习 > 宣布更新版 AWS Well-Architected 机器学习透镜

宣布更新版 AWS Well-Architected 机器学习透镜

机器学习 作者:ITPUB社群 时间:1970-01-01 08:33:45 0 删除 编辑

我们很高兴地宣布更新版 AWS Well-Architected 机器学习 Lens,现已增强,包含在 AWS 上构建机器学习(ML)工作负载的最新能力和最佳实践。

AWS Well-Architected Framework 提供了在云中设计和运营可靠、安全、高效、经济高效且可持续工作负载的架构最佳实践。机器学习 Lens 使用 Well-Architected Framework 来概述对您的 ML 架构进行全面审查的步骤。

更新版机器学习 Lens 为客户提供了一致的方法,用于评估跨 ML 工作负载的架构,从传统的监督学习和无监督学习到现代 AI 应用。该 Lens 涵盖了与完整 ML 生命周期相关的常见考量,包括业务目标识别、问题定义、数据处理、模型开发、部署和监控。该 Lens 纳入了自 2023 年以来推出的最新 AWS ML 服务和能力,提供对当前最佳实践和实施指南的访问。

机器学习 Lens 是在 AWS Well-Architected Lenses 下发布的一系列 Well-Architected Lens 的一部分。

什么是机器学习 Lens?

Well-Architected 机器学习 Lens 聚焦于 Well-Architected Framework 的六大支柱,贯穿 ML 生命周期的六个阶段。

  • 业务目标识别:为您的 ML 计划建立明确的业务目标和成功标准。

  • ML 问题定义:将业务问题转化为具有适当指标的明确定义的 ML 问题。

  • 数据处理:从您的数据源中收集、准备和工程化特征。

  • 模型开发:通过适当的实验跟踪来构建、训练、调优和评估 ML 模型。

  • 模型部署:使用适当的基础设施和监控将模型部署到生产环境。

  • 模型监控:持续监控模型性能并长期维护模型质量。

与传统的瀑布式方法不同,需要采用迭代方法,基于 ML 生命周期的六个阶段来实现可工作的原型。该 Lens 以 Well-Architected Framework 支柱的形式,为每个 ML 生命周期阶段提供了一套成熟的云无关最佳实践。

无论您处于云之旅的哪个阶段,都可以使用 Well-Architected 机器学习 Lens。您可以选择在 ML 工作负载的设计期间应用此指导,也可以在工作负载进入生产后作为持续改进流程的一部分来应用。

机器学习 Lens 组件

该 Lens 包含四个重点领域:

  • Well-Architected ML 设计原则:十项设计原则,为所呈现的最佳实践提供框架,包括明确所有权、实现可复现性、优化资源以及实现持续改进。

  • ML 生命周期与 Well-Architected Framework 支柱:该部分考虑 ML 生命周期的各个方面,并审视与整体 Well-Architected Framework 支柱相一致的设计策略:卓越运营:支持持续开发、有效运行 ML 工作负载、深入了解运营并持续改进流程的能力。安全性:保护数据、模型和 ML 基础设施的能力,同时利用云技术提升安全态势。可靠性:ML 工作负载正确且一致地执行其预期功能的能力,并能在故障情况下自动恢复。性能效率:高效利用计算资源运行 ML 工作负载的能力,并在需求和技术演进时保持效率。成本优化:通过资源优化和自动化,以最低价格运行 ML 系统以交付业务价值的能力。可持续性:关注 ML 工作负载对环境的影响,重点关注能源消耗和资源效率。

  • 云无关最佳实践:100 多项综合最佳实践,涵盖 Well-Architected Framework 支柱下的每个 ML 生命周期阶段。每项最佳实践包括:实施指导:详细的 AWS 实施计划,并引用当前 AWS ML 服务和能力。资源:精选的 AWS 文档、博客、视频和代码示例链接,以支持这些最佳实践。

  • 相关 ML 架构考量:讨论高级主题,包括 MLOps 模式、ML 数据架构、模型治理策略以及负责任 AI 实施的考量。

Machine Learning Lens 还讨论了什么?

Machine Learning Lens 还讨论了以下关键主题:

  • 负责任 AI:关于在整个开发生命周期中实施公平、可解释且无偏见的 ML 系统的全面指导。

  • MLOps 与自动化:为 ML 工作负载实施持续集成、持续部署和持续训练的最佳实践。

  • ML 数据架构:关于构建稳健的数据管道、特征存储和支持大规模 ML 工作负载的数据治理实践的指导。

  • 模型治理与血缘:跟踪模型版本、维护审计轨迹并确保符合监管要求的策略。

更新后的 Machine Learning Lens 有哪些新内容?

更新后的 Machine Learning Lens 纳入了自 2023 年以来引入的最新 AWS ML 能力和最佳实践,包括:

  • 增强的数据与 AI 协作工作流:通过 Amazon SageMaker Unified Studio 实现集成开发 – MLOPS02-BP01、MLOPS01-BP01、MLOPS03-BP01 和 MLOPS02-BP04。

  • AI 辅助开发生命周期:使用 Kiro 和 Amazon Q Developer 进行代码生成和生产力提升 – MLCOST01-BP02、MLOPS01-BP01、MLCOST03-BP02 和 MLSUS05-BP02。

  • 分布式训练基础设施:使用 Amazon SageMaker HyperPod 进行大规模基础模型开发和微调 – MLCOST04-BP02、MLCOST04-BP07、MLPERF06-BP05、MLSEC03-BP02、MLCOST04-BP06、MLPERF06-BP07 和 MLSUS05-BP02。

  • 模型定制能力:使用 Amazon Bedrock 结合 Kiro 和 Amazon Q Developer 集成以及 Amazon SageMaker Jumpstart 模型中心,为特定领域应用进行知识蒸馏和微调 – MLCOST01-BP02、MLCOST01-BP01、MLCOST03-BP02、MLSUS04-BP02、MLCOST05-BP01 和 MLSUS05-BP02。

  • 无代码 ML 开发:使用 SageMaker Canvas 结合 Amazon Q Developer 集成,通过自然语言支持构建模型 – MLCOST03-BP02、MLCOST03-BP03、MLOPS01-BP01 和 MLSUS05-BP02。

  • 改进的偏差检测:SageMaker Clarify 中增强的公平性指标,并结合 Model Monitor 进行漂移检测 – MLREL02-BP01、MLREL03-BP04、MLREL02-BP04、MLREL02-BP05 和 MLREL02-BP02。

  • 模块化推理架构:使用 SageMaker Inference Components 和 Multi-Model Endpoints 进行灵活部署 – MLCOST05-BP01、MLREL01-BP01、MLSUS05-BP01、MLCOST05-BP03 和 MLREL01-BP02。

  • 高级可观测性:使用 SageMaker Debugger、Model Monitor 和 CloudWatch 在 ML 生命周期中改进调试 – MLOPS06-BP02、MLOPS05-BP02、MLOPS06-BP01 和 MLOPS02-BP04。

  • 增强的成本优化:通过 SageMaker Training Plans、Savings Plans 和 Spot Instance 支持进行资源管理 – MLCOST05-BP03、MLOPS05-BP02、MLCOST06-BP01、MLCOST06-BP02 和 MLCOST04-BP06。

谁应该使用 Machine Learning Lens?

Machine Learning Lens 对组织中的许多角色都很有价值。业务领导者可以使用该 Lens 了解 ML 计划的端到端实施和业务价值。数据科学家和 ML 工程师可以利用该 Lens 了解如何大规模构建、部署和维护 ML 系统。DevOps 和平台工程师可以学习如何为 ML 工作负载创建可靠、安全的基础设施。风险与合规负责人可以了解如何在遵守监管和治理要求的同时负责任地实施 ML 系统。

后续步骤

如果您需要在 ML 工作负载的实施或评估方面获得支持,请联系您的 AWS Solutions Architect 或客户代表。

特别感谢来自 AWS Solution Architecture、AWS Professional Services 和 Machine Learning 社区的每一位,他们为更新后的 Machine Learning Lens 做出了贡献。这些贡献涵盖了在 AWS 上为 ML 工作负载制定全面指导时的多元视角、专业知识、背景和经验。

如需进一步阅读,请参阅 AWS Well-Architected Framework,或探索 AWS Well-Architected Generative AI Lens 以获取针对生成式 AI 工作负载的指导。



转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:AWS Architecture Blog

原创地址:https://aws.amazon.com/blogs/architecture/announcing-the-updated-aws-well-architected-machine-learning-lens/

原文作者:AWS Architecture Blog;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1090
  • 访问量
    546652