首页 > 云计算 > 公有云实践 > 利用亚马逊云无服务器架构释放生成式AI的力量
在这个分组讨论环节中,学习如何利用亚马逊云科技无服务器技术的力量来构建强大、经济高效的生成式AI应用。探索使用Amazon Step Functions来无缝编排复杂的AI工作流程。通过真实世界的用例和模式,获得关于提示工程、批量推理、检索增强生成(RAG)、虚拟助手等方面的洞察。离开时,你将掌握使用无服务器工作流程解锁安全、高度可扩展、高性能生成式AI应用真正潜力的知识和技能。在这个快速发展的领域提升你的AI能力。
以下是小编为您整理的本次演讲的精华。
在尖端技术的领域中,亚马逊云科技作为一个开拓者崭露头角,利用生成式人工智能的力量彻底改变了应用程序的构建和部署方式。“利用Amazon SageMaker解锁生成式人工智能的力量”这一环节深入探讨了无服务器架构与生成式人工智能模型无缝集成的内在世界,揭示了无数有望重塑应用程序开发未来的用例和模式。
该环节首先全面概述了亚马逊云科技上的生成式人工智能技术栈,这是一个旨在促进基础模型训练和推理的强大生态系统。在基础层面,基础设施层包括一系列专门的硬件组件,如GPU、Trainium芯片、Inferentia芯片、Nitro系统和亚马逊云科技 Neuron。这些尖端技术构成了基础模型训练和推理的基石。
在这个基础设施层之上,是Amazon Bedrock,一项为基础模型量身定制的SageMaker服务,提供了代理、防护措施和Bedrock Studio等功能,后者是一个专门用于探索和微调大型语言模型的环境。此外,它还允许无缝集成自定义模型,从而打造出灵活且可适应的开发环境。
作为生成式人工智能技术栈的顶层,Amazon Q是最高层次的抽象,包括Amazon Q for business、Q developer for code、Gen、QuickSight和Connect等多种服务。这套全面的工具旨在简化生成式人工智能应用程序的开发和部署,让开发者能够充分利用这项变革性技术的潜力。
该环节的核心围绕着利用无服务器架构进行模型推理,这一范式有望带来前所未有的可扩展性、成本效率和敏捷性。亚马逊云科技提供了一系列强大的服务来促进这一努力,包括用于REST API的Amazon API Gateway和用于GraphQL接口的Amazon AppSync。这些托管服务不仅减轻了维护底层基础设施的负担,而且还确保了高可用性、内置安全性和按使用付费的定价模式,从而优化资源利用并最大限度地降低运营开销。
演讲者深入探讨了无服务器集成的细节,强调了各种亚马逊云科技服务之间的协同作用。API Gateway与Lambda函数的无缝集成为构建微服务和无服务器堆栈奠定了基础。此外,Lambda函数从SQS队列中拉取数据、EventBridge将事件推送到Step Functions、Step Functions等待人工干预等模式体现了无服务器架构的多功能性和灵活性。
在生成式人工智能领域,演讲者揭示了一种范式,其中Lambda函数和Step Functions可以直接调用基础模型,响应会被流式传输回相应的计算资源。这种无缝集成凸显了结合无服务器架构与生成式人工智能的力量,实现了快速应用程序交付和加速上市时间。
该环节探讨了五个关键用例,展示了生成式人工智能和无服务器架构的变革潜力:
1. 聊天机器人:利用API Gateway、Lambda函数和基础模型构建聊天机器人是这一用例的基础。为了应对可扩展性挑战,演讲者介绍了一种异步处理方法,利用SQS作为缓冲区来管理突发的传入请求,确保可靠且一致的性能。
2. 检索增强生成(RAG):该用例侧重于使用Step Functions、Lambda/ECS中的LlamaIndex/LangChain和Bedrock嵌入模型来创建组织数据的向量嵌入。然后,这些嵌入被集成到聊天机器人中,实现上下文感知响应,并降低了虚构风险,从而提高了生成输出的准确性和相关性。
3. 虚拟助手:进入智能助手领域,演讲者揭示了一种范式,其中Step Functions根据模型的建议协调任务,如通过调用API或Lambda函数来预订预约。这种“工具使用”或“函数调用”方法赋予了大型语言模型作为虚拟助手的能力,执行业务逻辑并自动化复杂工作流程。
4. 文档摘要:针对日益增长的对简明且富有洞察力的信息的需求,该环节探讨了通过集成S3事件通知、SQS和Lambda函数实现实时文档摘要的方法。对于大规模文档处理,演讲者介绍了Step Functions的Distributed Map,这是一种强大的批量摘要工具,确保了对大型文档库的可靠和高效处理。此外,还讨论了成本优化技术,例如仅在需要时启动SageMaker模型端点,从而最大限度地减少资源消耗,提高成本效益。
5. 内容创作:在内容生成领域,演讲者强调了提示链的重要性,这是一种将大型提示分解为聚焦、模块化的提示的技术,从而提高了准确性和性能。Step Functions作为一个强大的编排器,实现了专门构建模型的无缝集成以及通过回调模式实现人工审查流程,确保了质量控制并符合组织标准。
该环节发生了深刻的转折,当ParamedicSolutions的数据科学主管Martin Gorman分享了他们在SageMaker和生成式人工智能方面的经历时。ParamedicSolutions是TP ICAP集团(全球最大的ETA经纪商)的一个部门,面临着自动化金融基准和指数的监管评估流程的挑战。这个流程涉及确保描述如何实施法规的方法文档涵盖了监管机构规定的每一条法规。
亚马逊云科技的原型工程师Patrick O’Connor揭示了他们为解决这一挑战而构建的无服务器架构。该架构利用Amplify(一套用于托管前端应用程序的服务),允许ParamedicSolutions安全地上传法规和方法。Okta IDP提供了安全的身份验证,而Amazon AppSync则实现了前端与无服务器后端的无缝集成。
在这个架构的核心是Step Functions,真正的魔力就在这里展开。Step Function区分了法规和方法,从法规中解析出单个规则,并针对这些规则扫描方法。生成式人工智能活动(如摘要、关键词搜索和基于大型语言模型的合规性检查)在Step Function中得到了编排,利用了Bedrock的功能。结果随后存储在Amazon DynamoDB(一个NoSQL数据库)中,确保了高效的数据管理和检索。
Martin Gorman进一步分享了ParamedicSolutions其他项目的见解,强调了在各种用例中采用无服务器技术构建应用程序。其中一个用例涉及自动化客户支持工单的分类,其中消息处理组件对工单进行分类并提取有意义的实体。然后,这些实体被用于使用文本到SQL模型构建SQL查询,实现了对外部数据仓库(如Snowflake)的无缝查询。此外,知识库也被集成进来,通过提供相关的客户信息来增强解决方案流程。
强调了模型评估的重要性,ParamedicSolutions实施了流程,针对测试数据集评估新的模型和提示组合,确保部署最准确、最有效的解决方案。
Martin Gorman强调了无服务器和生成式人工智能对ParamedicSolutions运营的变革性影响,推动了创新、自动化工作流程、解锁了孤立的数据存储,并促进了更清洁的数据和更好的数据治理。这些进步不仅与公司的数字化转型和成本优化的战略支柱保持一致,而且还为更高效、更满意的数据科学团队做出了贡献,最终造福了客户。
随着会议临近尾声,演讲者总结了结合无服务器架构与生成式人工智能的深远益处。这种协同方法实现了更快的应用程序开发,培育了可以无缝集成新组件而不会中断现有组件的演进式架构。细粒度的可扩展组件(如SQS和Lambda函数)使开发者能够轻松应对突发流量并管理可扩展性挑战。
此外,无服务器架构的演进性质促进了多个模型的集成,允许快速测试、迭代和部署最有效的解决方案。丰富的集成功能(例如Step Functions对220多个API集成的原生支持,包括直接调用Bedrock模型)进一步简化了开发过程。
认识到人工监督在生成式人工智能领域的重要性,演讲者强调了集成人工审批流程,确保生成的内容符合组织标准并达到最高质量基准。
本次会议总结时为与会者提供了丰富的资源,以便深入探索SageMaker、生成式人工智能和亚马逊云科技无服务器架构的世界。会议重点介绍了博客、研讨会、示例应用程序以及2024年re:Invent大会上的专门会议,为与会者提供了全面的学习途径,以掌握这些尖端技术。
此外,演讲者还介绍了无服务器学习平台,这是一个综合的教育资源,让开发人员能够获得徽章并掌握无服务器技术、事件和工作流程。该平台旨在培养托管和无服务器思维模式,使开发人员能够顺利驾驭不断发展的生成式人工智能和无服务器架构领域。
总之,“利用Amazon SageMaker释放生成式人工智能的力量”会议体现了亚马逊云科技对创新的不懈追求,以及其在塑造应用程序开发未来方面的关键作用。通过利用生成式人工智能和无服务器架构的力量,亚马逊云科技使开发人员能够突破曾经无法想象的界限,开启创造力、效率和可扩展性的新领域。随着世界继续拥抱生成式人工智能的变革潜力,亚马逊云科技将继续走在前列,提供工具、服务和专业知识,释放其全部潜力,推动下一波技术革命。
我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出,企业要从 " 成本优化 " 转向 " 创新驱动 " ,通过完善的数据战略和 AI 云服务,把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在 AI 时代突破。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3090502/ ,如需转载,请注明出处,否则将追究法律责任。