导读

从传统企业到初创公司，软件开发团队都在进行人工智能竞赛。大型语言模型（LLMs）的改进速度正在创造新的发展动力，团队正利用这一动力为用户提供更好的体验。目前还没有构建人工智能应用的标准蓝图，而前所未有的变革速度也增加了风险。构建人工智能驱动的应用程序在模型配置、提示和用户体验测量等方面有着独特的需求。在本次会议中，来自Poka.io的Edmund Lam分享了他将生成式人工智能功能整合到Poka.io面向制造商的互联工人平台的经验。随后，来自LaunchDarkly的Cody De Arkland介绍了管理人工智能配置的新方法。本次演讲由亚马逊云科技合作伙伴LaunchDarkly为您呈现。

演讲精华

以下是小编为您整理的本次演讲的精华。

在现代科技领域，人工智能(AI)的融合已成为一个关键方面，彻底改变了各个行业和流程。然而，从概念化到实际实施的过程往往存在重大挑战。在亚马逊云科技 re:Invent 2024大会上，LaunchDarkly的Tom Totenberg和Poka的Edmund Lamb登台，阐述了他们在快速安全地将AI功能部署到生产环境中的合作努力。

Edmund Lamb代表Poka这个为制造商提供连接工人平台的公司，首先介绍了公司的运营情况。Poka的使命是通过集中的网络和iOS应用程序，为工厂工人提供必要的工具和信息，从而赋予他们权力。该平台促进了知识共享、加快了技能培训，并简化了沟通，最终提高了工厂运营效率。Poka的应用程序已在70个国家的1500多家工厂中被诸如雀巢、博世、马斯和L’Oréal等知名品牌采用。

Lamb随后深入探讨了Poka的AI团队结构，该团队分为两个不同的角色。第一个角色是复杂子系统团队，负责收集正确使用AI的专业知识并制定标准。第二个角色是赋能团队，负责传播知识并与产品和设计团队合作，快速原型化想法。

正如Poka工程副总裁Ali V.所阐述的，这种组织结构背后的动机有两个:简单性和专注性。通过将AI专业知识分离到一个专门的团队，功能团队可以专注于各自的任务，而无需承担AI集成的额外负担。同时，AI团队的专业知识在需要时也可以随时提供，促进无缝协作。

Lamb接着揭示了Poka的生成式AI功能:PDF到工作说明转换器。这一创新解决方案旨在简化Poka客户的内容生成过程，其中许多客户拥有大量PDF格式的工作说明。该愿景是让用户能够轻松拖放PDF文件、启动生成过程，并随后接收可供审阅的原生Poka工作说明。

这一功能的好处是多方面的。首先，它有望大幅减少内容创建和导入所需的时间和精力。其次，它会自动从PDF中提取图像，无需客户手动查找和重新上传这些视觉资产。第三，通过将内容以原生方式集成到Poka应用程序中，为未来的AI驱动增强奠定了基础，例如检索增强生成，从而实现与工作说明的新型交互方式。

为了验证这一愿景的可行性，Lamb的团队着手进行原型设计阶段。他们发现，当前的生成式AI模型能够理解甚至最复杂的PDF结构，这让他们对项目的可行性充满信心。在这些发现的鼓舞下，该团队迅速转向创建一个带有简陋用户界面的概念证明，以便进行内部测试并收集反馈。

这个迭代过程带来了转换质量的实实在在的改进，AI成功地将表格格式化为结构化列表，并准确导入图像。受这些令人鼓舞的结果所激励，Poka启动了与真实客户的测试阶段，完善用户界面并重塑底层架构。

这个新的架构旨在实现可扩展性、异步性和无服务器操作，利用了一系列亚马逊云科技服务，包括S3用于文件存储、API Gateway用于请求处理、Lambda用于计算、SQS用于消息队列和SNS用于事件发布。这个强大的基础设施确保了高效可靠的转换过程，即使在高需求下也能正常运行。

在这个过程中，LaunchDarkly的功能标记发挥了关键作用，实现了快速迭代和受控推出。Poka将其标记分为三个不同类别:功能标记用于启用和禁用功能、临时主干标记用于部署更改和修复，以及运维标记用于管理时间限制和配额等配置。

使用LaunchDarkly功能标记的最大优势之一是能够无缝切换不同供应商的不同AI模型。Poka尝试了Anthropic的Haiku、Sonnet和Opus模型，每个模型在性能、成本和复杂性方面都有独特的权衡。当Anthropic发布新的Sonnet 3.5模型时，Poka能够迅速集成和测试它，最终采用它作为首选，因为它不仅质量更高，而且与Opus模型相比，成本和处理时间降低了五倍。

功能标记还有助于管理提示，这是指导AI行为的关键组成部分。Poka实施了对抗性提示检测机制，以识别和缓解潜在的安全风险。然而，他们在尝试转换一个名为“清洁、检查和润滑断头台”的PDF时遇到了一个独特的挑战。AI模型遵循其道德准则，将内容标记为潜在暴力内容并拒绝处理。

为了解决这个问题，Poka引入了一个名为“violent”的额外属性，允许AI表达其担忧，同时仍然允许转换过程继续进行。这种方法尊重了AI的道德界限，同时也使Poka能够为客户提供所需的功能。

主要功能标记协调了PDF转换器的分阶段推出，从开发环境中启用状态开始进行内部测试。在生产环境中，该标记最初处于禁用状态，白名单规则授予内部演示实例和精心策划的测试用户群访问权限。

涉及20家公司和50名用户的测试阶段取得了令人瞩目的成果。客户报告说，导入工作说明所需的时间减少了75%，其中一家客户将新生产线的设置时间从五个月缩短到仅两个月。这些实实在在的时间节省和效率提升证实了Poka这一AI驱动解决方案的价值主张。

回顾经验教训，Lamb强调了团队结构的重要性，一个小型专注的AI团队提供专业知识，并根据需要赋能其他团队。云端AI服务和LaunchDarkly的功能标记促进了快速迭代和无缝模型更新。也许最关键的是，能够收集和纳入客户反馈在完善解决方案并确保其现实世界的适用性方面发挥了关键作用。

LaunchDarkly的Tom Totenberg随后登台，演示了他们平台在安全受控地交付AI模型和配置而无需重新部署代码方面的强大功能。他展示了LaunchDarkly如何将代码部署与功能发布分离，将后者视为向最终用户公开新功能的业务决策。

在现场演示中，Totenberg实时更新了AI助手的提示和配置，展示了无缝集成和交付过程。同时，他监控了令牌使用量、成本影响和用户满意度评分等性能指标，为AI模型的行为和有效性提供了宝贵的见解。

LaunchDarkly平台的一个关键优势是能够控制特定配置和体验的受众。Totenberg演示了如何有选择地将内部测试人员作为目标，向他们推送更新的提示和指导，从而实现受控测试和验证，然后再向更广泛的用户群推广变更。

LaunchDarkly的方法不仅仅是简单的功能标记，它提供了一种标准化和可重用的方式来构建和管理AI配置。这包括从各种供应商中选择、设置提示令牌限制和温度等参数，以及定义针对特定用例的系统、辅助和用户提示。

在整个演示过程中，Totenberg强调不仅要交付AI功能，还要监控和衡量其性能。错误率、延迟和用户满意度等指标为AI部署的实际影响提供了关键见解，有助于数据驱动的决策和持续改进。

此外，LaunchDarkly对谁在接收哪种体验的上下文意识，使其能够自动检测回归和异常情况。如果特定用户群体出现性能下降或问题，LaunchDarkly可以及时识别并通知相关利益相关方，从而促进迅速补救。

总之，在亚马逊云科技 re:Invent 2024大会上的这场会议展示了LaunchDarkly和Poka在利用云AI服务和功能交付能力方面的合作努力。通过利用LaunchDarkly的平台，Poka能够快速迭代、安全推出并持续完善其生成式AI产品——PDF到工作说明转换器。这一创新解决方案不仅简化了Poka制造业客户的内容创建过程，而且为未来的AI驱动增强铺平了道路，展现了AI在敏捷和受控部署下的变革潜力。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。