ITPub博客

首页 > 云计算 > 公有云实践 > 亚马逊云科技-破解AI MVP加速创新体验实践之路

亚马逊云科技-破解AI MVP加速创新体验实践之路

公有云实践 作者:出海新观点 时间:2025-07-14 21:24:40 0 删除 编辑

关键字: [亚马逊云科技, Cody, Ai Mvp加速, 创新体验实践, 业务挑战, 技术难题, 数据限制, 黑盒解释, 提示词工程]

导读

本视频是亚马逊云科技公司的一位解决方案负责人高依婷女士在ADAPS大会上的分享。她主要讨论了企业如何破解AI MVP加速创新体验的实践之路。她指出企业在采用AI时面临的一些常见挑战,如业务系统定制化、人员能力匹配、AI路线图规划等。她分享了两个案例:社交平台评论分析和站内邮件处理,阐述了如何找到适合AI落地的业务场景。她还介绍了提示词工程、数据处理、模型微调等关键技术,以及如何构建灵活的AI平台。最后,她简要介绍了亚马逊云科技公司的业务和AI平台。

演讲精华

以下是小编为您整理的本次演讲的精华。

中午好,今天我们将分享如何破解AI MVP(最小可行产品)来加速创新体验和实践之路。这是我第9年参加ADAPS会议了。今天的主题是关于在为客户服务的过程中,如何总结和输出企业(无论中小还是大型)应该如何采用AI技术,如何找到机会,如何组建小团队来实施。

首先介绍一下我自己,我来自深圳,是一家公司的解决方案负责人。我今天分享三个主要点:1)业务挑战与技术难题的困境剖析;2)公司介绍。

第一部分是业务挑战与技术难题的困境剖析。许多企业面临着同样的困扰,我要做AI,但是问题一堆,从哪里开始?AI领域存在幻觉、不准确等各种问题,我们应该如何解决?我今天分享的只是解决方案的一部分,希望对大家有所启发。七八年前,大家也曾困惑于是否要上云、如何上云,现在同样的疑问出现在AI领域。我应该从哪个业务系统做起?我的业务系统定制化严重。我现有的团队是否能匹配?AI的路线图和蓝图是什么?比如我是一家电商企业,是否可以从客服、品牌社区公众号等场景实践?我们需要总结过往经验,去找到机会。

常见的问题是输出结果不稳定,今天和明天的回答可能存在相似但不一致的情况。无需联网的问题比较容易解决,只要平台能接入互联网API即可。最大的限制是数据量太大,无法一次性全部输入给AI模型,因为模型的token输入是有限制的,这时我们应该怎么办?AI给出的答案是一个黑盒,我们不知道如何解释它的正确与否。我的业务一直在迭代,但模型的提示词是写死的,一旦业务变化就需要改变提示词,我应该如何做得更好?现在大家比较热衷于使用外部工具,如MPP、Agent等,我们应该如何评估和规划使用这些工具?还有一个问题是RIG(Retrieval Injected Generation),模型训练的数据可能已经过时,无法回答当下的问题,我们应该如何解决?从节省成本的角度来考虑,也有很多方法可以解决上述问题。

针对上述问题,我将一一解答:首先要找到一个可落地的小场景,而不是一上来就想做很大的事情。要评估现有团队的能力,AI团队通常由2-4人组成。关键是要有一个能够领导、具备AI和业务理解能力的人,能够主动与业务沟通融合。我最近做的两个案例是官方社交平台和站内邮件。这类场景偏文本类型、业务逻辑简单、与其他业务交互少,比较适合首先实践。

互联网API的问题比较容易解决。更重要的是,大多数企业最终都需要一个平台,因为未来会有大量模型需要管理,考虑成本、延迟等问题,必须建立一个足够开放、灵活、可扩展的平台。针对输出结果不稳定的问题,在输入时就需要规定输出的格式、风格等,而不是完全靠AI自行判断。我会通过不断改进提示词,使其输出符合预期。提示词工程非常重要,有现成的框架可以参考,如B(背景)、I(目的)、O(关键结果)、L(迭代调整)。提示词或许是目前最重要的工作。

针对token限制问题,需要拆解业务逻辑,将数据分批输入给模型,最后由模型进行总结和优化,输出所需结果。这需要对业务流程有深入理解。对于过时数据的问题,目前最火热的解决方案是RIG(Retrieval Injected Generation),但它的准确率也是一个问题。我们需要判断对于不同业务场景,所需的准确率是多少才算足够,95%或80%是否就可以?应追求适合当前企业发展的答案。RIG除了解决准确率问题,还能实现实时数据更新,并提高可解释性。

对于私有数据,可以使用Bearwork、Adapter、SearchMake等工具进行微调。微调虽然没那么复杂,但需要理解参数如学习率的含义,并根据损失函数的变化情况进行调整。使用ModelHub、SearchMake等工具可以快速解决微调问题。我们在一个客户场景中实施了一个内容审核系统,底层使用亚马逊云科技服务如OpenSearch,大模型使用Codex。系统的优势在于支持多语种、统一输出、配置灵活。架构包括数据流水线和编排分析两部分。我们有一个展示系统,可以实时统计不同维度的数据走势,并根据负面评论来优化产品或游戏体验。

总结一下,企业要更快落地AI项目,需要做到:1)有一个能够领导、具备AI和业务理解能力的团队;2)找到一个小的、业务逻辑完善的MVP场景先实践,逐步迭代;3)构建一个开放、灵活、可扩展的平台,以应对未来的AI变革;4)时刻关注AI的变化,确保平台的持续迭代。

最后简单介绍一下我们公司,我们是一家服务于亚马逊云科技已有9年历史的公司,总部位于深圳,拥有50多名员工,服务行业包括智能家居、游戏、电商、新能源等,提供个性化电商推荐、物联网、大数据、游戏推广等解决方案。我们拥有多项亚马逊云科技资质,过去几年保持100%增长,拥有800多个客户。在与客户合作的过程中,我们也构建了自己的AI平台,集成了翻译、RIG等智能体,并在图表问答等场景不断创新和实践。这个平台需要不断迭代和完善。

正如我所说,我们公司在深圳,我是一名博士生,负责解决方案。我今天分享的三个主要点中,前两个点是关于业务挑战与技术难题的困境剖析,很多企业都会遇到类似的问题。现在AI领域存在幻觉、不准确等各种问题,企业往往不知从何入手。就像七八年前,大家对于是否上云、如何上云也曾困惑重重。

企业常见的困扰包括:我应该从哪个业务系统做AI实践?由于业务系统高度定制化,从哪里开始?现有团队是否能匹配AI需求?AI的路线图和蓝图是什么?作为一家电商企业,是否可以从客服、品牌社区等场景切入?我们需要总结过往经验,去找到机会。

另一个常见问题是输出结果的不稳定性,今天和明天的回答可能存在相似但不一致的情况。数据量过大,无法一次性全部输入给模型也是一大限制,因为模型token输入是有限的。AI给出的答案往往是一个黑盒,我们无法解释其正确与否。业务持续迭代,但模型提示词是写死的,一旦业务变化就需要改变提示词,这是一个挑战。

现在大家热衷于使用外部工具如MPP、Agent等,我们需要评估和规划如何使用这些工具。RIG(Retrieval Injected Generation)也是一个问题,模型训练数据可能已过时,无法回答当下问题。从节省成本角度考虑,也有多种方法可解决上述问题。

那么,我们如何一一解决这些问题呢?首先要找到一个可落地的小场景,而非一上来就做很大的事情。要评估现有团队的能力,AI团队通常由2到4人组成。关键是要有一个能够领导、具备AI和业务理解能力的人,能够主动与业务沟通融合。我最近做的两个案例是官方社交平台和站内邮件,这类场景偏文本类型、业务逻辑简单、与其他业务交互少,比较适合首先实践。

互联网API问题相对容易解决,更重要的是大多数企业最终都需要一个平台,因为未来会有大量模型需要管理,考虑成本、延迟等问题,必须建立一个足够开放、灵活、可扩展的平台。针对输出结果不稳定的问题,在输入时就需要规定输出的格式、风格等,而不是完全靠AI自行判断。我会通过不断改进提示词,使其输出符合预期。提示词工程非常重要,有现成的B(背景)、I(目的)、O(关键结果)、L(迭代调整)框架可参考,提示词或许是目前最重要的工作。

针对token限制问题,需要拆解业务逻辑,将数据分批输入给模型,最后由模型进行总结和优化,输出所需结果。这需要对业务流程有深入理解。对于过时数据的问题,目前最火热的解决方案是RIG,但它的准确率也是一个问题。我们需要判断对于不同业务场景,所需的准确率是多少才算足够,95%或80%是否就可以?应追求适合当前企业发展的答案。RIG除了解决准确率问题,还能实现实时数据更新,并提高可解释性。

对于私有数据,可以使用Bearwork、Adapter、SearchMake等工具进行微调。微调虽然没那么复杂,但需要理解参数如学习率的含义,并根据损失函数的变化情况进行调整。使用ModelHub、SearchMake等工具可以快速解决微调问题。我们在一个客户场景中实施了一个内容审核系统,底层使用亚马逊云科技服务如OpenSearch,大模型使用Codex。系统的优势在于支持多语种、统一输出、配置灵活。架构包括数据流水线和编排分析两部分。我们有一个展示系统,可以实时统计不同维度的数据走势,并根据负面评论来优化产品或游戏体验。

总结一下,企业要更快落地AI项目,需要做到:1)有一个能够领导、具备AI和业务理解能力的团队;2)找到一个小的、业务逻辑完善的MVP场景先实践,逐步迭代;3)构建一个开放、灵活、可扩展的平台,以应对未来的AI变革;4)时刻关注AI的变化,确保平台的持续迭代。

最后简单介绍一下我们公司,我们是一家服务于亚马逊云科技已有9年历史的公司,总部位于深圳,拥有50多名员工,服务行业包括智能家居、游戏、电商、新能源等,提供个性化电商推荐、物联网、大数据、游戏推广等解决方案。我们拥有多项亚马逊云科技资质,过去几年保持100%增长,拥有800多个客户。在与客户合作的过程中,我们也构建了自己的AI平台,集成了翻译、RIG等智能体,并在图表问答等场景不断创新和实践。这个平台需要不断迭代和完善。

总结

在这个演讲中,演讲者分享了企业如何加速人工智能(AI)创新和实践的经验。他首先阐述了企业在采用AI时面临的一些常见挑战和技术难题,如业务系统定制化、人员技能匹配、AI路线图规划、输出结果不稳定、数据限制等。接着,他提出了一些解决方案和建议:

1)          组建一个小型但专业的AI团队,具备AI能力和业务理解能力,主动与业务部门沟通协作。2) 从简单的文本密集型业务场景入手,如社交平台评论分析、邮件自动分类等,作为AI落地的最小可行产品(MVP)。3) 构建一个灵活、可扩展的AI平台,支持多种模型和工具的无缝集成,以满足不断变化的业务需求。4) 采用提示词工程等技术来优化AI输出的稳定性和可解释性。5) 根据业务实际需求,权衡AI准确率与成本、速度之间的平衡。

最后,演讲者介绍了他所在公司在AI领域的实践,包括内容审核系统、AI平台架构等,并强调了持续关注AI发展趋势、不断迭代优化的重要性。整个演讲旨在为企业AI创新实践提供实用的思路和方法。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出,企业要从“成本优化”转向“创新驱动”,通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3091109/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2024-05-21

  • 博文量
    679
  • 访问量
    564557