首页 > 云计算 > 公有云实践 > 利用生成式人工智能和无代码机器学习加速创新
了解如何使用Amazon SageMaker Canvas赋能组织中的任何人从数据中解锁有价值的洞察。通过SageMaker Canvas,您可以创建高度准确的机器学习模型,用于回归、分类和时间序列预测,并微调选定的基础模型——所有这些都无需编写代码或具备机器学习经验。在本次会议中,探索如何通过API驱动的自动化来扩展机器学习操作。同时了解Gosoft如何利用SageMaker Canvas的AutoML时间序列功能,为泰国15,000家7-Eleven商店的数千种产品自动化需求预测。
以下是小编为您整理的本次演讲的精华。
各位晚上好!欢迎来到“借助生成式人工智能和无代码机器学习加速创新”的亚马逊云科技 re:Invent 2024会议。我是亚马逊云科技产品管理高级经理Ovishi Chadri。我身边是来自泰国GoSoft公司的Seravete Sopcho博士和亚马逊云科技高级专家解决方案架构师Charles Loughlin博士。
今天我们将讨论三个主题。首先,如何使用Amazon SageMaker Canvas在不编写任何代码的情况下加速机器学习。然后,Charles将演示SageMaker Canvas如何处理预测机器学习问题。最后,我们将听取Sera博士关于GoSoft如何利用我们的服务提高商品预测准确性并实现有形业务收益的分享。
在亚马逊云科技,机器学习和创新是我们的DNA,我们的使命是让每个人都能使用机器学习。为此,我们构建了Amazon SageMaker,它提供了最广泛的工具来构建、训练、部署和管理大规模机器学习模型。通过SageMaker,专家数据科学家和ML工程师可以访问最广泛的机器学习IDE和工具,如SageMaker Studio。您可以轻松地跨分布式计算训练模型,利用最新硬件和分布式训练库。您可以简化端到端ML运维流程,应用ML治理和负责任AI,利用人工反馈,并使机器学习民主化。
当客户标准化使用SageMaker时,我们听到了一些常见挑战。首先,他们有许多利用ML创新的想法和机会,但受限于专家的可用性,导致项目积压,等待数据科学家数周、数月甚至数年。客户希望让组织内更广泛的受众加速ML创新,允许领域和数据专家应用ML并将想法付诸实践。然而,这些更广泛的受众缺乏所需的技术编码和ML知识,造成了障碍。
最后,组织希望确保无论模型是如何构建的,以及由谁构建的,都遵循相同的MLOps流程、工作流和治理,而现有工具无法实现这一点。
为了解决这些挑战,我们从头开始构建了Amazon SageMaker Canvas - 一个可视化的无代码界面,您可以在其中进行端到端机器学习而无需编写任何代码。通过SageMaker Canvas,您可以访问现成的机器学习模型,包括基础模型,因此您无需ML知识即可构建高质量模型。
SageMaker Canvas提供了从数据准备到训练再到部署的端到端模型构建,无需编码。最棒的是,使用SageMaker Canvas完成的所有工作都可以导出为Python代码和Jupyter笔记本,因此您可以与数据科学家和ML工程师共享。他们可以审查工作、与您一起迭代并将其实现到他们的ML管道中,无需重新工作。
我们的客户正在跨多个领域和用例使用SageMaker Canvas模型。他们正在使用生成式AI微调模型,用于技术文档、问答;使用结构化表格和时间序列数据构建诊断指南,通常用于流失预测、预测性维护和预测。对于非结构化数据,他们正在构建计算机视觉和NLP模型,用于缺陷检测、情感分析和实体提取。在我们的团队中,我们正在使用SageMaker Canvas来预测客户收入、流失和客户细分。
现在,让我们看看SageMaker Canvas如何实现端到端ML生命周期的更快迭代,从数据开始。SageMaker Canvas允许您连接到亚马逊云科技上超过50个数据源,如Amazon S3、Redshift、Athena,以及第三方源如Snowflake、Salesforce和Databricks。您可以使用可视化界面可视化端到端ML管道,并自动扩展到PB级数据。在幕后,我们利用分布式EMR Serverless集群,因此您的数据准备可以从小型数据集扩展到PB级,无需额外代码。
通常,在进行机器学习之前,您需要了解数据、分析数据并准备训练就绪数据集。这意味着探索数据、生成见解,SageMaker Canvas通过单击即可提供详细的数据洞见和质量报告。该报告有助于您了解数据的外观、异常值、离群值,以及可能影响下游模型质量的详细属性,如目标泄露和类别不平衡。它还提供了如何转换数据以消除这些问题的建议,全部无需编写代码。这个过程可能需要数据科学家花费数小时到数天时间,即使是我们的专家数据科学家也喜欢生成的数据质量洞见。
SageMaker Canvas还提供了内置可视化功能,以更深入地了解数据中的关系,如相关矩阵和特征重要性,以及超过300种内置转换,可轻松准备数据。这些转换可以是简单的操作行和列、删除列、填充缺失值,或者更多ML专注的转换,如一热编码或平衡数据集。
我们通过支持自然语言指令使数据准备变得更加简单。通过键入所需的数据准备指令(如删除列),Canvas将在后台生成代码,您可以编辑或将其作为数据准备管道中的一个步骤添加。同样,您可以描述所需的可视化和见解类型,如散点图,Canvas将生成代码并允许您下载可视化结果。虽然这些代码可能看起来很简单,但对于许多没有技术专长的受众和客户来说,编写简单的Python可能是一个挑战,因此这是一种很好的方式,让他们无需学习代码或技术概念即可进行自定义数据转换和可视化。
一旦我们有了训练就绪的数据集,下一步就是构建ML模型,SageMaker Canvas使您能够构建高质量的预测、回归、二元和多类分类、图像和文本分析模型,以及微调基础模型。如前所述,您无需ML专业知识,因为我们使用了先进的AutoML技术来完成繁重的工作。
当您使用SageMaker Canvas训练模型时,在幕后,我们会并行运行多个具有不同配置的实验,为您提供性能最佳的模型。您可以选择超参数优化等技术,我们将使用不同的ML技术搜索参数空间,或者集成模型,我们并行运行多个作业并组合结果为您提供性能最佳的模型。或者,您也可以选择特定算法进行训练。
同样,我们为您的作业建议默认配置,但您也可以选择自定义作业运行,如更改数据分割、运行时间和其他参数。训练完成后,SageMaker Canvas将提供关键指标(如F1分数、准确性和特征重要性)的详细模型洞见,帮助您深入了解模型的性能。
我们提供了详细的模型排行榜,帮助您查看不同模型运行的性能表现。虽然我们推荐最佳模型,但您也可以选择其他模型,如低推理延迟而非准确性的模型。使用排行榜,您可以为用例选择最佳模型。
我们也以同样的简单方式让您微调基础模型。您可以从Amazon Bedrock和SageMaker JumpStart中选择模型并在不编写任何代码的情况下进行微调,获得详细的模型指标并在排行榜上比较模型运行。
让我们看一个实际操作。假设我们是一家投资基金,正在构建一个聊天机器人,根据客户资料推荐最佳基金。如果我们选择在公共数据上训练的公共模型,结果可能会相当通用,与我们提供的基金无关。为了解决这个问题,让我们使用我们的数据集微调基础模型。
在这里,我们使用一个提示完成数据集,其中包含历史客户查询和不同推荐基金。这有助于基础模型了解我们的客户资料与我们提供的基金之间的关系。我们只需上传数据集、选择要微调的模型、提供输入和输出、可选配置训练参数,然后启动微调作业。
在幕后,我们正在运行多个微调作业,为您提供性能最佳的模型。您可以查看详细的模型指标、模型排行榜,并比较微调模型与通用模型的性能表现。左侧的微调模型结果更加具体、详细,而通用模型则相对笼统。因此,我们在不编写任何代码的情况下微调了一个模型,所有模型指标、评估报告和工件都可以下载。
一旦我们有了高质量的机器学习模型,下一步就是评估模型并生成预测。Canvas通过提供应用内预测和“假设分析”功能,使其变得简单。通过更改一些输入参数,您可以看到模型响应会有何不同,有助于快速迭代和评估。
你也可以对批量数据进行批量预测,并通过单击按钮自动化这些预测,使其以特定频率运行或在数据发生变化时运行。你可以在SageMaker端点上部署这些模型进行实时推理,并与Amazon QuickSight共享预测和模型,以构建预测分析仪表板。
早些时候,我谈到了专家和非专家之间的协作至关重要。无论是在Canvas中进行的数据准备还是构建的模型,都可以轻松导出并部署到SageMaker上,SageMaker提供了与专家使用的相同的ML ops和ML治理。所有模型都可以部署到SageMaker模型注册表,该注册表是ML ops流程的支柱。你可以将模型注册表视为集中编目、批准和升级到生产环境的模型存储位置。你还可以导出Jupyter笔记本中的代码并与你的数据科学家共享 - 他们可以在SageMaker Studio中查看这些代码,与你一起迭代、帮助提高性能或将这些模型投入生产,而无需重写任何代码。因此,数据科学家和非ML专家之间的互操作性和协作通过SageMaker Canvas得到了增强。
现在,我想邀请Charles为我们做一个演示,并谈谈如何使用SageMaker Canvas进行预测。
Charles:感谢您今天与我们分享时间。我们在过去几个月里为此付出了很多努力,所以我们希望您能学到很多。我是亚马逊云科技的人工智能专家Charles Loughlin。这是我第六次参加re:Invent。我今天在这里的原因是,今年夏天我与GoSoft和亚马逊云科技的一个团队合作。我们进行了实验、架构设计,并最终交付了一个生产管道,为GoSoft创造了价值。在Soapchok博士的部分,他将量化这种价值。
我将介绍构建时间序列预测模型的端到端流程,并分享与GoSoft合作创建的架构。对于不熟悉时间序列预测的人,这张幻灯片说明了这个概念。它首先提供了一个已知的历史真实数据,模型的目的是学习数据中的模式 - 它提取这些模式并保存模型。从保存的模型中,客户可以产生预测,帮助他们规划和做出决策以应对未知的未来。通常在零售预测中,零售商希望在正确的地点储备足够的产品以满足消费者需求。这里存在一个平衡,一个是储备过多或过少的困境。
现在我将通过CanvasUI演示向您演示端到端流程。虽然我在CanvasUI中进行演示,但许多客户选择完全自动化这一过程,而无需进入UI。两种方法都是可行的,并且在底层产生相同级别的准确性。
我将从讲解一个示例数据集开始。这是一个用于演示的合成表格数据集。这是查看表格数据的示例。有一些可选特征和一些必需特征,我将介绍这些特征。
数据准备是最重要的方面之一 - 你需要有一个名为“case quantity”的目标特征。这可以是单位、美元或资源,如托盘或箱。你还需要一个日期周期,这里是每周数据,但也可以是从每分钟到每年的任何数据点。
接下来,客户希望在项目级别或类似级别进行预测,这通常可以是项目、SKU、产品和位置。在这里,我使用仓库和产品类别来演示我们的系统支持最多10个这样的维度来产生细粒度的预测。
接下来,你可以引入外部世界数据来帮助提高预测的准确性。示例包括温度、燃料价格、通货膨胀数据。我的建议是引入任何你认为对你的业务很重要并能推动业务上下波动的数据。SageMaker将告诉你该特征是否重要或不重要。
你还可以引入与你的业务相关的日历和事件数据,这有助于预测特殊事件或节假日。例如,在泰国,四月份有一个新年庆祝活动,人们会用水庆祝,所以在那一周,瓶装水和其他与水有关的产品的销量会增加,这是可以预料的。
在零售预测方面,零售商会采取不同的措施,有时是同时采取多种措施来推动业务和消费者购买。这些可能包括广告支出、产品是否有货、是否为当季产品,或者你可以通过降价来促销产品。所有这些因素都会影响业务。因此,我再次建议您引入任何您认为重要的因素。
如果某个特征并不重要,会怎么样?我在这里创建了一个名为“random”的特征,我将向您展示它在即将出现的可解释性报告中的样子。如果某个特征只是噪音而没有帮助,我会向您展示它的样子。
现在我已经介绍了数据,让我们来创建一个模型。你只需将鼠标悬停在这里,点击“创建模型”,然后给它一个友好的名称。作为用户,你接下来要做的是选择要预测的目标特征,在这种情况下是“case quantity”。
接下来,你需要注意UI提示你配置模型,所以你需要选择一个要按维度进行预测的特征。在这种情况下,我选择“warehouse”。我们还可以在仓库和产品类别级别获得预测。Canvas会自动意识到数据是按周采样的,因此我们可以要求生成未来12周的12个预测。
Auvashi提到了这一点,但Canvas的一个关键特性是能够混合使用神经网络模型和数十年来一直为供应链服务的统计模型。这样做的想法是,每种模型都会产生价值,但它们将以一种方式集成在一起,从而产生比任何单一模型更高的准确性。
因此,在几分钟内,无需编写任何代码,我们只需点击一个按钮就可以开始构建模型,当然你也可以选择通过API来完成。这张幻灯片的主要内容是训练期间发生的事情,即ML模型正在学习数据中的模式。它们正在学习需求与自身的关系。它们正在学习与您提供的所有特征的关系,例如库存、零售措施以及我之前提到的内容,模型的目的是学习这些变量之间的关系。在这种情况下,如果货架上没有货物,如果产品缺货,那么这将成为一种限制,限制可销售的数量。大多数零售商更希望有足够的供应来满足需求,而不是缺货。
那是一个概念性的视图。这更多是训练期间发生的计算物理视图。从UI或API,在这一点上,你要求训练一个模型。SageMaker将意识到您的数据量,并选择一个合适大小的EC2集群。它将带来您的数据并开始针对该集群进行训练。但众所周知,没有一个模型能够完美地适用于所有时间序列,因此SageMaker将启动20个或更多容器。它们都在同时运行,尝试不同的算法、不同的时间段采样,并进行超参数优化。在这些独立并发运行的容器中,目标都是获得最高的可用精度。SageMaker监控这些容器,当它们全部完成时,将运行一个称为集成的优化过程。
这里的想法是,它将为您数据集中的每个单独项目创建一个独特的Recipe,这是该产品的一个优势。对于数据集中的每个单独项目,无论是一个还是数万个,它都会产生一个独特的加权比例。对于产品1,也许是100%的arena模型,一种统计模型。对于产品2,可能是统计模型和神经网络模型的50/50组合,等等。但是,这种集成将为每个项目产生最高的准确性。该集成模型被保存下来,所有其他基础候选模型也被保存下来,然后作为客户,您可以自由地从集成模型或任何其他模型中进行预测。我将在前面向您展示CanvasUI中出现的排行榜。
好了,假设已经过去了一个多小时,我们来看看产品。这就是它的样子。首先,在页面顶部,您可以看到全局准确性指标。这里有一些常见的准确性指标,表示该数据集训练将以百分比和单位为基础给出的准确性。还产生了一些其他工件,所有这些工件都存储在Amazon S3上。我将介绍其中一个工件 - 可解释性报告。可解释性报告的想法是,它会告诉您提供的数据、那些可选数据特征是否有用,以及有多大用处。
在这种情况下,我将突出显示一个名为“inflation”的项目。这里,假设您正在预测收入。这是一个有效的正数,它告诉您随着通货膨胀的上升,您预测的收入也会上升。这并不意味着人们购买的单位更多,而是意味着每单位的收入增加了。
当我们进入零售处理2和5时,这些可能是导致收入增加的广告支出的例子。这些是正数,所以你要保留它们。同时,零售业也发生了许多并发事件,因此你可能会在这里看到名为1和4的处理,这些处理可能是应用的折扣、买一送一的特价活动,它们会产生较少的收入,但好消息是它们可能会产生更高的单位需求。
然后最后,我之前警告过你“随机”的概念。所以这里有一个随机特征。这里的想法是,如果你有接近于零的权重,我建议你从数据中删除它,并尽可能保持数据集的简单和精简。
好的,现在我们已经发现了训练完成后会发生什么。这是一份可解释性报告。接下来我将带你浏览模型排行榜。放大一点,在这种情况下,我们实际上看到了每个模型的结果。顶部这一行是我们的模型集成,并且针对任何列都提供了准确性指标。这是领先者,它提供了比其他候选者更高的准确性水平。例如,这里的平均权重量子损失,这个1.21的数字,比其他任何项目都低,这只是集成强度的一个例子。它比构成它的任何部分都要强大。我要在这里提醒客户,你可以选择从任何这些模型中进行预测,包括集成模型或任何其他模型。
最后,在UI中,让我们看看如何进行预测。SageMaker Canvas UI为你提供了批量或单个项目预测的能力。你也可以通过API的形式进行这些操作。所以在这里,点击单个项目预测,系统会意识到你的数据,让我们选择一些维度来预测亚特兰大仓库。让我们看看一般的厨房用具销售情况,这将为你提供我们所做的12周预测,所以我们将在这里看到12周的历史数据。这是过去的实际基准数据,以及未来12周的数据。我将放大其中一个并更仔细地讨论。
所以这是厨房用具。如果我们看2024年感恩节那一周,我们可以看到厨房用具的销售比其他相邻周略高,而且这里不只有一个真相,还有概率预测,我将在下一张幻灯片中介绍。有50%的机会,81件商品就足以满足该市场。但有时50%意味着有一个抛硬币的机会,你可能没有足够的商品。那如果你有70%的机会拥有足够的产品呢?在这里,那就是110件商品。所以这里真正重要的是,大多数零售商都希望拥有足够的供应来满足所有需求,尤其是对于那些不易腐烂的产品。
好的,让我总结一下我刚刚带你浏览的过程:查看数据、训练模型、分析模型,然后从模型中产生预测。我要在这里强调,预测的结果以Parquet或CSV文件的形式落在Amazon S3上,因此几乎可以在任何你想使用预测的地方轻松消费。
这张幻灯片的目的是强调今年夏天为GoSoft交付的实际解决方案。这是他们的训练架构。该过程每月进行一次,从左边开始。GoSoft将提取他们的历史销售数据,一些我们之前看到的特征,并将其从仓库上传到S3。他们有大量数据,因此他们做的一件事是设计一种聚类技术,根据需求的特征(如波动性和销售量)将所有商品分成不同的簇。这些数据也落在S3上。
一旦数据落在S3上,GoSoft已经在使用Amazon Glue,所以Glue实际上是在这里由Step Function调用的。亚马逊云科技 Step Function是协调所有这一切的流程,它是一种无服务器的工作流管理方式。因此,Step Function打开S3上的原始数据(整体数据),然后开始将其切分为正确的分片。Amazon Glue作业的输出被馈送到这里的多个并行SageMaker训练作业中。所以,如果你注意到这里来自之前幻灯片的图表,这种情况是并行发生的,这允许GoSoft分而治之,缩短所需的总体时间。每个训练作业都会在S3上产生工件,包括模型、统计数据、一些回测结果(我将在后面介绍)和我们在这里看到的可解释性报告。
我想强调的是他们的推理架构。这与我们在训练架构中看到的没有太大区别。这个过程每周为GoSoft运行一次。同样,从左边开始,最后的基准数据(直到最后一周的数据、最后一天的销售数据)被卸载到S3。该数据再次由Step Function协调。Glue作业将这个庞大的数据切分成分片,然后我们使用SageMaker推理作业。并发作业的数量由Step Function控制,这使GoSoft每周能够在所需的SLA内为近10亿个商品-店铺对进行预测。我们利用了无服务器SageMaker推理作业的强大功能来分而治之,这样做的结果是将预测结果落在S3上,这些预测结果成为下一步的输入,进入补货周期。
这是我的最后一个主题,有点高级,请跟上。在这里我将讨论平衡供应困境。首先,我要强调没有完美的预测。因此,面对拥有过多或过少商品的困境,零售商倾向于拥有比需求稍多一些的商品。
假设对于某个特定的商品-店铺对,你回顾过去5天的期间。顺便说一下,这是回测数据。我应该介绍一下这是什么意思。回测数据是被隔离的数据——它不会被训练周期看到,但它确实存在于过去。因此,你知道过去的实际值,并且可以将其与未来的不确定预测值进行比较。我要强调,这是在盲目的情况下训练的,这是你的金丝雀。如果它表现良好,那么在世界上其他条件相同的情况下,这就是你未来预测可能如何的一个例子。
这种工作方式由SageMaker产品自动处理,如果你的预测范围是5天,它将保留5天。如果你有5周或5个月或任何你的预测范围,在这个金丝雀期间使用的时间也是相同的。
所以我们有幸回顾过去5个时期,客户实际购买所需的真实值是218件商品。这里的p50值,即概率为50%的值,换句话说,总计是189件。这意味着有50%的机会,189件商品就足够了,另一方面,这也意味着将会出现缺货。事实上,如果我们将其与这里的基准值进行比较,我们可以看到缺少约30件商品。因此,如果你是零售商,你将能够满足前189名买家,这就是你所拥有的全部,你将能够189次获利。
好的,除了p50之外,让我们看看一些更高的分位数,这里的想法是,这允许你做出明智的偏差,适当地增加库存以最小化缺货,但也要最小化多余库存。在p60这里,这意味着有60%的机会,208件商品就足够了,也有40%的机会会出现缺货,而这正是事实。所以我们缺少10件商品,我们越来越接近了。你将满足前208名买家。你将208次获利,但不会有任何剩余。
这个故事在p70这里继续。第一次,你可以看到我们的真实供应量228第一次超过了需求。这意味着你可以满足所有买家。没有人会遇到空架位或缺货。他们不必寻找替代品。这意味着你可以228次获利,而且对于你们公司来说,这可能非常重要。你在获利,而且还有这种无形的好处,就是满足了你的买家。
如果我们继续提高到p80、p90,至少对于这一个商品,我们所做的只是过度供应。因此,简而言之,我在这里要说的是,对于这个商品SKU1在位置A,正确的数字是p70,你可以使用这种偏差,这是基于过去的算法选择。通过这种方式,你可以避免手工编辑或判断性预测等需要大量时间的工作。我们认识到,客户必须对数千或数百万种商品执行此操作。
GoSoft使用了这种技术,我可以告诉你,这在一定程度上是Supchok博士将与你分享的一些成果的原因。我想在这里欢迎Seupchuk博士上台。
Seupchuk博士:大家下午好。有谁去过泰国?如果你有机会访问泰国,也许你就是我们的客户之一。我的名字是Ilovis,来自泰国GoSoft。我很荣幸也很兴奋能够分享我们使用SageMaker Canvas AutoML进行AI需求预测的经验。
在深入了解之前,让我简单介绍一下我们是谁以及我们的业务。我们来自CP集团 - CP集团是隶属于谦益集团的零售业务。你可能会认出左上角的7-Eleven标志。是的,我们在泰国拥有7-Eleven。GoSoft是CP集团成立的IT公司,作为集团的IT部门。我们需要为集团开发和运营IT能力。
CP集团不仅经营便利店 - 我们还有咖啡馆、准备食品、现金和运营、批发以及大卖场业务。现在让我分享一些关于我们在泰国业务的统计数据。我们在全国开设了15,000家7-Eleven便利店。我们目前还在邻近的柬埔寨和老挝经营7-Eleven。我们在泰国为客户提供超过20万种SKU商品。我们在全国拥有3,000万户家庭客户。因此,如果看一下这些数据,我们每天大约有3,000万客户和4,000万笔交易。你可以假设泰国每个家庭每天都会从我们这里购买某些东西,从技术上讲,这个庞大的工作量都落在我们身上。
在过去4年里,我们从EZ2X3和广告等基础领域,发展到更高级的个性化领域。当然,在COVID疫情期间,我们不得不关闭一些店铺以求生存。我们推出了7-Eleven外送应用程序,你可以在30分钟内从离你最近的7-Eleven订购商品。从那时起,7-Eleven外送成为我们的超级应用程序,提供个性化、数字优惠券和促销活动,我们还通过忠诚度计划的分析了解客户,以改善店铺运营。
店铺运营的一个关键环节是需求预测和补货。这对于所发生的情况也不例外。简而言之,店铺需求是根据历史数据自动生成的,然后店员需要手动审查和调整部分订单。通过这个订货周期和人工流程,每天需要花费约2小时,这意味着我们必须使用约8%的营业时间。从全国层面来看,每天需要3万个工时,这是一个很大的数字。
如果我们能够自动化这个流程,让店员专注于服务客户并提高客户满意度,那会怎样?在衡量标准方面,我们的项目有两个关键KPI - 库存过剩和缺货。库存过剩表示某种产品在当前库存中的持续时间。高库存过剩意味着你浪费了库存支出,你的产品可能会在售罄之前过期。第二个KPI缺货表示某种产品的库存不足。高缺货率可能导致销售机会损失,并可能影响客户满意度。
因此简而言之,需求预测和补货活动旨在通过降低这两个KPI,最大限度地提高店铺库存管理效率。这就是我们的动机。
现在让我们来看一下问题陈述。尽管我们已经在泰国开设7-Eleven多年,但每年都变得越来越复杂,尤其是在过去4年,工作量增加。这是手动完成的,需要花费约2小时,我们也遭受了库存过剩和缺货这两个KPI的影响。
为了解决这一挑战,我们希望简化补货活动,使其足够简单,以便我们可以随时进行,当然还要确保准确性。因此,我们创建了一个以自动化需求预测解决方案为重点的计划,我们希望它能够处理我们的海量数据并相当有效。
我们称之为AITK的这一计划,全称为人工智能Tambing Kali。Tambi Khali是日语中7-Eleven在日本开创的商品管理方法。这种方法通常会考虑每家店铺和每种商品的需求,而不是商品类别。因此,AITK的目的是利用人工智能和机器学习来协助这些店铺进行组合补货,通过最大限度提高预测准确性来满足KPI - 减少员工工作量、库存过剩和缺货。
我们每天要处理6TB的数据,所以我们需要每天处理这么多数据。在第一步数据收集中,我们采用了历史数据和相关数据,如特定店铺的现有库存。我们还拥有大量每周的促销和定价数据,以及20万种SKU商品信息,还有店铺特征数据,如店铺是否靠近学校或加油站。
在这一步之后,我们在SageMaker Canvas AutoML上进行了人工智能/机器学习试点,直到获得输出,即优化的预测模型。从那里,我们根据业务逻辑和订单自动化进行补货。
如前所述,我们在AITK计划背后利用了四项关键的亚马逊云科技服务。首先是Amazon Step Functions来编排流程,我们使用Amazon Glue进行数据处理 - 分段、分片和合并都在其中完成。我们将所有内容放在S3中。最重要的是,我们成功的关键在于使用SageMaker Canvas AutoML,它帮助我们自动化了数据准备、特征工程,并最终生成机器学习模型,为我们节省了大量开发工作。
好的,通过采用SageMaker Canvas,我们实现了预期的结果。第一个是实时补货,从120分钟缩短到1.5分钟,提高了95%。库存过剩降低了5%。缺货降低了40%,这是一个巨大的改进。
当我们能够自动化这个日常补货流程时,我们就可以让员工专注于服务客户,这就是我的分享内容。这个视频总结了GoSoft如何在需求预测解决方案中利用SageMaker,我将把时间交还给Ovishi。
Ovishi:非常感谢Sera博士从泰国远道而来,与我们分享这个了不起的成功案例。我想重申一下,GoSoft在补货活动时间上节省了95% - 从店员每天花费120分钟进行预测,现在缩短到1.5分钟。这意味着节省下来的时间可以用于改善客户体验和在店内服务客户。这是了不起的成就,我们很高兴能与GoSoft密切合作,实现这些成果。
现在,在结束之前,我想总结一下今天讨论的三个关键要点:
1)我们讨论了如何使用SageMaker Canvas加速机器学习,并在不编写任何代码的情况下将想法投入生产。
2)我们看到SageMaker Canvas如何帮助你在不编写任何代码且无需深入的机器学习经验的情况下构建高质量的机器学习模型。你不仅可以构建高质量的模型,还可以自信地将它们投入生产,并自动化训练和推理管道。
3)最后,我们看到了通过GoSoft的示例可以实现有形的业务成果。
我真的很期待看到你们将如何利用SageMaker Canvas进行创新,我也很想听听你们的反馈。非常感谢大家的参与。
最后,简要总结一下:
总之,亚马逊云科技 re:Invent 2024会议介绍了如何使用Amazon SageMaker Canvas加速基于生成式人工智能和无代码机器学习的创新。
关键点是:
1. SageMaker Canvas允许你在不编写任何代码的情况下进行端到端的机器学习,从数据准备到模型训练和部署,利用自动机器学习技术。
2. 它提供了可直接使用的机器学习模型,包括可以进行微调的基础模型,因此无需深入的机器学习专业知识也能构建高质量模型。
3. 在Canvas中完成的所有工作都可以导出为代码,并与数据科学家共享以进行审查、迭代和生产部署,从而实现协作。
4. 客户正在Canvas中使用模型,应用于预测、预测性维护、计算机视觉、自然语言处理,甚至生成式人工智能用例等多个领域。
5. 可视化界面允许连接多个数据源、大规模自动化数据准备,并获得数据质量洞见。
6. 详细的模型评估报告(包括可解释性)有助于为特定用例选择性能最佳的模型。
7. 模型可以部署用于批量或实时推理,并与Amazon QuickSight的运营分析集成。
8. 演示展示了为零售需求规划构建时间序列预测模型,优化库存水平。
9. GoSoft分享了他们的成功案例,在补货活动时间上节省了95%,库存过剩和缺货也显著降低,这都归功于使用SageMaker Canvas。
总的来说,SageMaker Canvas使机器学习在整个组织中民主化,加速了创新和人工智能/机器学习计划带来的有形业务价值实现。
我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出,企业要从 " 成本优化 " 转向 " 创新驱动 " ,通过完善的数据战略和 AI 云服务,把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在 AI 时代突破。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3090476/ ,如需转载,请注明出处,否则将追究法律责任。