导读

探索Amazon Q Developer的人工智能驱动功能如何简化亚马逊云科技服务之间的数据集成，包括Amazon Glue、Amazon SageMaker Catalog、Amazon Redshift、Amazon SageMaker AI等。了解数据工程师和ETL开发人员如何通过Amazon SageMaker Unified Studio中直观的聊天界面，使用自然语言构建复杂作业、排除故障和探索数据。参加本次会议，了解Amazon Q Developer如何提高生产力并加速工作流程，从而改变您处理数据集成的方式。

演讲精华

以下是小编为您整理的本次演讲的精华。

在引人入胜的演讲中，Whippin Mohan通过一系列民意调查来了解观众的角色和专业知识。大约四分之一的与会者认定自己是数据工程师或数据分析师，专注于解读数据，利用统计工具和可视化技术来发现见解。一小部分但同样宝贵的是数据管理员，他们的主要关注点是治理、质量和一致性，充当技术团队和业务用户之间的桥梁，确保组织数据资产的适当管理、维护和合规利用。此外，还有一些与会者是数据科学家或机器学习科学家，致力于开发和优化模型以实现机器学习，通过研究推进组织的技术。值得注意的是，大约三分之一的与会者是应用程序开发人员，专注于构建利用生成式人工智能模型创建动态文本、图像或视频内容的应用程序，将人工智能功能集成到他们的业务中，为最终客户提供价值。

Mohan深入探讨了客户面临的挑战，强调问题不在于缺乏技术资源，而在于无法在海量信息中快速找到所需资源。新成员加入组织时，通常需要熟悉现有数据资产的复杂架构，这可能涉及多个表或列，而这些实体之间的关系可能模糊或定义不清，从而降低用户有效入职的速度。

从治理的角度来看，保护敏感数据免受未经授权的访问，同时确保隐私和维护数据实用性仍然是一个持续的挑战。确保遵守内部和外部法规，持续监控并适应新的合规性要求也是一个重大障碍。

Mohan强调，必须改善传统的构建体验，因为目前开发人员需要花费大量时间编写数千行代码和调试，这一过程阻碍了生产力，并且经常使开发人员陷入重复性任务，如配置基础设施或重构代码。这种缓慢且容易出错的周期最终扼杀了创新，阻碍了开发人员构建创新应用程序的愿景。追溯错误的根源往往需要分析来自日志、流、监控跟踪甚至用户反馈的大量数据，进一步加剧了挑战。

Mohan解释说，Amazon Q Developer是一款人工智能驱动的助手，可以简化复杂的数据任务，如理解架构和查询优化，从而减少开发时间并加快项目交付。它与各种亚马逊云科技服务和工具、数据库无缝集成，并确保在各种云环境中的兼容性和易于部署。Amazon Q Developer可以加快代码编写、调试、测试、优化，甚至升级代码的速度，协助开发人员和IT团队创建和维护安全、可扩展且高度可用的应用程序。

在SageMaker Unified Studio中，Mohan演示了Amazon Q如何帮助用户设置项目和理解数据资产。在一个场景中，用户想了解SageMaker Unified Studio是什么，Q提供了一个简洁的总结。当用户询问域和项目以及如何设置它们时，Q根据最佳可用响应提供了一个快速总结，包括相关文档的指针。

Mohan强调SageMaker Catalogue通过生成式人工智能增强数据发现的能力，自动为数据丰富描述、元数据和业务术语词汇表，使用户更容易从现有资产中找到相关信息。数据消费者和生产者可以利用自然语言和语义搜索来发现最相关的数据集，满足他们的使用案例。

在一个令人信服的演示中，Mohan展示了用户如何通过点击“生成描述”按钮为数据集生成描述。几秒钟内，人工智能的魔力就生成了数据集的摘要，用户可以查看、根据需要编辑，然后接受。Mohan强调，这种功能开箱即用，无需训练。

为了说明Q在数据发现方面的强大功能，Mohan提出了一个场景，新成员Elsa作为数据分析师加入了SageMaker Unified Studio中的一个项目。Elsa想了解可用的数据集，开始分析一个特定的数据集。然而，仅凭原始数据和架构，她很难理解内容。通过调用Q并询问“哪些数据集包含支票账户余额数据?”，Q解释了查询，执行了适当的API调用，并直接在聊天界面中返回了相关数据集。兴奋于结果，Elsa寻求更具体的信息，询问“哪些数据集包含贷款状态信息?”Q扫描了可用的元数据并提供了所需信息，使Elsa能够快速缩小相关数据集的范围。

Mohan揭开了层层面纱，解释说当Elsa要求在业务数据目录中搜索数据集时，她的提示被Q界面消费并动态路由到最合适的后端系统。响应是仅使用与Elsa用户账户相关的权限创建的，确保了安全和安全的数据访问，同时考虑了与她相关的上下文。

转移到SQL查询，Mohan演示了Q如何通过根据自然语言输入提供SQL建议来提高生产力并简化查询编写。在一个场景中，SQL新手Andrew是一名本科实习生，他导航到查询编辑器并看到了他可以访问的表。通过调用Q并询问“向我展示来自贷款表的数据”，Q为Andrew生成了一个SQL查询，他可以直接开始查询而无需进一步努力。

受到初步成功的鼓舞，Andrew希望运行一个更复杂的查询，询问“为所有处于活跃状态的贷款客户，向我展示客户名称和支票账户余额”。这个查询涉及查询三个不同的数据集，Andrew对此知之甚少，并且需要执行连接语句来检索相关列和数据。令人惊讶的是，Andrew所需要做的就是用自然语言提出问题，Q就会为他提供一个包含适当连接条件和语句的SQL查询，他可以直接执行。

意识到Andrew对更多信息的渴望，Mohan演示了Q的多回合功能。当Andrew询问“你能为该查询添加总投资账户余额吗?”时，Q记住了之前的问题并相应地修改了查询，添加了一个左连接以包含所请求的信息。

Mohan强调，Q在SageMaker Unified Studio中生成SQL，简化了工作流程，增强了协作，并确保组织能够安全高效地利用其数据。

接下来，Mohit Saksena登台讨论了Amazon Q在SageMaker Data Processing中为Apache Spark提供的生成式人工智能功能。他首先介绍了SageMaker Data Processing with Apache Spark，它提供了一个统一的体验，由性能优化的Apache Spark运行时驱动Amazon Glue和Amazon EMR。Amazon Glue为任何规模的数据发现、准备和集成提供了无缝体验，而由同一优化的Spark运行时驱动的Amazon EMR允许客户执行PB级数据分析并在EC2、EKS和无服务器模式下运行大数据工作负载。现在，客户可以通过SageMaker Data Processing在Amazon SageMaker Lake House中受益于细粒度访问控制。

Saksena强调了Apache Spark两个主要功能，使其成为当今受欢迎的数据处理引擎之一:大规模分布式并行执行大数据工作负载，以及灵活的编程接口。在内部，Glue和EMR都通过允许客户并发运行多个数据并行作业来管理Apache Spark应用程序，每个作业被划分为阶段，进一步细分为在Amazon S3或数据仓库中的数据集并发分区上运行的任务。虽然这种并行性和分布式基础设施对于数据工程师和开发人员来说是通过服务API和基础设施管理进行抽象的，但客户经常报告在他们的应用程序执行的不同点以及应用程序生命周期中理解分布式执行的挑战。

Spark的第二个强大功能是它的编程接口，允许用户根据自己的喜好混合使用SQL(一种声明式语言)和Python(一种命令式语言)。Saksena举了一个简单的ETL DAG的例子，用户希望从Snowflake读取数据，应用SQL转换，并将数据写入Amazon Redshift。这个DAG转化为大约25行Spark代码，展示了Apache Spark编程接口的表现力。然而，虽然这种编程语言的混合对开发人员有利，但对于低代码或无代码用户来说可能不太直观。

Spark还允许用户指定大量配置选项，在连接不同源时提供了灵活性，但在迁移应用程序到不同Spark版本时引入了挑战，因为配置及其默认值可能会发生变化，并且可能会引入新的配置。

Spark的第三个能力是延迟评估其操作，在写入数据之前，读取数据、应用转换或写入数据的代码都不会执行。虽然这使Spark的性能非常高，但由于异步执行，即使是经验丰富的Spark开发人员也很难识别发生故障的代码行，从而使故障排查变得具有挑战性。

为了解决这些挑战，Saksena在2024年推出了三项新功能:

1.           通过从自然语言提示生成可视化ETL DAG和Spark代码，简化Apache Spark应用程序的构建过程。该功能使用先进的最新模型、Amazon Glue的知识库和新的编译器技术为用户生成可视化DAG和编译Spark代码。仅在2024年，Amazon Q就帮助了全球数万名用户解决了超过10万个与数据集成相关的问题。该功能还支持上下文感知，允许用户表达诸如“创建一个Glue脚本，从S3存储桶X读取文件，将列A重命名为列B，并将其写入Redshift数据库Y”之类的提示，系统会自动将提示中的上下文转移到生成的DAG和Spark代码中。用户还可以通过多轮对话与Amazon Q进行交互，以迭代构建和完善他们的管道。

2.           通过提供Spark作业失败的即时根本原因分析和可操作的建议，简化故障排查体验。该功能将平均解决时间从几天缩短到几分钟，解决了诸如内存不足异常和磁盘空间不足等复杂错误，这些错误往往很难诊断。对于常见的问题，如资源设置或配置错误，它可以识别发生错误的代码行。

3.           通过使用生成式AI自动化版本升级过程，实现Spark应用程序的现代化和升级。该功能检查Spark代码和配置，识别发生了向后不兼容的更改或配置更改的位置，并消除了手动识别和更新这些更改的工作。它还在测试沙箱环境中验证了更新后的Spark应用程序，然后客户可以审查并将更改应用到生产环境中。

Saksena通过现场示例演示了这些功能，展示了Amazon Q如何从自然语言提示生成Spark代码、通过隔离根本原因和代码行来排查错误，以及在处理配置更改和API更新的同时升级Spark版本。

在一个引人注目的用例中，用户使用一个简单的自然语言提示表达了他们将SageMaker Lake House目录中的“venue”和“events”两个表连接的意图。Amazon Q生成了整个管道，捕获了提示中嵌入的上下文，如表名和列名，作为每个节点的属性。然后，用户可以使用多轮对话添加一个新的过滤器转换，Q会自动使用请求的过滤条件更新管道。当用户想要使用新格式和S3存储桶位置更新S3同步节点时，他们可以与Amazon Q对话，它会更新相应的属性。在幕后，整个DAG的Spark代码都会自动生成，用户可以执行并预览数据输出。

Saksena还演示了如何通过Amazon Glue上的聊天控制台或开发人员的笔记本，以注释的形式表达提示，从而在同一自然语言提示上执行Amazon Q并实现自动代码补全。

在另一个示例中，Saksena展示了Amazon Q如何为Spark作业失败提供即时根本原因分析。当用户在执行从S3存储桶读取数据并应用过滤器转换的作业时遇到错误，他们只需点击“故障排查分析”。Amazon Q识别出根本原因是S3存储桶名称错误，并指出发生错误的代码行，使用户能够快速修复问题并成功重新执行作业。

Saksena接着演示了Amazon Q如何自动化Spark版本升级过程。在示例中，用户希望将应用程序从运行在Spark 2.4.3和Python 3.7上的Amazon Glue 2.0版本升级到运行在Spark 3.3.0和Python 3.10上的Glue 4.0版本 - 对Python和Spark都是主要版本的变更。用户启动了升级分析，指示系统检查代码，在一个S3路径中提供升级摘要，在另一个S3路径中提供升级后的脚本。

在幕后，Amazon Q使用程序分析和生成式AI技术相结合，制定了一个迁移计划。它经历了五次尝试，每次解决升级过程中的一个错误，这些错误源于向后不兼容的API或方法签名更改或配置更改。这个过程发生在测试沙箱环境中，一旦Amazon Q解决了所有错误，它就成功将应用程序升级到了Glue 4.0版本和Spark 3.3.0。

升级摘要列出了应用的所有迁移规则，包括两个SQL配置更改、一个方法数据更改、一个方法计数的方法签名名称更改，以及两个Spark版本之间的十进制类型精度更改。用户可以检查代码差异，以审查升级过程中所做的更改。

Saksena最后强调，这一功能建立在亚马逊云科技上发生的数百万次Spark应用程序升级的基础之上，使用了相同的知识库。在接下来的几个月里，亚马逊云科技将改进这一功能背后的程序分析技术和AI模型，以覆盖更多种类的Spark版本，并将其扩展到Amazon Glue之外的服务。

总之，2024年亚马逊云科技 re:Invent活动展示了由生成式AI驱动的数据集成和治理领域的突破性进展。Amazon Q Developer和SageMaker Unified Studio旨在简化复杂的数据任务、提高生产力、加快项目交付，并自动化数据集成和治理生命周期的各个方面。凭借这些创新解决方案，亚马逊云科技使构建者能够克服挑战，实现更快的创新，并在数据和人工智能领域开启新的可能性。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。