关键字: [OpenSearch, Data Pipeline Troubleshooting, Opensearch Index Configuration, Document Count Mismatch, Wrong Date Format, Amazon CodeWhisperer Assistance]

本文字数: 400, 阅读完需: 2 分钟

导读

演讲者演示了如何利用 Amazon CodeWhisperer 解决 Go 语言中的数据管道问题, 该问题导致了不正确的数据输出。他们展示了如何在 OpenSearch 索引中计数文档, 识别导致文档被跳过的日期格式问题, 并通过在索引映射中配置”ignore_malformed” 来修复该问题。 该演示突出了 Amazon CodeWhisperer 如何弥补知识差距, 增强开发人员高效解决问题的能力。

演讲精华

作为一名数据工程师, 其职责是创建适当的数据管道, 以产生正确的数据, 从而使分析师能够顺利完成工作。在这个演示中, 将展示如何使用Amazon CodeWhisperer 来排查一个用Go 语言编写的管道产生错误数据的问题。首先尝试复制分析师发现的错误, 即计算存储在OpenSearch 中的文档数量。由于不知道如何做到这一点, 决定使用Amazon CodeWhisperer 寻求建议。Amazon CodeWhisperer 建议使用”GET index_name/_stats” 和”_count” 命令。运行该命令后, 发现OpenSearch 中当前存储了4,971 个文档, 而应该是5,000 个。

接下来, 运行自己编写的Go 代码, 以打印将要写入OpenSearch 的文档数量。结果显示, 从文件中读取了5,000 个文档, 但只有4,971 个写入了OpenSearch, 与之前的发现一致。通过初步调查, 发现部分电影的上映日期字段使用了错误的数据格式, 例如缺少年份, 比如电影”A Walk in the Clouds” 就使用了错误的日期格式。猜测OpenSearch 可能会跳过这些格式错误的文档。

于是, 再次求助于Amazon CodeWhisperer, 询问如何配置OpenSearch 索引以避免跳过错误日期格式的文档。Amazon CodeWhisperer 建议在索引映射中使用”ignore_malformed” 参数, 并将其设置为true 。按照建议操作, 删除了当前的映射, 并在新映射的上映日期字段中添加了该参数。随后, 在亚马逊云科技控制台中验证了这一信息, 并成功应用了新的映射配置。

然后, 重新运行Go 程序, 发现成功读取并写入了5,000 个文档。最后, 再次使用”GET index_name/_stats” 和”_count” 命令验证了OpenSearch 中确实存储了5,000 个文档, 证实问题已经解决。作为一名数据工程师, 需要依赖诸如Amazon CodeWhisperer 这样的工具来弥补自身知识的不足, 增强解决问题的能力。Amazon CodeWhisperer 能够为其提供专业领域的特定知识, 帮助其快速解决遇到的困难。

总结

在这个富有洞见的演示中, 一位数据工程师展现了如何利用 Amazon CodeWhisperer 来排查和解决用 Go 编写的数据管道中的问题。工程师最初发现 OpenSearch 索引中存储的文档数量与预期数量不符。在 Amazon CodeWhisperer 的指导下, 他们学会在索引映射中使用”ignore_malformed” 参数, 以防止跳过日期格式不正确的文档。通过实施这一解决方案, 工程师成功解决了问题, 确保所有 5,000 个文档都正确地被索引到 OpenSearch 中。

该演示彰显了 Amazon CodeWhisperer 等生成式人工智能工具的强大功能, 可以弥补知识差距, 增强开发人员高效解决复杂问题的能力。它强调了在故障排除场景中利用此类工具的重要性, 使数据工程师能够克服挑战, 确保数据管道的完整性。

最终, 该演示凸显了拥抱诸如 Amazon CodeWhisperer 等创新技术的价值, 这些技术可以赋予开发人员解决棘手问题的能力, 简化工作流程, 并在不断发展的数据工程领域中交付高质量的解决方案。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。