关键字: [ 亚马逊云科技中国峰会2024, OpenSearch, 时序数据异常检测, 单变量异常监测, 多变量异常检测, 周期数据断档, 异常分类识别]

本文字数: 900, 阅读完需: 4 分钟

导读

林翔在亚马逊云科技中国峰会2024 上发表了” 借助OpenSearch 实现异常检测” 的演讲。在这个演讲中, 他讨论了什么是异常检测, 如何实现异常检测, 并用OpenSearch 进行异常检测的示例。演讲重点介绍了OpenSearch 如何实现检测单变量异常( 如CPU 或内存突然峰值) 、周期数据断档以及分类异常等情况, 帮助发现系统监控和关键业务中的异常, 从而提高系统稳定性。

演讲精华

以下是小编为您整理的本次演讲的精华，共600 字，阅读时间大约是3 分钟。

在这场题为” 借助OpenSearch 实现异常检测” 的演讲中, 亚马逊云科技的林翔先生向我们阐释了什么是异常检测, 如何利用OpenSearch 来实现异常检测, 并分享了一个实际案例。

林翔先生首先解释了异常的定义, 异常指的是与常规数据或模式相悖的情况, 可分为单变量异常和多变量多维度异常两种类型。单变量异常可能表现为时序列中的尖刺, 即数据突然出现异常值; 周期性数据的中断, 即数据采集过程中出现断层; 多变量多维度异常则可能表现为无法归类的数据点, 即该数据点与任何已知类别都不相符。这些都是典型的异常情况。

接着, 林翔先生分享了一个客户案例。该客户提供了一些环境监测数据, 包括PM2.5 、PM10 、TSP 等指标, 但无法判断这些数据是否真实或被人为修改过。由于缺乏判断规则和正常数据模式, 客户希望通过机器学习或人工智能算法来识别异常数据。最初, 他们尝试使用具有多模态能力的大型语言模型来分析数据图像, 将客户提供的Excel 数据汇总成图像后丢给大模型进行分析, 但该模型认为数据正常, 没有发现异常, 这与人眼所见存在差异。

经过研究, 他们发现亚马逊云科技的OpenSearch 原生支持异常检测功能。OpenSearch 无需任何先验知识, 可根据历史记录自动适配算法模型, 对实时数据进行近乎实时的异常检测。林翔先生展示了一个示例, 其中OpenSearch 检测到网站或应用程序的错误率异常峰值, 并给出了较高的异常等级和置信度评分, 置信度接近1 。这种方式无需提前定义正常和异常数据的模式, 只需配置好检测指标和逻辑( 如按平均值或计数),OpenSearch 就可以使用内置的随机森林算法自动发现异常点。

林翔先生进一步解释说, 虽然大型语言模型在文本相关领域表现出色, 但对于一些特殊场景, 我们仍需借助经典的机器学习算法, 如OpenSearch 中的异常检测功能。大模型目前更擅长于文本的生成、总结或提取等任务, 而对于异常检测这类问题, 传统机器学习算法可能更有效。

通过这场演讲, 我们了解到异常检测的重要性及其在实际应用中的作用。OpenSearch 提供了一种无需人工标注的自动异常检测方法, 可以有效发现数据中的异常情况, 为数据分析提供有力支持。无论是环境监测、系统监控还是其他领域, 异常检测都是一项关键的数据处理能力, 有助于及时发现问题、保障业务连续性。

下面是一些演讲现场的精彩瞬间：

演讲者正在解释什么是异常检测, 为观众揭开了这一重要概念的面纱。

亚马逊云科技中国峰会2024 上, 林翔先生开场介绍了他将讲解时序数据异常检测的主题内容。

演讲者举例说明了在系统监控中可能会出现CPU 或内存使用率突然峰值的情况, 这种异常可能源于业务流量突然升高或系统出现问题。

演讲者强调了避免周期数据断档的重要性, 因为数据丢失可能会对关键核心业务系统造成严重影响。

演讲者阐述了在机器学习分类任务中遇到的一种异常情况, 即某些样本与任何类别都不相似。

亚马逊云科技中国峰会2024 上, 演讲者分享了一个客户案例, 客户需要处理来自环境监测设备的时序数据, 包括PM2.5 、PM10 和TSP 等指标。

总结

在当今数字时代, 异常检测已成为确保系统稳定运行和保护关键业务的关键任务。借助 OpenSearch 的强大功能, 我们可以轻松实现高效的异常检测, 及时发现和应对潜在问题。

异常检测的核心在于识别偏离常规模式的数据点或趋势。这可能表现为时序数据中的尖峰、周期性中断或无法归类的离群值。无论是系统监控中的 CPU 或内存峰值, 还是环境传感器数据中的异常读数, 及时发现和处理异常对于维护业务连续性至关重要。

OpenSearch 提供了灵活的数据索引、搜索和可视化功能, 使我们能够轻松构建自定义异常检测解决方案。通过对历史数据建模并设置适当的阈值, 我们可以实时监控传入数据, 快速识别异常并触发相应的警报和响应措施。

无论您是在管理复杂的系统基础架构还是处理环境监测数据,OpenSearch 都是实现高效异常检测的理想选择。通过利用其强大的数据处理和分析能力, 我们可以确保业务的稳定性和持续性, 为数字化转型之路铺平道路。让我们一起探索 OpenSearch 的无限可能, 共同打造更加智能、高效和可靠的数据驱动解决方案。

2024 年 5 月 29 日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。