IBM 的新基础模型 TSPulse 能够超越标准预测任务，检测异常、填补缺失值、对数据进行分类以及搜索重复模式。它还足够小，可以在笔记本电脑上运行。

基础模型提供了一种强大的新方法来分析历史数据以预测未来，无论是估计网络能否承受峰值需求，还是公司能否达到月度销售目标。

然而，历史数据所蕴含的洞见远不止于预测。IBM 的新时间序列基础模型 TSPulse 正是为此而设计。它能够识别时间序列中的异常事件、填补缺失值、将数据分类到不同类别，并提取出相似的模式。在该领域领先的基准测试中，它的准确率超过了比它大 10 到 100 倍的模型。

TSPulse 拥有 100 万参数，是 IBM 轻量高性能时间序列基础模型家族的最新成员，与 IBM 的 Tiny Time Mixers 预测专家模型形成互补。其他领先的时间序列模型基于 Transformer（深度学习中的注意力模型架构），而 TSPulse 则使用 IBM 早期的 TSMixer 架构作为骨干，交替使用多层感知机模块和选择性“门控”注意力模块。

这种超高效的混合架构使 TSPulse 能够轻松调优，并部署在像笔记本电脑这样小的设备上，无需任何专用硬件。IBM 研究人员还内置了多项新功能，帮助模型从时间序列数据中提取更多信息，以提升其通用性。

这些创新包括识别时间序列中复杂模式的能力，使 TSPulse 能够捕捉到细微的、更零散的信号，以及从时间序列的宏观视角或更近距离视角最容易发现的信号。

统计模型一直是人们从历史数据中挖掘洞见的主要方式。但在原始时间序列数据上预训练的基础模型正在迅速缩小差距。

在异常检测领域的领先学术基准 TSB-AD 上，TSPulse 在两个类别中都优于最先进的方法，比强大的统计模型高出 24%，比各种更大的基础模型至少高出 33%。（TSPulse 的结果报告在一篇正在同行评审的论文中）。

视频：介绍 TS Pulse，一个超越预测任务的微型时间序列模型。在 YouTube 上观看。

从多个角度表示时间序列

掩码重建已成为基础模型的默认训练方案——无论原始数据是文字、像素还是按时间排列的数值。模型被给定一个部分被遮挡的数据集，任务是填补空白使其完整。在完成拼图的过程中，模型学习到数据的底层结构，从而提升其后续的泛化能力。

IBM 研究人员使用掩码重建来教 TSPulse 填补原始训练数据中缺失的时间步值，与其他基础模型的训练方式相同。但研究人员改变了掩码技术，以教模型从不同角度解读数据。

利用快速傅里叶变换（FFT）算法，他们将时间序列训练数据转换到频域，并让模型也填补缺失的频率值，本质上教会它从两个视角看待任意给定的时间步：时间和频率。随后，他们将这两种视角投影并融合为一种称为嵌入（embedding）的数值表示。

应用于整个数据集时，这些混合嵌入有助于让不同的趋势凸显出来。如果把时间序列比作一首歌，时间可以被视为它的“节拍”，而频率则是它的“韵律”。

“突发尖峰在时域中更容易检测，而更微妙的周期性模式在频域中更容易看出，”专注于 AI 时间序列分析的 IBM 研究员 Vijay Ekambaram 说。“由于模型捕获并整合了这些互补信息，它可以学到更好的表示。”

研究人员为掩码重建任务引入了第二个变化。他们改变了隐藏片段的长度，交替移除时间序列中的长片段和短片段。这一次，他们的目标是教会模型在互补尺度上填补缺失值——既能从鸟瞰视角，也能从虫瞰视角识别模式。

“想象你正在通过挖空段落中的整个单词和单个字母来帮助学生备考，”Ekambaram 说。“每种掩码方式都教会大脑填补不同种类的缺失信息。”

当任务需要筛除噪声数据时，对数据的高层次理解可能很有用，例如将数据分组为逻辑类别或筛选出看起来相似的数据片段。当任务涉及填补序列中缺失的单个值或检测细微异常时，对数据的细粒度理解可能很有用。

每个时间片段的全局和局部视图，连同其嵌入的频率信息，随后被投影为一对嵌入：一个表示高层次视图，另一个表示细节视图。在推理时，模型可以调用与当前任务最相关的表示。

“模型同时学习高层和低层特征，”Ekambaram 说。“结合已经整合的频率信息，奇迹就在此时发生。”

通用时间序列模型

该模型最大的优势在于，它既能理解一组历史事件的全局含义，也能锁定可能值得注意的局部信号。TSPulse 会根据任务在这些相互竞争的视角之间切换。对于分类任务或搜索重复模式时，它选择摘要视图；对于填补缺失值或识别细微异常时，它选择细节视图。

TSPulse 还包含若干任务特定功能，以提高其在推理时的准确性。为了检测多种类型的异常，它有三个专门流程（称为“heads”），在输出答案之前检查模型的工作。

一个 head 处理时间重建；另一个处理频率重建；第三个处理短时程预测。在推理时，将每个 head 的原始信号与其预测信号进行比较，以计算异常分数。模型随后输出三者组合后的答案。

“每个注意力头能捕捉不同类型的问题，”Ekambaram 说。“当它们组合在一起时，就能覆盖盲区，并在更广泛的异常范围内提升检测能力。”

TSPulse 还配备了一个轻量级模块，可在微调期间添加，以提升其在其他任务上的准确率。这个针对特定任务的“透镜”本质上放大了给定应用中最相关的数据。“这就像为每个任务给模型配了一副定制眼镜，让它能准确看到自己需要看的东西，”Ekambaram 说。“阅读细小字体时，你可能需要放大镜；看远处物体时，可能需要双筒望远镜；在不同光照条件下，则可能需要有色眼镜。”

借助这个针对特定任务的透镜，TSPulse 在分类任务上比更大的最先进模型高出 5% 到 16%。在填补天气和用电基准数据集中缺失值方面，它的表现甚至更好。TSPulse 比次优的基础模型以及统计模型高出 50% 以上。

小模型优先

由于统计模型仍然是分析历史数据的首选方式，IBM 几年前在设计其首批时间序列基础模型时，将效率作为首要目标。企业可以在笔记本电脑上运行这些早期预测模型。借助 TSPulse，他们仍然可以做到这一点——而且现在他们拥有了解决更多类型问题的工具。

研究人员目前正准备将 TSPulse 集成到 IBM 的 IT 和行业自动化应用中，以帮助完成从实物资产管理到 IT 运维等一系列任务。

“许多企业运行着昂贵的机器，产生的传感器数据多到他们不知道该如何处理，”IBM Research AI 应用总监 Jayant Kalagnanam 说。“TSPulse 让他们能够搜索这些数据，识别当前可能看到的模式，并将这些模式与过去的故障联系起来，从而避免类似问题。”

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/tspulse-time-series-ai-model