点关注，不迷路，用心整理每一篇算法干货~

后台回复“星球”加入圆圆算法知识星球~

（已有1100+同学加入学习）

在大模型领域中，为了用参数量换取模型性能收益，一般会采用稀疏MoE的结构，通过多个专家网络的引入扩大模型参数量，同时每次强制激活少量专家尽量节省计算开销，实现了高效率的模型参数的scaling up。在时间序列领域，稀疏MoE的建模范式也是今年的研究重点。这篇文章给家汇总最近1年时间序列建模中采用的MoE建模方案。

1

普林斯顿：Time-MoE

Time-MoE是普林斯顿大学提出的基于稀疏Sparse的时间序列大模型，基本借鉴了LLM中稀疏MoE的方式，增加模型参数量的同时尽量减少计算量。

Time-MoE主要包括4个核心模块：输入Embedding处理、MoE结构、多分辨率建模、训练数据和优化目标。

Time-MoE采用了点维度的Embedding生成方法。时间序列中的每个数据点，通过SwiGLU生成Embedding。在MoE结构上，Time-MoE采用MoE的结构构建稀疏网络。整体模型结构是一个Decoder-only的生成式Transfomrer结构。将每一个FFN层替换成一个MoE网络，实现这部分的稀疏结构，这也是语言模型中的一种稀疏化方法的引入。每个时间序列数据点会根据一个router进行各个专家的选择，找到相应FFN子网络进行前向传播。

在多分辨率建模上，Time-MoE使用多个不同的输出头，每个输出头对应一个分辨率的预测结果，实现多分辨率的同时预测。

在训练过程中，文中构建了包括300billion的时间序列样本点的数据集。损失函数使用Huber loss，这是一种MSE和MAE的融合体，用来缓解MAE对于异常点的敏感性。同时，为了防止MoE的门权重都集中在少量专家上，引入复杂均衡的损失函数，控制各个门的样本点分配比例，防止赢者通吃现象的发生。

2

Salesforce：Moirai-MoE

Moirai-MoE对基础版本的Moirai时序基础模型进行了改进，不使用多个启发式定义的输入/输出投影层来对具有不同频率的时间序列进行建模，而是使用单个输入/输出投影层，同时将捕获不同时间序列模式的任务委托给Transformer中的稀疏混合专家。此外，Moirai-MoE提出了一种新型的利用预训练模型中知识的门控函数，并采用自回归的训练目标来提高训练效率。

Moirai-MoE采用patching技术将时间序列输入切成没有重叠的小块，而后对每个patch进行标准化来缓解分布迁移的问题。为了在自回归模型中获取准确、鲁棒的标准化统计值，文中使用掩蔽率r作为超参数，指定整个序列中专门用于正则化器计算的部分，不对这些patch计算预测损失。最后，一个输入投影层来负责把patch投影到和Transformer一样的维度，生成时序token。

通过用MoE层替换Transformer的每个FFN来建立专家混合层。该MoE层由M个专家网络和一个门控函数G组成。每个token只激活一个专家子集，从而允许专家专注于不同模式的时间序列数据并确保计算效率。在Moirai-MoE中，作者探索了不同的门控函数。首先使用的是最流行的线性投影门控函数，它通过一个线性层来生成专家子集的分配结果。此外，作者提出了一种新的门控机制，利用从预训练模型的token表示中得出的聚类中心来指导专家分配。这一方法的动机是，与随机初始化的线性投影层相比，预训练token表示的聚类更接近数据的真实分布，可以更有效地实现模型专业化。

3

理想：MoFE-Time

MoFE-Time以Time-MoE为基座，对其中的多个结构进行改进，其中一个核心是直接在MoE中引入了频域信息的建模。

在时间序列输入处理上，基本沿用了Time-MoE中的point-wise embedding的生成方式，区别在于会使用一个可学习的权重来平衡原始序列经过线性映射的表征和经过线性映射+Swish的非线性表征，并在此基础上引入一个感受野为3的卷积网络提取每个时间步的周边上下文信息。

在MoE的结构上，增加了一个频域建模的分支，这个分支包含多个Expert，每个Expert对应多个维度，每个维度代表文中希望让每个Expert学到的谐波，同时将各个Expert的权重视为每个频率成分的振幅，对于频域分支的各个Expert各个谐波输出结果进行加权求和并还原到频域。最终使用时域和频域两部分特征拼接作为这一层的最终结果。

4

华为：ADA-MOGE

已有的MoE建模方法中，激活的专家数量是固定的。然而在时间序列场景，时间序列的非平稳性导致其频域和时域统计信号是随时间发生变化的，每次都激活相同数量的专家并不是最优解。如果激活专家太少，一些重要的频域信息无法得到捕捉；激活的专家太多，又会引入噪声问题。

为了解决上述问题，华为的Ada-MoGE方案提出了激活专家个数的个性化建模方案。文中对输入的多变量时间序列进行两个关键信息提取。第一个是将时间序列转换到频域后，对所有变量的各个频域成分进行求和，根据这个值选择在频域视角下，多变量序列整体最主要的成分是什么。第二个是对每个变量映射到频域后，求这个变量内部所有频率的振幅除以最大频率对应的振幅，用这个值衡量每个变量是平稳性的还是高度季节性的。上述两部分信息作为特征，经过MLP后得到的结果作为要激活的专家的个数。

在此基础上，文中引入高斯带通滤波器进行频域特征分组和过滤，将高于或低于阈值的频域信息过滤掉，并根据带通滤波器将各个频域进行分解，每个Expert专注于一种信息密度的频域信号学习。