在工业设备故障诊断领域，针对燃气轮机运行监测数据中故障样本稀缺且与正常样本存在边界重叠的问题，论文《 Feature-level SMOTE: Augmenting fault samples in learnable feature space for imbalanced fault diagnosis of gas turbines》发表于期刊《Expert Systems With Applications》。该研究针对传统重采样技术在原始数据空间中容易引入重叠噪声的问题，提出了一种在可学习特征空间中进行少数类样本扩充的数据增强框架，通过结合深度孪生多头自注意力网络与合成少数类过采样技术，协同缓解类间不平衡与类别重叠问题。

一、问题背景与机制分析

在燃气轮机运行过程中，获取的实际监测数据往往存在两个典型的分布特征：

1. 类别不平衡：正常工况数据占据绝大部分比例，而故障样本极为有限。在常规分类模型的训练中，损失函数由多数类样本主导，容易导致模型倾向于将少数类故障样本判定为正常样本。

2. 类别间高度重叠：设备发生早期故障时，其性能退化表征与正常运行状态差异细微，在原始测量空间中，故障数据分布往往嵌入或紧邻正常数据分布。

针对不平衡问题，传统合成少数类过采样技术（SMOTE）通常直接在原始特征空间中通过近邻样本间的线性插值生成新样本。然而，当类别之间存在严重重叠时，直接在原始空间插值容易在重叠区域生成模糊样本，甚至将合成的故障样本置于正常样本密集的区域内，加剧分类边界的混淆。

图1：原始空间与特征空间下的样本分布及数据增强示意图

如图1所示，若直接在原始数据空间进行插值扩充，重叠区域中心的合成故障样本会挤占正常样本空间，而边界区域的故障样本仍易被误判；若先通过非线性映射拉开不同类别间的距离，再在可分离性良好的隐层特征空间中执行过采样，则能有效避免合成样本侵入正常类别的分布区域。

二、整体技术流程

该诊断框架主要包括状态参数提取与样本构建、空间映射、特征级数据增强以及故障分类四个环节。

图2：整体故障诊断框架流程

1.参数选择与样本预处理

为消除飞行环境温度与气压波动对监测参数的影响，原始传感器测量值首先需转换至海平面标准大气条件下的基准状态。由于稳态基准值反映了当前工况下的标准工况水平，研究选用测量转换值与基准值之间的偏差量作为状态表征，具体包括：

• 排气温度裕度

• 排气温度偏差

• 高压转子转速偏差

• 燃油流量偏差

针对多维时间序列数据，采用固定长度的滑动窗口从时间序列末端向前截取时段数据，构建结构化的样本矩阵。

2.三阶段诊断架构

• 第一阶段（空间映射）：构建基于多头自注意力机制的深度孪生网络，利用对比损失函数进行训练，将原始时序样本投影至具有类间分离特性的隐层特征空间。

• 第二阶段（特征级过采样）：在完成训练的特征空间内，针对少数类特征向量应用近邻插值生成合成特征，实现特征级别的类别平衡。

• 第三阶段（状态分类）：利用平衡后的特征数据集训练分类器，实现正常状态与典型故障类别的判别。

三、深度孪生多头自注意力网络与空间映射

为在数据增强前降低类别重叠度，论文设计了一种深度孪生多头自注意力网络（DSMHSA）。

图3：多头自注意力机制结构

1.特征提取网络结构

特征提取主干采用多头自注意力网络，由多层变换器编码层与线性输出层堆叠而成：

• 自注意力机制：将输入的时序矩阵经线性投影分别生成查询矩阵、键矩阵与值矩阵。通过计算查询与键的点积缩放矩阵，并经归一化指数函数处理得到注意力权重分布，进而对值矩阵进行加权求和，以自适应捕获时序信号中不同时间尺度的依赖关系。

• 多头拼接与残差连接：并行计算多个注意力头后进行拼接映射，并结合残差连接与层归一化操作，最终经线性层输出低维潜在特征表征。

2.基于对比损失的度量学习

孪生网络由两个权值共享的自注意力子网络构成，输入由两两样本组成的样本对，并通过对比损失函数进行约束：

• 同类样本对：当样本对来自同一类别时，损失函数惩罚两者特征表示之间的欧氏距离，促使同类样本在特征空间中紧密聚合。

• 异类样本对：当样本对来自不同类别时，损失函数引入预设的距离边距阈值，当异类特征之间的欧氏距离小于该阈值时施加惩罚，促使不同类别样本在特征空间中相互推离，直至距离超出预设边距。

在训练样本对构建上，针对多数类采用近邻配对控制样本对数量，而针对样本极少的故障类，则通过遍历配对以强化同类内部的聚集性以及异类之间的排斥约束。

四、特征级SMOTE与分类识别

经过空间映射后，不同类别样本在潜在特征空间中形成了边界清晰的分布簇。此时，数据增强转入特征层面进行：

1. 潜在特征近邻插值：对每个少数类样本的潜在特征表示，在其同类近邻集合中随机选择近邻特征向量。

2. 特征向量合成：在样本特征与其近邻特征所构成的连线上进行随机线性插值，合成新的潜在特征向量。

3. 数据集重构与分类：重复插值过程直至各类特征样本数量达到平衡。将合成特征向量与原始特征向量合并后，输入至全连接分类器中进行训练，完成燃气轮机不同健康状态的分类输出。

该技术方案的核心在于改变了过采样的发生空间：先通过度量学习在潜在空间中强制实现类间分离，在几何分布规范的特征流形上实施合成操作，从机制上排除了在重叠边界盲目插值所引入的标签歧义与边界模糊问题。

参考文献

Feature-level SMOTE: Augmenting fault samples in learnable feature space for imbalanced fault diagnosis of gas turbines. Expert Systems with Applications. 2024 Mar 15;238:122023.

https://www.sciencedirect.com/science/article/pii/S0957417423025253