ITPub博客

首页 > 人工智能 > 机器学习 > 深度指数激励网络:面向微弱故障诊断的更强注意力机制

深度指数激励网络:面向微弱故障诊断的更强注意力机制

原创 机器学习 作者:residual2018 时间:2026-11-07 11:37:57 0 删除 编辑

在机械装备关键零部件的健康监测中,微弱故障引起的信号变化往往幅度较小且易被环境噪声淹没,给状态识别带来了困难。发表在学术期刊《Structural Health Monitoring》上的论文《Deep exponential excitation networks: toward stronger attention mechanism for weak fault diagnosis》(深度指数激励网络:面向微弱故障诊断的更强注意力机制)针对这一问题展开了深入探讨。该研究在通道注意力机制中引入指数函数,构建了深度指数激励网络,旨在通过自适应调节通道特征权重,增强网络对微弱故障特征的挖掘与表征能力。

一、传统通道注意力机制的基本原理

通道注意力机制常用于卷积神经网络中,通过建立各通道之间的相关性模型,自动分配特征权重,从而抑制背景干扰并突出重要特征。

图1 传统注意力机制结构示意图

传统通道注意力机制主要包含以下技术步骤:

  1. 通道信息压缩(Squeeze):输入特征图首先经过全局平均池化层,将每个通道的空间或序列维度信息压缩为一个标量描述子,从而整合各通道的全局上下文信息。

  2. 通道相关性学习:将压缩后的通道描述子输入由两层全连接层和非线性激活函数构成的网络分支中,用于自适应建模通道之间的依赖关系。

  3. 权重归一化(Excitation):采用Sigmoid激活函数对全连接层的输出进行映射,生成取值介于零到一之间的通道权重。

  4. 特征重校准:将生成的通道权重与原输入特征图逐通道相乘,完成对特征图的加权重新标定。

二、指数激励模块(EEB)的设计与实现

在微弱故障初期,故障特征在特征图中的响应相对微弱。为进一步增大重要特征通道的激励幅度,研究提出了指数激励模块。该模块将指数函数引入注意力加权机制,形成了具有更大权重上限和更宽权重动态范围的激励结构。

图2 指数激励模块结构示意图

指数激励模块的具体技术实现步骤如下:

  1. 局部特征提取与变换:输入特征首先通过卷积层、批量归一化层以及激活函数进行基础特征映射。

  2. 全局上下文聚合:通过全局平均池化操作汇集各通道的信息,生成通道级别的特征描述。

  3. 通道依赖性建模:利用双层全连接网络提取通道间的相互依赖关系。

  4. 多样化标定(Scaler):全连接层的输出输入至标定层。研究设计并对比了三种标定映射方式,即双曲正切函数(Tanh)、双曲正切绝对值函数(|Tanh|)以及Sigmoid函数,用于调节进入指数层前的特征基准。

  5. 指数非线性放大:将标定后的通道权重输入以自然常数为底的指数函数中进行非线性变换,生成指数激励权重。由于指数函数具有单调递增性与良好的可导性,不仅便于反向传播更新梯度,还能赋予特征更大的加权系数。

  6. 特征重标定与残差连接:将指数激励权重与原始变换后的特征图进行逐通道乘法运算,随后通过恒等残差分支与输入特征图逐点相加,输出该模块的最终特征图。

图3 不同激励范式下的权重范围对比

通过引入指数运算,权重范围从传统的零至一区间拓展到了包含大于一数值的宽区间,使得关键通道的权重显著放大,从而提升了对早期微弱特征的敏感度。

三、深度指数激励网络(DEEN)的整体架构

通过将多个指数激励模块进行深度堆叠,可构建出端到端的深度指数激励网络,逐层累积对微弱特征的增强效应。

图4 深度指数激励网络整体架构示意图

网络的整体数据传递过程如下:

  1. 特征输入与初始变换:传感器采集提取后的多维特征向量送入初始卷积层,映射为高维的多通道特征图。

  2. 多层指数激励学习:特征图连续输入多个串联堆叠的指数激励模块。随着网络层数的加深,与微弱故障相关的重要特征信息被逐步放大,背景干扰信息被相对削弱,特征区分度随之累积增强。

  3. 特征降维与分类判别:末端指数激励模块输出的特征图送入全局平均池化层进行降维,随后通过丢弃层(Dropout)缓解过拟合风险,最后由全连接输出层映射出各类健康状态及不同故障严重程度的分类概率。

四、微弱故障诊断技术流程

基于深度指数激励网络的机械设备微弱故障诊断方法主要分为数据准备、网络优化与状态识别三个阶段。

图5 微弱故障诊断方法流程框图

具体执行步骤如下:

  1. 状态监测与样本构建:采集设备在不同运行状态和故障阶段下的多通道传感器监测信号,通过特征提取方法构建特征向量样本集,并按设定比例划分为训练集与测试集。

  2. 模型初始化与前向传播:构建包含多层卷积与指数激励模块的深度网络,将训练集样本批量输入网络,完成特征提取、通道指数激励放大以及状态分类预测。

  3. 损失反向传播与参数优化:以交叉熵损失函数作为优化准则,采用带动量项的随机梯度下降算法计算网络权重的梯度并实施反向更新。在训练过程中结合阶梯式学习率衰减策略,促使网络参数平稳收敛至较优状态。

  4. 微弱故障分类与测试评估:将测试集样本输入训练优化后的网络,直接输出各测试样本对应的健康状态及故障严重程度归属,完成机械装备的早期微弱故障状态判别。

参考文献:

Deep exponential excitation networks: toward stronger attention mechanism for weak fault diagnosis[J]. Structural Health Monitoring, 2024.

https://journals.sagepub.com/doi/abs/10.1177/14759217231217936

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31557240/viewspace-3188121/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-11-30

  • 博文量
    31
  • 访问量
    17003