针对民航发动机在实际服役过程中故障样本极度匮乏、故障类别多样以及监测数据随航班运营持续增长等工程特点，论文《 Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios》发表于工程技术领域学术期刊《Advanced Engineering Informatics》。该研究提出了一种名为 持续对比强化学习（Continual Contrastive Reinforcement Learning, CCRL）的诊断框架。该框架将航空公司的实际运行环境与诊断智能体进行交互建模，结合自编码预训练、加权时序对比学习与决斗双重深度Q网络，实现了极度不平衡样本分布下的特征表征与分类决策。

一、运行环境交互建模与整体流程

在民用航空器的实际运营中，飞机在各个航段通过机载通信寻址与报告系统（ACARS）下传排气温度、转子转速、燃油流量等核心气路性能参数。与此同时，地面的客户通报报告（CNR）与维修记录则提供了故障类型和处理结论。传统的离线故障诊断模型在完成训练后通常采用静态部署方式，难以自适应吸收新生成的飞行数据。

图1：CCRL整体流程与交互机制示意图

CCRL框架将民航发动机的日常运营过程抽象为强化学习的外部交互环境，其基本工作逻辑如下：

1. 状态生成 ：环境将连续若干飞行循环的气路性能偏差数据作为当前的状态输入提供给智能体。

2. 动作输出 ：智能体根据接收到的状态时序特征，输出对应的健康状态判定或具体的故障类别判断。

3. 反馈与评估：环境将智能体的预测动作与实际工程记录进行比对，依据预先设计的奖励规则向智能体返回奖励信号，同时更新下一阶段的状态。

4. 持续演化：交互过程中的状态转换轨迹与环境反馈被连续存入经验回放池，智能体从中抽取批次数据定期更新网络权重，在数据量随航班增加而逐步扩充的过程中实现动态优化。

二、特征区分模块：自编码预训练与加权对比学习

航空发动机气路参数具有高度非线性的动态时序特征。若直接采用传统数据扩增方法生成时序样本，难以保证合成样本符合实际的气动热力学物理规律。为了在不借助生成式扩增的前提下提升模型对少数类故障的辨识度，该方法设计了专门的特征区分模块。

图2：特征区分模块结构示意图

该模块的技术实现主要由两个前后衔接的阶段构成：

1.正常样本的自编码预训练

由于发动机绝大多数服役时间处于健康状态，正常飞行样本数量充裕。该模块首先构建基于长短期记忆网络（LSTM）的自编码器，且仅使用全部正常飞行循环数据进行无监督的特征压缩与重构训练。LSTM网络利用门控机制捕捉序列中的时间依赖关系，其最终隐藏状态作为编码特征输入解码器进行信号重构。这一步骤的目的是让编码网络充分提取气路基准特征并具备良好的数据降维压缩能力，避免初始特征直接受到少数故障模式的干扰。

2.真实样本对的加权对比学习

完成自编码训练后，保留编码器网络并在其后端接入由全连接层构成的投影头，转入对比微调阶段：

• 样本对构建：直接从已有真实样本库中构建样本对。相同故障类别的时序序列构成正样本对，不同故障类别或正常状态之间构成负样本对。

• 损失加权调整：在传统的归一化温度缩放交叉熵损失中，所有负样本均被赋予同等考量。然而在发动机时序数据中，不同故障模式仍共享相近的基础飞行特征；同时，正负样本对在批次内的比例由于故障样本稀缺而严重不平衡。为此，该模块在相似度计算中为正样本对和负样本对分别引入了独立的权重因子，调高正样本相似度的聚合权重，适度抑制负样本间的发散惩罚，以使同类故障特征更加紧凑并适度拉开异类特征间距。

• 分层学习率微调：在对比学习训练过程中，编码器部分采用较低的学习率以保持自编码阶段学得的时序基础特征，而投影层采用相对较高的学习率以优化分类边界。

三、类型识别模块：决斗双重深度Q网络与不平衡奖励

在完成特征区分模块训练后，其编码器网络参数被固定，作为冻结的特征提取器接入后续的类型识别模块。

图3：故障类型识别模块与智能体结构示意图

1.决斗网络架构设计

类型识别模块的智能体核心采用决斗双重深度Q网络（Dueling Double Deep Q-Network）架构，主要组成部分包括：

• 时序主网络：冻结的编码器输出作为输入，送入新的单层长短期记忆网络以提取面向决策的时序特征。

• 决斗分支结构：长短期记忆网络的最终隐藏层输出被分流至两个并行的全连接层：一个分支输出单一标量，表示当前状态本身的综合状态价值；另一个分支输出与故障类别数等长的向量，表示在该状态下选择各个故障动作的优势度。最终的动作价值通过状态价值与中心化优势度相加得到，这种设计有效解耦了状态评估与具体动作评估，提高了价值函数估计的稳定性。

• 策略网络与目标网络分离：智能体设置结构相同但参数不同步的策略网络和目标网络。策略网络实时更新并负责选取动作，目标网络采用周期性延迟更新机制来计算贝尔曼方程中的目标值，以抑制强化学习中常见的动作价值高估问题。

2.基于样本频率的归一化奖励函数

在高度不平衡的分类任务中，如果对所有类别的正确分类均给予相同的固定奖励，智能体极易退化为优先预测多数类（正常状态）以获取累积回报。为此，该研究提出了基于类别样本量倒数的奖励规则：

• 环境首先统计训练集中各类别样本的总量，计算每个类别样本量的倒数作为其基础权重。

• 对各类别基础权重进行归一化处理，确定各类别对应的奖励基准绝对值。

• 当智能体做出预测时，若判定类别与实际类别一致，则反馈正的基准值；若判定错误，则扣除对应的基准值。

通过这种倒数归一化机制，发生频次极低的故障类别具有显著更高的奖励与惩罚权重，促使智能体在梯度反向传播过程中更加关注稀有故障模式的识别。

3.探索机制与策略更新

为了防止训练初期策略网络陷入局部较优，智能体采用贪婪探索策略，探索率随着交互步数的增加从初始设定值按比例线性衰减至极小阈值。经验回放池在达到设定阈值后触发微调学习，利用均方误差损失函数更新策略网络，并按固定步长将策略网络参数复制至目标网络，保障了在数据连续输入过程中的收敛性。

四、核心机制总结

持续对比强化学习框架通过三个技术模块的串联，形成了一套应对小样本、高不平衡及持续增长数据的技术路线：

1. 两阶段表征学习：先利用大量正常数据通过自编码机制确立基准时序压缩规律，再利用基于真实样本对的加权对比损失微调空间分布，规避了时序数据合成失真风险。

2. 非对称强化学习决策：借助决斗架构和样本频次倒数权重构建动态奖励，抑制了由于正常样本居多导致的策略偏置。

3. 经验池闭环交互：将离线训练模式扩展为智能体与运行业务流之间的连续交互，使得模型具备伴随监测数据持续积累而演化更新的基础结构。

参考文献：

Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios[J]. Advanced Engineering Informatics, 2025, 65(C): 103297.

https://www.sciencedirect.com/science/article/abs/pii/S1474034625001909