航空发动机作为飞机的核心动力装置，长期处于高温、高压及多变气象等极端工况下运行，其故障发生率低、故障类型多样且监测数据呈现高度类别不平衡与持续增长的特征。为解决这些问题，相关研究发表了题为“Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios”的论文。针对传统数据驱动方法在小样本故障诊断中泛化能力不足、难以适应动态环境变化的问题，该研究提出了持续对比强化学习（Continual Contrastive Reinforcement Learning, CCRL）方法。该方法将航空公司的实际运行工况视为智能体的交互学习环境，构建了兼具特征判别与类型识别能力的强化学习诊断架构，使智能体能够在监测数据持续增长的场景下进行动态优化。

在数据采集与环境交互机制方面，系统依托飞机通信寻址与报告系统（ACARS）下发的关键飞行阶段性能参数，采集包括排气温度偏差、高压转子转速偏差、燃油流量偏差以及风扇转速等多维时间序列数据。结合原始设备制造商（OEM）提供的客户通知报告（CNR）与专家系统诊断结果，将发动机全生命周期的时序数据划分为正常运行阶段与故障发生阶段，构建涵盖正常状态、可变放气阀（VBV）系统故障、排气温度不平衡（EGTI）及全温（TAT）传感器故障的数据集。智能体在航空业务流程中接收连续飞行数据作为输入状态，输出故障诊断决策，地面维护人员与专家对诊断结果进行核验并形成反馈，所有状态、动作与评价信息均存入经验库中，为模型的持续更新提供数据闭环。

在特征判别模块的设计中，该方法采用自编码器预训练与对比学习微调相结合的技术路线，以克服直接对时间序列生成合成样本带来的不确定性。首先利用大量的正常运行数据训练基于长短期记忆网络（LSTM）的自编码器，使编码器充分掌握发动机常规运行的基础参数分布规律与数据压缩能力；随后将编码器接入由全连接层构成的投影网络，直接利用真实故障样本构建正负样本对，将相同故障类型的样本设定为正样本对，不同故障类型的样本设定为负样本对。在此基础上，引入带有样本权重因子的对比损失函数，通过增大正样本特征聚合度并合理调节负样本分离权重，以较小的学习率对编码器进行微调，从而在极少数故障样本条件下建立紧凑且具判别力的特征空间。

在类型识别模块的设计中，该方法采用决斗双重深度Q网络（Dueling Double Deep Q-Network, D3QN）来完成故障类别判定。该模块直接加载并冻结特征判别模块训练好的编码器参数，后接LSTM主网络以及分别输出状态价值（Value）与动作优势（Advantage）的双线性层，以避免单一状态下各动作Q值的相互干扰。

针对样本极度不平衡的问题，环境根据不同故障类别在训练集中的样本数量倒数构建归一化奖励函数，对正确识别罕见故障赋予更高的正向回报，对误判施加对称惩罚。智能体采用随训练步数动态衰减的贪婪策略平衡探索与利用，利用策略网络进行动作选择，目标网络计算目标Q值，并通过经验回放机制周期性更新网络参数，抑制Q值过估计现象。

在整体训练与测试流程中，CCRL 采取分阶段推进的方式：首先在无故障数据上完成自编码器的无监督重构训练；接着基于加权对比损失函数对特征编码器进行微调优化；最后冻结特征提取部分，仅对分类决策主网络与强化学习输出层进行训练。在实际应用测试时，待测飞行参数序列依次经过特征编码与D3QN智能体网络的前向传播，直接输出对应的健康状态或故障类别。整个框架无需引入额外的人工合成数据或依赖外部机型的迁移先验，通过将新采集的飞行记录与专家反馈持续积累至经验池，支持智能体在长期运行中进行增量演化与参数更新，实现了面向高度不平衡时序数据的环境感知型智能故障诊断。

来源文献：

Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios[J]. Advanced Engineering Informatics, 2025, 65(C): 103297.

https://github.com/haozewu/ccrl