在民航日常维护中，航空发动机故障样本极度稀缺且伴随多类别、高不平衡与动态演化特性。论文《 Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios》提出了一套融合对比学习与深度强化学习的故障诊断智能体构建流程。该方案围绕真实业务场景下的时序数据特征，将特征表达与序贯决策解耦为清晰的实现流程，使智能体能够在不依赖人工合成伪数据的前提下，逐步建立对多类气路故障的识别能力并实现持续自适应更新。

第一步是气路状态时序样本的提取与标注。基于机载通信系统回传的气路报文，采集包括排气温度偏差、核心机转速偏差、燃油流量偏差以及风扇转速在内的关键热力学参数序列。针对发动机全生命周期数据，以制造厂商提供的客户通告报告作为真实状态判断依据，在故障发生前的固定飞行循环窗口内截取多维时间序列作为故障样本，其余平稳运行阶段截取为正常样本，从而在保留物理退化过程的前提下完成多分类时序样本库的标准化规整。

第二步是利用海量正常样本预训练长短期记忆自编码器。由于故障样本高度稀缺且各类型差异显著，直接端到端训练容易导致网络过拟合于有限的故障数据。因此，该步骤首先选取数量充足的正常飞行时序数据，训练一个能够重构原始输入序列的自编码器网络，利用长短期记忆网络的最后隐藏层状态提取基础压缩特征。这一阶段的目的是让网络底层充分学习发动机平稳运行时的常规动态规律，为后续特征细分奠定稳定的表征基础。

第三步是基于真实样本对的加权对比微调。为了避免时序数据生成算法可能带来的虚假特征干扰，该步骤直接利用已有真实数据构建样本对，将同一故障模式的不同样本设为正样本对，不同故障模式之间的样本设为负样本对。在预训练编码器后接入多层投影网络，并通过调节正负样本对在损失计算中的权重分布，对编码器参数进行小步长微调。该步骤旨在拉近同类故障在特征空间中的投影距离，推远异类故障与正常状态的分布边界，增强特征的类间可分性。

第四步是构建强化学习决策智能体并配置不平衡奖励规则。将微调后的特征编码器参数冻结，作为智能体的特征前置输入，后端串联决斗双重深度网络以解耦状态价值评估与动作优势评估，抑制动作价值的过高估计。针对样本量极度悬殊的问题，环境根据训练集中各类样本数量的倒数动态设定正负奖励尺度，对稀缺故障类型的正确辨识给予更高的正向激励，对误判施加相应惩罚，在策略梯度更新中平衡多类故障的关注度。

第五步是实现面向实际业务流的闭环交互与持续演化。在日常运营中，智能体接收实时飞行数据并输出诊断判断，地面维护人员与专家系统结合实际排故结果对判断进行核实，将输入序列、诊断动作与评估结果打包存入经验回放库。智能体周期性从经验库中采样并利用时序差分算法更新策略网络，使模型能够伴随飞行数据的长期累积而持续吸收新经验，实现与实际运行环境长期协同优化的自适应诊断机制。

来源文献：

Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios[J]. Advanced Engineering Informatics, 2025, 65(C): 103297.

https://www.sciencedirect.com/science/article/pii/S1474034625001909