在民用航空实际运营中，航空发动机具有极高的可靠性，故障发生率极低，这导致实际记录的故障样本极为匮乏且故障类型繁多，呈现出典型的极度类别不平衡特征；同时，机队每日执行飞行任务会产生持续增长的监测数据，传统离线训练的静态分类模型难以自适应环境变化。针对这一工程实际问题，学术论文《 Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios》提出了一种兼具环境交互感知与持续演化能力的航空发动机故障诊断智能体构建方法。该方法以航空公司实际运行环境为依托，结合制造厂商提供的客户通知报告与专家判断，将时序气路监测数据转化为智能体可理解的状态输入，实现对发动机异常状态的持续学习与研判。

该诊断智能体的核心运行机制是将航空公司的日常业务流程构建为强化学习的交互环境。在实际业务中，飞机在关键飞行阶段记录气路性能数据并通过空地通信系统下发至地面数据库，智能体接收这一飞行时序片段作为当前环境的状态输入，并输出对应的故障类型判断；地面工程人员与专家系统结合维护反馈对智能体的判断结果进行核实与评价，进而形成环境反馈；传感器数据、诊断决策及评估反馈被统一存入经验回放库，智能体在后续过程中不断从中抽取历史经验更新自身策略网络，使模型能够伴随航司运行数据的累积而保持动态更新能力。

为了让智能体在有限故障样本下精准识别不同故障模式，系统在智能体内部引入了特征区分模块。传统对比学习通常依赖图像变换生成样本，而在发动机时序信号中盲目引入数据增强易破坏物理规律，因此该模块直接利用真实历史样本构建样本对，将同类故障样本视为正样本对，不同类别样本视为负样本对。由于正常飞行数据规模庞大而故障数据稀缺，系统首先利用大量正常样本预训练一个长短期记忆自编码器以学习通用的时序压缩表征，然后将其编码器迁移至对比学习网络中，通过非对称加权的损失机制对特征进行微调，拉近同类故障的投影距离并推远异类故障，从而为后续决策提供结构清晰的特征表达。

在决策分类层面，智能体采用了改进的双重决斗深度Q网络结构。智能体的主干网络接入前期训练完成并冻结参数的特征编码器，提取出的高级时序特征被送入新的循环神经网络隐藏层；然后，网络通过两个独立的全连接分支分别评估当前状态的整体状态价值以及各个动作所具有的相对优势价值，并将二者结合生成最终的动作价值评估向量，以最大值对应的索引作为故障分类决策。为了防止训练期间对动作价值产生过度估计，智能体配置了实时更新的策略网络与周期性同步的目标网络，并通过逐步衰减的探索策略平衡未知探索与已知策略利用，保障了策略优化的平稳性。

针对训练样本极度不平衡容易导致智能体偏向多数类的问题，系统设计了与样本频次反相关的差异化奖励机制。在交互环境中，不同故障类型的判别收益根据其在历史训练集中的样本数量进行归一化加权分配，样本量越少的稀有故障在分类正确时获得越高的正向奖励，误判时承受越高的惩罚权重，从而迫使智能体在长周期优化中高度重视稀疏故障模式的表征学习。在整个生命周期运行中，智能体以多维气路偏差参数为基础，通过持续计算损失函数并执行反向传播，实现对控制阀件失效、温度异常及传感器故障等多种健康状态的闭环感知与区分。

总体而言，该文提出的连续对比强化学习智能体框架，系统性地串联了自编码特征预训练、加权时序对比表征学习与非平衡奖励强化学习决策。该设计避免了合成时序数据带来的不确定性，在无需人为扩充虚拟样本的前提下提升了稀缺故障的表征可分度，并使模型具备了贴合航空实际运营流程的在线更新特性，为复杂工业装备在极度不平衡与数据持续增长场景下的智能运维提供了一种思路。

参考文献：

Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios[J]. Advanced Engineering Informatics, 2025, 65(C): 103297.

https://www.sciencedirect.com/science/article/pii/S1474034625001909