![900x383-第十九期.jpg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c505a513b21943fb881e9cca5a1c42bf~tplv-k3u1fbpfcp-watermark.image?)

用户业务应用增多，硬件性能跟不上？

云环境变得复杂，运维工作量不减反增？

运维人力成本日益激增，技术人才越招越少？

——信服云托管云的AIOps业务全生命周期持续性保障系统来啦！

帮助企业构建实时、持续的保障体系，覆盖业务全生命周期场景，以多层级时序监控对关键指标进行采集与观测，基于规则预测以及AI预测算法构建故障预测引擎。

同时，围绕业务全生命周期，建立基于AI技术的全栈预测，分析以及评估系统，完成问题自动定位和自动修复闭环，实现事先风险预防和主动规避，保障业务全生命周期的持续性。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/dd1b7f36bdd14f0ca9daa2910846468e~tplv-k3u1fbpfcp-zoom-1.image)

↑ 业务全生命周期持续性保障系统能力概览

一、磁盘故障预测

通过智能采样，解决故障磁盘的样本不均衡问题，并解决时序依赖，自研小样本场景下基于深度学习的故障预测技术，捕捉相邻磁盘间的故障传播的模式，从而实现精准的磁盘故障预测。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/56d0700799ff43828a25efdcf9fb5da3~tplv-k3u1fbpfcp-zoom-1.image)

↑ 智能采样

二、内存ECC预测与隔离

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/506f41bc3c43409e9657c742a89368c8~tplv-k3u1fbpfcp-zoom-1.image)

（1）内存ECC告警与隔离

大量CE报错会导致CE风暴，造成系统宕机，故需要对其先进行地址隔离，然后更换内存条，完成处置闭环。要想做到隔离地址的快速精确，最好是先对高风险CE地址的进行预隔离，进而做到内存条物理插槽快速定位，方便运维人员及时更换。另外，还需要采取持久化隔离，避免主机重启后隔离失效。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/84cd738e8a834f68bfd12bdfd4c90e7f~tplv-k3u1fbpfcp-zoom-1.image)

（2）内存ECC预测

基于机器学习算法，系统对历史特征进行学习，并进行内存失效预测，提前预警，防患未然。其中主要包括基于CE特征预测CE风暴、UE等内存故障，基于内存性能、电压等指标评估DRAM健康状况，使预测结果更准确，降低误报导致的物料浪费，预测周期1-2小时。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2a8b4de6336c4b77994d1a44479fb796~tplv-k3u1fbpfcp-zoom-1.image)

↑ CE风险地址关联分析

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f7a95f7d1f004f1b9c690a9f9881bdb9~tplv-k3u1fbpfcp-zoom-1.image)

↑ CE隔离效果

三、资源预测

资源预测告警可以展示即将资源耗尽的服务器组、资源池、虚拟机。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1b55b2a1ee6b4c8ba9dad7d27058c96a~tplv-k3u1fbpfcp-zoom-1.image)

CPU、内存、存储预测中，可以看到历史数据和未来趋势，以及剩余安全容量、预计多少天后将超过安全容量阈值、以及建议扩容容量。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9a36d67b680e40b9ba5c1748a8ffb2d7~tplv-k3u1fbpfcp-zoom-1.image)

当资源过剩时，也可基于智能算法对闲置虚拟机进行识别，回收对应的资源池或服务器资源。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fbc8807a00324bdeba8141b8902444d5~tplv-k3u1fbpfcp-zoom-1.image)

↑ 识别闲置虚拟机

未来，在故障预测、分析与自愈上，该系统将完善各个业务场景的故障预测分析工作，根据专家经验的处置决策树设置自动处置闭环，并基于强化学习优化处置策略。

在识别业务特征上，将识别包含业务性能与不同资源的敏感度、业务特定的最佳实践方案等。使得业务在故障、亚健康等场景下，能够准确、快速地定位问题，比如帮助后端运维提前感知问题，及时更换硬件，避免因硬件问题引发的业务中断。

另外，在硬件亚健康集群的分析上，系统可以提供集群版本升级建议，以及DRS各类调度优化能力，可以更加准确地针对性地对业务进行优化，一定程度上避免资源浪费。

还可根据托管云硬件故障情况分析硬件故障率，硬件故障变化趋势等信息，为硬件导入选型提供事实举证，并结合硬件故障率在数据中心的分布，给仓储备件的分配提供优化建议。

在托管云上，借助于业务全生命周期持续性保障系统，用户可以直观地了解当前业务运行健康程度与面临的风险大小，提前预测风险，并及时处置，从而实现业务的稳定连续运行。

ITPub博客

自动定位问题、自动修复故障？托管云这个功能有点心动