首页 > 云计算 > 公有云实践 > 从“喂数据”到“供算力”:AI 存储架构的三重变革
大模型训练的瓶颈,正在从 GPU 算力转向数据供给。当单次训练需要吞吐数十 TB 级样本、checkpoint 写入频率以分钟计、推理侧要求毫秒级首 token 响应时,传统以“容量+可靠性”为中心的存储架构已经难以支撑。存储不再是机房角落里的被动容器,而是被推到算力供给链路的前端。本文从架构演进的视角,梳理 AI 存储正在经历的三重变革,并讨论存算网融合在工程实践中的落点与边界。
第一重变革:从“容量池”到“带宽池”,存储的性能坐标系被重写
传统企业存储的评价体系,核心是容量、IOPS 与可靠性等级。这套坐标系诞生于数据库与虚拟化时代:负载以随机小 IO 为主,容量增长可预测,性能瓶颈通常出现在磁盘寻道或控制器队列。
AI 负载把这套坐标系整体平移了。训练数据加载呈现典型的“大块顺序读、高并发、多轮次重复扫描”特征;checkpoint 则是周期性的大块顺序写突发,写入期间会与训练数据读取争抢同一套网络与后端带宽。推理侧又是另一种形态:KV Cache 的读写对延迟敏感,且随并发数上升呈非线性增长。
由此产生的第一个架构变化,是存储的“带宽密度”取代“容量密度”成为首要设计指标。具体表现为三个工程取向:
并行文件系统与对象存储的分层组合。热数据走并行文件系统以获取聚合带宽,冷数据与归档样本沉到对象存储,通过命名空间或元数据服务做统一视图。这一组合并非新事物,但在 AI 场景下,分层策略从“按访问频率”转向“按训练阶段”,即同一份数据在预处理、训练、评测三个阶段可能落在不同层级。
元数据路径的独立化。千万级小文件是 AI 数据集(尤其是图像、多模态语料)的常态,元数据操作往往先于数据 IO 成为瓶颈。将元数据服务独立部署、支持水平扩展,已成为主流设计选择。
本地 NVMe 的角色重估。节点本地盘不再只是缓存,而是承担数据预取、样本解码、checkpoint 暂存等职责,形成“本地高速层 + 远端共享层”的两级结构。
需要指出的是,带宽池化并不等于简单堆叠硬盘。聚合带宽能否被真正吃满,取决于客户端并发模型、网络协议栈、以及存储服务端的锁与队列设计。依据现有素材判断,多数落地项目的主要调优工作量,恰恰集中在这些“非存储本体”的环节上。
第二重变革:数据路径前移,存储开始参与“算力调度”
第二重变革更为根本:存储从“被读取的对象”变成“参与调度的一方”。
在传统架构中,计算任务被调度到有算力的节点,然后自己去拉数据。AI 集群的现实中,这一顺序经常反过来——数据所在的位置,决定了任务应该被放到哪里。原因很直接:跨节点搬运 TB 级样本的时间成本,可能超过计算本身。
这催生了几个值得关注的实践方向:
其一,数据本地性与调度器的耦合。 将数据集分片位置、缓存命中情况作为调度输入之一,让训练任务优先落到已缓存所需分片的节点。这在工程上要求存储层向调度层暴露拓扑信息,属于典型的跨层协作。
其二,近数据预处理。 把解码、tokenize、增强等 CPU 密集型环节下沉到存储侧或存储邻近的计算节点,使传输的是“已处理样本”而非原始文件。这一做法能显著降低网络流量,但代价是存储节点需要具备异构计算能力,运维复杂度上升。
其三,checkpoint 的异步化与分层落盘。 训练中断恢复时间直接对应 GPU 空转成本。将 checkpoint 先写入本地高速层再异步上传至共享层,可以在保证可恢复性的前提下缩短写入阻塞窗口。这一模式的可靠性边界需要仔细设计——本地层故障时的数据丢失窗口必须被明确接受或通过副本策略覆盖。
其四,推理侧的缓存协同。 KV Cache 的复用与淘汰策略,本质上是一个存储问题:哪些会话状态值得保留、保留在哪一级介质、何时失效。把它当作纯显存管理问题,往往会在高并发下遇到容量墙。
这些方向的共同点是:存储不再是“算完之后去取”的下游,而是“算之前就要协商”的上游。相应地,存储团队与 AI 平台团队的职责边界正在模糊,SLA 的定义也从“可用性百分比”扩展到“数据供给就绪时间”。
第三重变革:存算网融合,从概念走向可运维的工程结构
“存算网融合”在行业里被提及多年,但在 AI 场景下它第一次有了明确的工程含义:三者需要在同一套资源视图下被联合规划,而不是各自扩容。
从实践角度看,融合的落点主要有三层:
网络层:从“连通”到“可预期”。 AI 集群普遍采用高带宽互联,但带宽峰值不等于有效吞吐。拥塞控制、多路径、RDMA 的部署质量,直接决定存储聚合带宽能否被训练任务实际获得。融合的第一步,是把存储流量纳入网络规划与 QoS 体系,而不是让它与业务流量共享尽力而为的通道。
资源层:统一命名空间与统一配额。 训练、推理、数据处理往往由不同团队管理,若各自维护独立存储池,会出现“一边闲置、一边告警”的结构性浪费。统一命名空间让数据可跨池流动,统一配额则让成本可归集。这一层的难点不在技术,而在组织与计费口径。
运维层:端到端可观测。 融合架构的故障定位成本高于分离架构。训练任务变慢,可能是 GPU、可能是网络、可能是存储元数据服务、也可能是客户端并发配置。建立覆盖“应用—客户端—网络—存储服务端”的链路级指标,是融合能否长期运维的前提。缺少这一层,融合会退化为“故障时互相举证”。
需要冷静看待的是,融合并不适用于所有场景。对数据量有限、训练任务偶发的中小团队,分离架构的简单性可能优于融合带来的复杂度。融合的价值随集群规模、数据规模与任务密度上升而上升,存在明显的规模阈值。依据现有素材判断,尚无普适的阈值标准,需结合具体负载评估。
综合三重变革,可以给出几点方向性判断:
存储的核心 KPI 将继续向“单位算力对应的数据供给效率”收敛,容量与 IOPS 退居为约束条件而非目标函数。
数据编排能力将成为 AI 平台的核心组件之一,其重要性可能超过单一存储系统的选型。
存算网融合的竞争点将从“架构图”转向“可观测性与可运维性”,能否快速定位跨层瓶颈,是融合方案能否长期存活的分水岭。
推理侧的存储问题被低估。随着长上下文与多轮会话普及,会话状态的管理会从显存问题演化为分层存储问题。
结论
AI 存储架构的变革,本质上是一次评价体系的重写:从“存得下、不丢”到“供得上、供得快、供得准”。带宽池化解决了“供得上”,数据路径前移解决了“供得快”,存算网融合则试图解决“供得准”——让合适的数据在合适的时间出现在合适的算力旁边。
三者并非替代关系,而是同一演进路径上的三个阶段。工程实践中,更现实的做法是先厘清自身负载的数据形态与瓶颈层级,再决定在哪一层投入,而不是一次性追求完整的融合架构。融合是方向,但可运维的渐进式改造,往往比架构图上的彻底重构走得更远。
生成标记:本文由 ITPUB 文章生成平台基于已选素材整理生成。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31547898/viewspace-3186854/ ,如需转载,请注明出处,否则将追究法律责任。