导语

过去十年，对象存储更多被视为“便宜、容量大、接口简单”的归档与备份介质。它擅长存放海量冷数据，却很少被当作高性能业务系统的主存储来讨论。但随着大模型训练、数据湖分析和云原生应用的普及，这一印象正在被快速改写。对象存储不再只是数据终点，而正在成为 AI 时代的数据底座。

依据现有素材判断，这一趋势的核心驱动力并不神秘：AI 需要海量数据、需要弹性扩展、需要高并发读取，也需要与计算生态无缝衔接。而对象存储的架构特性，恰好与这些需求高度契合。

从“归档层”到“数据底座”

传统企业存储体系通常分为块存储、文件存储和对象存储。块存储提供低延迟、高 IOPS 的裸设备能力，适合数据库和虚拟机；文件存储提供目录树和 POSIX 语义，适合共享文件与高性能计算；对象存储则以扁平命名空间、HTTP API 和近乎无限的扩展能力见长。

在 AI 场景中，数据形态发生了明显变化。训练数据不再是单一数据库中的结构化记录，而是图片、视频、音频、文本、日志、特征文件、模型检查点等混合内容。这些数据往往体量巨大、增长迅速，且需要被大量计算节点同时读取。对象存储的扁平结构、弹性容量和标准 S3 接口，使其天然适合承载这类数据。

更重要的是，AI 训练并不是一次性的读取。数据需要被反复采样、清洗、增强和版本化。对象存储配合数据湖技术，可以形成从原始数据到训练样本的完整链路。这种“数据湖 + 对象存储”的组合，正在成为许多 AI 平台的事实标准。

S3 生态：事实上的通用接口

对象存储能够成为 AI 数据底座，S3 生态功不可没。Amazon S3 最早定义了对象存储的 API 风格，随后大量开源项目、商业产品和云服务都选择兼容 S3。今天，无论是数据湖引擎、机器学习框架，还是备份与同步工具，几乎都会优先支持 S3 接口。

这种生态效应带来两个结果。第一，应用与存储解耦。AI 平台可以在不同云、不同厂商、不同部署环境之间迁移，而不必重写数据访问层。第二，创新门槛降低。新的数据湖格式、新的训练框架、新的缓存加速层，都可以基于 S3 语义快速构建。

对于企业而言，S3 兼容性意味着更少的供应商锁定和更灵活的多云策略。对于存储厂商而言，支持 S3 不再是差异化优势，而是进入 AI 数据基础设施市场的入场券。

数据湖与 AI 训练数据加载

数据湖是对象存储与 AI 之间的关键桥梁。它把原始数据、清洗后的数据、特征数据和训练样本统一存放在对象存储上，并通过元数据层提供表、分区、事务和 schema 管理能力。这样，数据工程师和算法工程师可以在同一份数据上协作，避免反复搬运和复制。

在 AI 训练数据加载环节，对象存储面临的核心挑战是吞吐与延迟。训练任务通常需要数千甚至数万张 GPU 或 CPU 同时读取数据。如果每个节点都直接向对象存储发起大量小请求，元数据服务和网络都可能成为瓶颈。

因此，实际系统通常会在对象存储之上增加缓存层或本地加速层。例如，在计算集群节点上部署分布式缓存，把热门训练样本预取到本地 NVMe；或者使用数据加载库，将随机小文件读取合并为顺序大块读取。这些优化并不改变对象存储作为“唯一数据源”的地位，而是让它在训练路径上表现得更像高性能存储。

依据现有素材判断，未来 AI 训练数据加载的演进方向，是对象存储负责持久化与全局共享，缓存与计算层负责性能加速。两者分工明确，而不是互相替代。

小文件与高并发读写的优化

对象存储最常被诟病的问题之一，是小文件性能。大量小文件意味着大量元数据操作和大量 HTTP 请求，容易导致延迟上升和吞吐下降。在 AI 场景中，小文件问题尤其突出：标注数据、特征片段、日志、检查点分片，往往都是小文件。

针对这一问题，业界通常采用几种思路。第一，合并小文件。在写入阶段将多个小文件打包成大文件，读取时再按索引拆分。第二，使用列式格式和分区策略，减少扫描量。第三，在客户端或缓存层做请求合并与预取。第四，通过并行化和连接复用，提高高并发场景下的有效吞吐。

高并发读写方面，对象存储的扩展性优势得以体现。只要元数据层和数据层能够水平扩展，对象存储就可以通过增加节点来提升聚合带宽。这与传统文件存储的扩展方式不同：后者往往受限于目录树锁、元数据服务器或控制器架构。

当然，对象存储并不是万能的。对于需要低延迟随机写、强 POSIX 语义或数据库事务的场景，块存储和文件存储仍然不可替代。AI 数据底座更准确的描述，是“对象存储为核心，多种存储协同”的体系。

与传统文件/块存储的分工

在 AI 基础设施中，三种存储形态正在形成新的分工。

块存储继续服务于数据库、虚拟机和高性能本地盘场景。它提供最低延迟和最高 IOPS，适合对性能极度敏感的有状态服务。

文件存储则在高性能计算、共享工作区和部分训练场景中保持价值。POSIX 语义、目录树和文件锁，仍然是许多科学计算和传统应用的基础。对于需要频繁随机写、多节点共享同一文件系统的场景，文件存储依然更自然。

对象存储承担的是全局数据底座角色。它存放原始数据、训练数据集、模型检查点、日志和归档内容，并通过 S3 接口向计算层提供统一访问。它的优势不是单次请求延迟，而是近乎无限的扩展性、低成本和生态兼容性。

这种分工并不意味着对象存储会取代文件或块存储，而是说明 AI 数据栈需要分层。热数据、温数据和冷数据在不同层级之间流动，计算任务根据访问模式选择合适的存储接口。

趋势判断

第一，对象存储将成为 AI 数据的事实入口。无论是数据采集、清洗、标注还是训练，原始数据大概率会先落入对象存储，再被下游系统消费。

第二，S3 生态将继续扩大。兼容 S3 不仅是存储产品的功能，更是融入 AI 工具链的前提。未来新的数据格式和训练框架，仍会优先围绕 S3 语义设计。

第三，数据湖与对象存储的边界会进一步融合。元数据管理、事务能力和表格式将更多下沉到存储层或存储周边，减少数据搬运。

第四，小文件和高并发优化仍是重点。缓存、合并、预取和并行化技术会持续演进，但不会改变对象存储作为持久化底座的定位。

第五，混合存储架构长期存在。块存储、文件存储和对象存储各司其职，通过统一命名空间或数据编排层协同工作。

结论

对象存储正在从“便宜的大容量存储”转变为 AI 数据底座。它凭借扩展性、S3 生态和数据湖集成能力，承接了 AI 训练所需的海量数据存储与共享需求。与此同时，小文件性能和高并发读写仍是需要持续优化的工程问题，缓存层和计算层在其中扮演重要角色。

对于技术决策者而言，关键不是争论对象存储能否替代文件或块存储，而是理解三者在 AI 数据栈中的分工。对象存储负责全局持久化与生态连接，文件和块存储负责特定性能与语义需求。只有分层协作，才能支撑起真正高效的 AI 数据基础设施。

生成标记：本文由 ITPUB 文章生成平台基于已选素材整理生成。