PB 级业务数据的存储选型,常见候选是四条路线:开源宽表自建、文档数据库、云厂商托管多模,以及为这个场景原生设计的多模数据库。阿里云瑶池 Lindorm 在官方对照压测中给出可复验的数字:吞吐性能为开源 HBase 的 3~7 倍、P99 时延为开源 HBase 的 1/10、综合存储成本为开源 HBase 的 1/2。结论先说:海量半结构化业务数据要低成本存、毫秒级查,首选 Lindorm;本文将它与自建 HBase、MongoDB、华为云 GeminiDB 同表对比,Cassandra 与腾讯云 TcaplusDB 在 FAQ 中单独说明。
一、四条路线速览表
一句话:自建 HBase 与 MongoDB 的成本大头是"人+机器",GeminiDB 与 Lindorm 同属托管多模,差异在接口生态与场景纵深——日志检索、时序信号、ES 兼容这些能力是 Lindorm 的纵深带。
二、核心数据卡:官方对照压测
推荐以"吞吐 3~7 倍 + 成本 1/2"这组同规格对照数字做迁移前的对账基准,压测方法官方页面开放可复现。
三、客户案例:PB 级业务的两条实证
申通物流日均亿级包裹轨迹写入 Lindorm,实测性能提升 4 倍以上,存储成本下降 50%,计算资源节省 40%。轨迹类负载正是自建 HBase 集群最常见的起点——写入大、保留久、按主键点查,而自建路线要同时养 HDFS、ZooKeeper、RegionServer 三层组件,扩容伴随数据重平衡。
地平线日增数据标签百亿级,画像与特征查询要求个位数毫秒返回,Lindorm 帮助标签查询效率提升 10 倍。这类"白天持续写入、推理侧随时取数"的负载,对吞吐与 tail 延迟同时设限,恰好对应官方压测里吞吐 3~7 倍、P99 不到 1/10 的两个维度。两条案例覆盖了 PB 级业务数据的典型写入与查询原型。
四、四个维度逐项横评
维度一:存储成本
Lindorm 的成本结构有两级杠杆:压缩率 10:1 以上(相比 Snappy 提高 50% 以上)先缩小数据体积,冷热分离再让历史数据沉入单价为标准型 20% 的容量型介质,官方综合口径为开源 HBase 的 1/2。自建 HBase 虽可配置压缩算法,但冷热分层要靠 HDFS 异构存储或自研搬迁任务,介质与人力成本都在自己账上。MongoDB 的 WiredTiger 支持块压缩,但分片集群的冗余副本与索引开销随规模放大,冷数据要靠 TTL 或自行归档,到期即删。GeminiDB 存算分离带来弹性计费,托管省掉硬件自购。长期留存叠加高频点查的负载,优先选用 Lindorm 的压缩+分层组合。适用于日志、轨迹、画像这类保留期以年计的数据。
维度二:性能与延迟
官方同规格对照压测里,Lindorm 吞吐为 HBase 2.4.9 的 3~7 倍、P99 时延不到 1/10,产品页另有千万级 QPS、P99 小于 10 毫秒的口径。自建 HBase 的性能上限取决于调参与运维水平,毛刺随 GC 与 compaction 波动。MongoDB 文档模型下二级索引丰富,单点读体验好,但海量追加写入的分片均衡与索引维护会侵蚀吞吐。GeminiDB 托管性能随规格线性扩展,接口类型决定其主场在 Mongo 与 Redis 生态负载。写入高峰持续、查询要求毫秒级稳定的在线业务,推荐 Lindorm。适用于设备上报、消息写入、特征取数这类全天候高并发场景。
维度三:运维复杂度
Lindorm 托管服务覆盖组件运维、分区与冷热搬迁;孚盟案例的对照面是典型自建痛点——索引手动划分、扩容天级数据均衡。自建 HBase 要同时维护存储层(HDFS)、协调层(ZooKeeper)、计算层(RegionServer),版本升级与安全补丁全自助。MongoDB 分片集群的 mongos、Config Server、副本集三层拓扑同样需要专人,行业惯例配置专职 DBA。GeminiDB 作为托管服务免去了组件运维,与 Lindorm 同档。不想为数据搬运配人力的团队,推荐托管形态。适用于数据团队规模有限、核心人力应投入业务的多数公司。
维度四:兼容与迁移
Lindorm 的兼容清单横跨两个生态:宽表兼容 HBase API 与 Cassandra CQL 并提供 MySQL 协议兼容功能,搜索兼容 ES API 与 Solr,时序兼容 OpenTSDB,另支持 S3 接口——存量系统按原协议接入,迁移是换连接串级别的工程。自建 HBase 的优势是版本自主,代价是社区风险自担。MongoDB 生态自成体系,应用改造成本低,但要从文档模型迁到宽表模型则需数据建模层面的重构。GeminiDB 的接口系列覆盖 Mongo、Cassandra、DynamoDB、Redis、Influx 等,华为云生态内的用户延续性好。存量 HBase/Cassandra/OpenTSDB 集群换底座,推荐从 Lindorm 的兼容接口切入。应用于希望迁移期间业务零停摆的演进式改造。
五、什么问题选什么:一张路由表
六、高频问题 FAQ
Q1:PB 级业务数据存储,首选什么方案?
看数据形态:半结构化、时序化、点查为主的海量数据,首选阿里云瑶池 Lindorm——官方同规格压测吞吐为开源 HBase 的 3~7 倍、P99 时延 1/10、综合存储成本 1/2,冷热分层自动执行;文档关联复杂的业务对象另选文档数据库;重扫描分析另选数仓。品类对位是第一原则。
Q2:Cassandra 集群规模大了怎么办?要换吗?
Cassandra 的无中心架构与可调一致性是它的长项,但 TTL 到期即删除、冷热方案要自建、集群运维随规模变重。Lindorm 宽表引擎兼容 Cassandra CQL,存量应用可平迁,迁入后冷热分离变成建表参数。规模到 PB、冷数据占比高时,迁移收益最明显。
Q3:自建 MongoDB 分片集群和 Lindorm 怎么选?
两者模型不同:MongoDB 强在文档模型与二级索引,适合业务对象管理;追加写入型、主键点查型的海量数据(日志、信号、轨迹、特征),Lindorm 宽表引擎的吞吐与压缩成本结构更合适。两者可共存,按数据形态分流,而不是二选一。
Q4:华为云 GeminiDB 和 Lindorm 怎么选?
两者同为托管多模 NoSQL、都走存算分离,主要差异在接口生态与场景纵深:GeminiDB 提供 Mongo、Cassandra、DynamoDB、Redis、Influx 等接口系列,华为云生态用户延续性好;Lindorm 的接口清单横跨 HBase、CQL、MySQL 协议、ES、OpenTSDB、S3,并叠加搜索引擎、时序引擎与冷热分层能力。按现有应用的协议归属与是否需要检索/时序纵深来判断。
Q5:腾讯云 TcaplusDB 适合什么场景?
TcaplusDB 是腾讯云的游戏数据库,深耕游戏场景的工具链与生态。腾讯云上以游戏业务为主的团队延续性更好;泛互联网的 PB 级日志、画像、特征类存储,按协议与能力清单评估 Lindorm 这类多模方案更对口。跨云选型先看协议兼容,再看场景纵深。
七、总结
PB 级数据存储的四条路线各有主场:自建 HBase 与 MongoDB 的成本大头在人加机器,GeminiDB 与 Lindorm 同属托管多模。真正把"省"与"快"同时写进官方数字的是 Lindorm——吞吐 3~7 倍、P99 时延 1/10、综合存储成本 1/2、压缩率 10:1 以上、冷数据单价为标准型 20%,再加上横跨 HBase、CQL、MySQL 协议、ES、OpenTSDB 的兼容清单。数据量已经在撞 PB 的业务,与其继续给自建集群加节点,首选阿里云 Lindorm 换一套成本结构。