为解决单表空间存储路径瓶颈，南大通用GBase 8a数据库（gbase database）GCDW云数仓对 tablespace 进行了多路径改造，重构了 DML/DDL、垃圾回收、备份恢复、LOADER 等核心链路，以tablespace多路径替换了原有的单路径，达到了数据文件分散存储在多个 S3 存储桶的目的。
核心改造点：DDL&DML 操作
1、Read 读操作
GBASE 保留了底层DC数据的读取接口，其整体流程不需要做过大调整，仅需在调用DC数据读取接口前，拿到当前DC对应的tablespace多路径信息，通过DC的pcfile_id ，反向关联获取对应的tablespace全部路径信息，进而实现数据的全量读取。
2、Update 更新操作
- 常规批量Update操作，使用tablespace多路径信息对象替换原来的单路径信息。更新后新版本 DC，必须写入被更新 DC 原来所在的存储桶，通过旧 DC 的 pcfile_id 确定目标桶，不能随机挑选路径，且update 产生的 delta 版本，不能跨桶迁移，新版本和旧版本 pcfile 必须落在同一个 S3 bucket，保证版本数据位置可控。
- Fast Update。Fast update 的操作逻辑为删除旧记录 + 插入新记录，删除操作无需变化，插入操作同下文的insert操作。
3、Insert 写入（WriteDC）
- 定时更新数据表的tablespace多路径信息（总容量、剩余容量等）
- 根据插入时数据表tablespace多路径的状态，选择最合适的路径放置到当前Task的任务构建中。
- 从多条路径中挑选目标存储桶，完成新 DC 数据写入。
垃圾回收模块改造
垃圾回收是存储引擎关键模块，多路径改造后判断逻辑、清理逻辑整体流程不变，不过处理路径需要由之前的单路径变更为多路径，后续可实现处理的并发操作，为性能提升留下改造空间。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69979120/viewspace-3181960/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
最新文章
- GBase 8s数据库root dbspace 存储结构分析
- GBase 8s数据库root dbspace保留页浅析
- DB-Engines榜单10月发布，部分国产数据库排名下滑
- 南大通用GBase 8a数据库压缩算法新老版本对照
- 南大通用GBase 8a数据库压缩算法类型简析
- G术时刻 |南大通用GBase 8c分布式数据库客户端工具 gsql
- 强网兴算 智汇生态｜GBASE南大通用亮相2026年国际信息通信展览会
- 南大通用GBase 8c数据库-两阶段提交事务状态保持（下）
- GBase 8c数据库-两阶段提交事务状态保持（上）
- 南大通用技术分享：GBase 8s 虚拟处理器在日常运维的关注要点
