首页 > 数据库 > > 企业级增强特性-数据并行导入
数据并行导入(加载)的核心思想是充分利用所有节点的计算能力和I/O能力以达到最大的导入速度。GaussDB 200的数据并行导入实现了对指定格式(支持CSV/TEXT格式)的外部数据高速、并行入库。
流程 | 说明 |
|---|---|
创建Hash分布策略的表 | 业务应用在CREATE TABLE时预先设定Hash分布策略(指定表的某个属性作为分布字段)。 |
设定分区策略 | 应用程序在CREATE TABLE时还可以预先设定分区(指定表的一个属性作为分区字段),每个数据节点内部的每个Hash的数据都将按照设定的分区规则做相同的分区处理。 |
| 启动数据导入后,GDS将指定的数据文件分割成固定大小的数据块。 |
| 每个数据节点并行的从GDS下载这些数据块。 |
| 各个数据节点并行的处理数据块,从中解析出一条数据元组,每一个元组根据分布列计算出来的Hash值判断存储的物理位置:
|
数据写入分区 | 数据到达Hash所在的节点后还将根据分区逻辑写入对应的分区数据文件。 在数据写入分区表时,GaussDB 200还提供了Exchange(交换分区)的技术来提升写入性能。 |
GDS:全称Gauss Data Service,GDS服务用来管理数据源,可以在数据服务器上部署多个GDS服务来提升数据加载的性能。 | |
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69959250/viewspace-3138444/ ,如需转载,请注明出处,否则将追究法律责任。