ITPub博客

在数据导入完成后，执行ANALYZE语句生成表统计信息。执行计划生成器会使用这些统计数据，以生成最有效的查询执行计划。如果导入过程中，进行了大量的更新或删除行时，应运行VACUUMFULL命令，然后运行ANALYZE命令。大量的更新和删除操作，会产生大量的磁盘页面碎片，从而逐渐降低查询的效率。VAC

对数据导入过程中出现的数据格式错误信息进行处理，若没有错误信息，此步骤可跳过。查询错误信息。SELECT*FROMproduct_info_err;处理错误表中的错误信息。按照本教程的示例操作，错误表中应该无错误信息。您也可以将步骤2：在数据服务器上安装配置和启动GDS一节所建外表中的FILL_MI

使用如下语句在GaussDB200中创建目标表product_info，用于存储导入的数据。DROPTABLEIFEXISTSproduct_info;CREATETABLEproduct_info(product_priceintegernotnull,product_idchar(30)notn

使用SQL客户端工具连接GaussDB200数据库。详细请参考使用DataStudio连接。根据需要导入数据信息表1，创建如下外表：DROPFOREIGNTABLEIFEXISTSproduct_info_ext;CREATEFOREIGNTABLEproduct_info_ext(product_

在存放数据源文件的服务器上，安装配置并启动GDS服务。以便后续应用GDS服务连通GaussDB200，进行数据导入。以root用户登录待安装GDS的数据服务器192.168.0.90，创建存放GDS工具包的目录/opt/bin。mkdir-p/opt/bin将GDS工具包上传至上一步所创建的目录中。

GaussDB200支持将存在远端服务器上的TEXT、CSV和FIXED格式的数据导入到集群中。本教程以CSV格式的数据为例进行演示。其他两种格式，方法相同，只在外表的相关参数项设置上有差异，详细请参见通过外表并行导入。准备数据源文件为了演示如何导入多个文件，此教程使用如下3个CSV格式的数据文件作

已准备好用于存放源数据的服务器，且此服务器可以与GaussDB200正常通信。

本教程旨在演示使用GDS（GaussDataService）工具将远端服务器上的数据导入GaussDB200中的办法，帮助您学习如何通过GDS进行数据导入的方法。在本教程中，您将：生成本教程需要使用的CSV格式的数据源文件。将数据源文件上传到数据服务器。创建外表，用于对接GDS和GaussDB200

教程：使用GDS从远端服务器导入数据教程指引先决条件步骤1：准备源数据步骤2：在数据服务器上安装配置和启动GDS步骤3：在GaussDB200数据库中创建外表步骤4：将数据导入GaussDB200步骤5：分析和处理错误表中的错误信息步骤6：优化导入数据的查询性能步骤7：停止GDS步骤8：清除资源

目前提供的倾斜查询接口有函数：table_distribution(schemanametext,tablenametext)、table_distribution()以及视图PGXC_GET_TABLE_SKEWNESS，客户可以根据自身业务情况来选择使用。场景一：磁盘满后快速定位存储倾斜的表首先

导入过程中对DN导入行数进行统计，导入完成后计算倾斜率，超过一定阈值时，立即进行告警。倾斜率通过（DN导入行数最大值-DN导入行数最小值）/导入总行数计算。目前，只支持INSERT和COPY导入。说明：必须设置enable_stream_operator=on，确保计划下发到DN，DN一次性返回导入

根据数据库的SQL执行机制以及大量的实践总结发现：通过一定的规则调整SQL语句，在保证结果正确的基础上，能够提高SQL执行效率。使用unionall代替unionunion在合并两个集合时会执行去重操作，而unionall则直接将两个结果集合并、不执行去重。执行去重会消耗大量的时间，因此，在一些实际

高效数据类型，主要包括以下三方面：尽量使用执行效率比较高的数据类型一般来说整型数据运算(包括=、＞、＜、≧、≦、≠等常规的比较运算，以及groupby)的效率比字符串、浮点数要高。比如某客户场景中对列存表进行点查询，filter条件在一个numeric列上，执行时间为10+s；修改numeric为i

分区表是把逻辑上的一张表根据某种方案分成几张物理块进行存储。这张逻辑上的表称之为分区表，物理块称之为分区。分区表是一张逻辑表，不存储数据，数据实际是存储在分区上的。分区表和普通表相比具有以下优点：改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索效率。增强可用性：如果分区表的某个分区出

局部聚簇（PartialClusterKey）是列存下的一种技术。这种技术可以通过min/max稀疏索引较快的实现基表扫描的filter过滤。PartialClusterKey可以指定多列，但是一般不建议超过2列。PartialClusterKey的选取原则：受基表中的简单表达式约束。这种约束一般形

Hash分布表的分布列选取至关重要，需要满足以下原则：列值应比较离散，以便数据能够均匀分布到各个DN。例如，考虑选择表的主键为分布列，如在人员信息表中选择身份证号码为分布列。在满足第一条原则的情况下尽量不要选取存在常量filter的列。例如，表dwcjk相关的部分查询中出现dwcjk的列zqdh存在

复制表（Replication）方式将表中的全量数据在集群的每一个DN实例上保留一份。主要适用于记录集较小的表。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销，同时减少了plansegment(每个plansegment都会起对应的线程)；

进行数据库设计时，表设计上的一些关键项将严重影响后续整库的查询性能。表设计对数据存储也有影响：好的表设计能够减少I/O操作及最小化内存使用，进而提升查询性能。表的存储模型选择是表定义的第一步。客户业务属性是表的存储模型的决定性因素，依据下面表格选择适合当前业务的存储模型。存储模型适用场景行存点查询(

最佳实践表设计最佳实践导入最佳实践SQL查询最佳实践数据倾斜查询最佳实践

DDL【建议】在GaussDB200中，建议DDL（建表、comments等）操作统一执行，在批处理作业中尽量避免DDL操作。避免大量并发事务对性能的影响。【建议】在非日志表（unloggedtable）使用完后，立即执行数据清理（truncate）操作。因为在异常场景下，GaussDB200不保证