导入数据-通过INSERT语句直接写入数据
用户可以通过以下方式执行INSERT语句直接向GaussDB200写入数据:使用GaussDB200提供的客户端工具向GaussDB200写入数据。请参见向表中插入数据。通过JDBC/ODBC驱动连接数据库执行INSERT语句向GaussDB200写入数据。详细内容请参见连接数据库。GaussDB2
示例-示例3:Private策略导入
假设集群共有4台主机,8个主DN,即每个主机上有2个主DN。待导入数据文件有8个,每个50MB。文件格式为CSV。以omm用户身份登录CN所在服务器,执行source${BIGDATA_HOME}/mppdb/.mppdbgs_profile命令启动环境变量。使用如下命令连接数据库。gsql-dpo
示例-示例2:Shared策略导入
导入前的准备。假设TEXT格式的数据源文件“foreign_tpcds_reasons.dat.0”保存在192.168.0.90服务器上“/input_data”目录下。在数据服务器上配置NFS服务。具体配置方法可以参考SUSEDOC:管理指南-配置NFS服务器。在数据服务器上启动NFS服务。se
示例-示例1:Normal策略导入
示例:多数据服务器并行导入规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90和192.168.0.91。数据源文件格式为CSV。创建导入的目标表tpcds.reasons。CREATETABLEtpcds.reasons(r_reason_skintegernotnull,r
通过外表并行导入-停止GDS
操作场景待导入数据成功后,停止GDS。操作步骤以gds_user用户登录安装GDS的数据服务器。请根据启动GDS的方式,选择停止GDS的方式。若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。执行如下命令,查询GDS进程号。ps-ef|grepgds示例:其中GDS进程号为128954。
通过外表并行导入-处理错误表
操作场景当数据导入发生错误时,请根据本文指引信息进行处理。查询错误信息数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。数据格式错误在创建外表时,通过设置参数“LOGINTOerror_table_name”,将数据导入过程中出现的数据格式错误信息写入指定的错误信息表error_tab
通过外表并行导入-执行导入数据
完成GDS的安装部署及外表创建后,本节介绍如何在GaussDB200数据库中创建事实表并将数据导入事实表中。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。前提条件需要确保每一个CN和DN所在服务器到GD
通过外表并行导入-创建GDS外表
外表中配置了数据源格式信息、GDS服务的访问信息,从而GaussDB200最终可以通过外表将数据服务器上的数据引流进数据库实表中。操作步骤收集数据源格式信息、GDS服务的访问信息。需要收集的主要数据源格式信息如下:format:GDS外表导入支持CSV、TEXT和FIXED格式。请确认存放在数据服务
通过外表并行导入-安装配置和启动GDS
操作场景GaussDB200提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同,本节以一台服务
通过外表并行导入-准备源数据
操作场景通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。我们称这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB200集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器
通过外表并行导入-教程和最佳实践
教程:使用GDS导入数据通过一个导入任务帮您了解GDS导入的全过程。GDS导入最佳实践给出了可以最大化利用系统资源,提高导入性能的方法,建议在开展数据导入前阅读以进行合理的导入方案规划和设计部署。
通过外表并行导入-关于并行导入
INSERT和COPY方式执行数据导入时,是一个串行执行的过程,导入性能低,因此适用于小数据量的导入。对于大数据量的导入,GaussDB200支持通过外表并行导入数据到集群。概述并行导入将存储在服务器普通文件系统中的数据导入到GaussDB200数据库中。暂时不支持将存储在HDFS文件系统上的数据导
开发者指南-导入数据
GaussDB200提供了灵活的数据入库方式:GDS、INSERT、COPY以及gsql元命令\copy。各方式具有不同的特点:GDS因其并行的特点,导入效率高,适用于大批量数据的入库;其他三种方式适用于小批量数据入库,可以考虑其特点自行选择。各导入方式的特点请参见表1。表1导入方式特点说明方式特点
设置数据库审计-设置文件权限安全策略
背景信息数据库在安装过程中,会自动对其文件权限(包括运行过程中生成的文件,如日志文件等)进行设置。其权限规则如下:数据库程序目录的权限为0750。数据库数据文件目录的权限为0700。集群部署时通过创建xml配置文件中的tmpMppdbPath参数指定目录(若未指定,则默认创建/tmp/$USER_m
设置数据库审计-维护审计日志
前提条件用户必须拥有审计权限。背景信息与审计日志相关的配置参数及其含义请参见表1。表1审计日志相关配置参数配置项含义默认值audit_directory审计文件的存储目录。mpp/用户名/pg_auditaudit_resource_policy审计日志的保存策略。on(表示使用空间配置策略)aud
设置数据库审计-查看审计结果
前提条件审计功能总开关已开启。需要审计的审计项开关已开启。数据库正常运行,并且对数据库执行了一系列增、删、改、查操作,保证在查询时段内有审计结果产生。数据库各个节点审计日志单独记录,如果使用了LVS负载管理机制,需根据LVS日志追溯到具体的执行节点,并直接连接该节点查询相关审计日志。背景信息只有拥有
设置数据库审计-审计概述
背景信息数据库安全对数据库系统来说至关重要。GaussDB200将用户对数据库的所有操作写入审计日志。数据库安全管理员可以利用这些日志信息,重现导致数据库现状的一系列事件,找出非法操作的用户、时间和内容等。关于审计功能,用户需要了解以下几点内容:审计总开关audit_enabled支持动态加载。在数
设置安全策略-设置密码安全策略
操作步骤用户密码存储在系统表pg_authid中,为防止用户密码泄露,GaussDB200对用户密码进行加密存储,所采用的加密算法由配置参数password_encryption_type决定。当参数password_encryption_type设置为1时,表示采用sha256方式对密码加密。当参
设置安全策略-设置帐号有效期
注意事项创建新用户时,需要限制用户的操作期限(有效开始时间和有效结束时间)。不在有效操作期内的用户需要重新设定帐号的有效操作期。操作步骤以操作系统用户omm登录CN所在主机,执行source${BIGDATA_HOME}/mppdb/.mppdbgs_profile命令启动环境变量。使用如下命令连接
设置安全策略-设置帐户安全策略
背景信息GaussDB200为帐户提供了自动锁定和解锁帐户、手动锁定和解锁异常帐户和删除不再使用的帐户等一系列的安全措施,保证数据安全。自动锁定和解锁帐户为了保证帐户安全,如果用户输入密码次数超过一定次数(failed_login_attempts),系统将自动锁定该帐户,默认值为10。次数设置越小