-
编辑 删除
gphdfs外部表和hive的融合
一、在所有节点上安装java1.6或以上版本二、在segment上安装hadoop，支持以下版本。Hadoop DistributionVersiongp_hadoop_ target_versionPivotal HD...
-
编辑 删除
greenplum何时收集统计信息
在GP的postgresql.conf中有控制自动收集统计信息的参数 gp_autostats_mode设置，gp_autostats_mode有三个值：none、no_change、no_no_stats（默认）none：禁止收集统计信息no_change：当一条DML执行后影响的行数超过gp_autostats_on_change_threshold参数指定的值时，会执行完这条DML后再自动执行一个analyze的操...
-
编辑 删除
GP修改参数导致重启失败
[gpadmin@gp-segment5 ]$ gpstart ..... 20170104:16:35:48:000907 gpstart:gp-segment5:gpadmin-[CRITICAL]:-Failed to start Master instance in admin mode 20170104:16:35:48:000907 gpstart:gp-segment5:gpadmin-[CRITICAL]:-Error occurred: non-zero rc: 1 Command was: 'env GPSESSID=0000...
-
编辑 删除
GP standby切换成master
GP集群master服务器挂了，需要手动将standby切换成master，让集群继续对外提供服务1、执行gpactivatestandby激活standby[gpadmin@gp-segment5 ~]$ gpactivatestandby -d $MASTER_DATA_DIRECTORY-bash: gpactivatestandby: command not found找不到gpactivatestandby命令，猜测可能是环境变量的原...
-
编辑 删除
pg_stats没有表统计信息
数据库中表的统计信息保存在pg_statistic中，pg_stats是pg_statistic数据字典上的一个视图，可以方便我们看pg_statistic的内容。现要通过数据字段获取数据库中所有的表和对应的schema名字返回给服务端，这个时候pg_stats视图就派上用场了！但是遇到了一些表在pg_stats中没有信息，今天就一探究竟什么时候pg_stats...
-
编辑 删除
Failed to start Master instance in admin mode
GP无法启动，信息如下：[gpadmin@gp-master gpseg-1]$ gpstart20161223:09:32:09:002004 gpstart:gp-master:gpadmin-[INFO]:-Starting gpstart with args:20161223:09:32:09:002004 gpstart:gp-master:gpadmin-[INFO]:-Gathering information and validating the environment...20161223:09:32:09:002004...
-
编辑 删除
greenplum vacuum
greenplum中所有的delete并没有删除数据，而是将这数据标识为delete,而且update是delete加insert操作，随着业务的发展，表的大小就会越来越大。green提供的vacuum工具回收已经删除的数据。 简单的vacuum会回收空间并可再次利用，vacuum表时没有请求排它锁，其他操作仍可以对表进行读写。 vacuum full回收空间会跨...
-
编辑 删除
greenplum 简单sql优化案例
数据仓库刚迁到GP上，发现下面sql语句运行起来并没有想象中的快，三个表总数据量150万，结果集70万条记录，却运行了7秒多，感觉有蹊跷。这里记录了整个优化过程。语句如下：selecta.pay_date,c.user_id,a.order_id,COALESCE(a.amount,0.00),d.product_type,d.base_rate,d.add_rate,...
-
编辑 删除
relation with OID 637165 does not exist
执行存储报错对象表不存在，而且这个OID还会变，存储中有段如下代码，循环删除、删除并使用同一个临时表表名，猜测和临时表有关 。查找资料得知PostgreSQL版本＜8.3（GP4.3.8是pg8.2引擎），如果一个PL / pgsql函数访问一个临时表，然后这个临时表删除并重新创建，并再次调用，该函数会失败，因为缓存的功能内容仍指向老 ...
-
编辑 删除
gp_dump备份恢复greenplum
gp_dump是GP并行备份的备份工具，在运行gp_dump的时候master与所有的segment节点都开始备份，数据文件都是放在各种的节点服务器上，消耗的时间和数据量最大的、消耗时间最长的节点有关，这里就不全部介绍gp_dump所有的参数，可以自行gp_dump --help查看。下面只介绍下面实验用到的参数。...
-
编辑 删除
greenplum使用gpfdist与外部表高效导入数据
greenplum作为OLAP分析型软件，自然避免不了从外部数据库加载大量的数据，然而传统的ETL数据传输方法（select=>insert）到GP需要经过GP的单点master，效率非常低。下面介绍外部表用gpfdist快速导入数据：普通外部表和可写外部表区别：1、普通外部表只能select,可写外部表只能insert2、可写外部表没有错误...
-
编辑 删除
greenplum修改参数导致无法启动
修改参数share_buffergpconfig -c shared_buffers -v 1536MB重启使内存参数生效[gpadmin@gp-master ~]$ gpstop -M fast.......[gpadmin@gp-master ~]$ gpstart20160720:17:16:36:026125 gpstart:gp-master:gpadmin-[INFO]:-Starting gpstart with args:20160720:17:16:36:026125 gpstart:gp-master:gpadmin...
-
编辑 删除
mysql迁移到greenplum sql改造总结
greemplum的计算内核是postgresql，所有下面总结的几点也适用于mysql迁移到postgresql1、时间格式化mysql: select DATE_FORMAT(now(),'%Y%m%d%H%i%s') =>20160720035809 获取一个日期的年月日小时分钟秒字符串 注：%H表示24小时制GP： to_char(now(), 'YYYYMMDDHH24MISS') =>20160720155848获取一个日期...
-
编辑 删除
GP增加计算节点
现集群环境master一台：centos6.7 4核4G主机名：gp-matser;IP:172.30.248.18 segment两台：centos6.7 4核4G主机名：gp-segment1;IP:172.30.251.189主机名：gp-segment2;IP:172.30.251.19新增两个节点centos6.7 4核4G主机名：gp-segment3;IP:172.30.251.7...
-
编辑 删除
GP诡异的查询转换
原始数据：edw=# select * from ods.my_test2; i_a | i_b | i_c -----+-----+-------- b | 5 | 201501 b | 5 | 201502 b | 6 | 201503 a | 1 | 201502 a | 1 | 201503 a | 1...
-
编辑 删除
pg无法登陆
远程登陆GP的时候无法登陆[gpadmin@gp-master ~]$ psql -h172.30.248.18 -p5432 -dpostgres -Upgadminpsql: FATAL: no pg_hba.conf entry for host "172.30.248.18", user "pgadmin", database "postgres", SSL off原因：pg对IP控制很严，需要在pg_hba.conf中设置信任的IP地址信息才可以登陆，以下是p...
-
编辑 删除
greenplum安装部署
环境描述：master一台：centos6.7 4核4G主机名：gp-matser;IP:172.30.248.18 segment两台：centos6.7 4核4G主机名：gp-segment1;IP:172.30.251.189主机名：gp-segment2;IP:172.30.251.19GP DB版本号：4.3.8.0一：操作系统环境设置：1、检查所有主...
