-
编辑 删除
一个服务器安装多个postgresql
下载postgresql94-libs-9.4.4-1PGDG.rhel6.x86_64.rpm postgresql94-9.4.4-1PGDG.rhel6.x86_64.rpm postgresql94-server-9.4.4-1PGDG.rhel6.x86_64.rpm postgresql94-contrib-9.4.4-1PGDG.rhel6.x86_64.rpm1、依次安装[root@localhost upload]# rpm -iv...
-
编辑 删除
mysql checkpoint
checkpoint检查点主要是刷新脏页到磁盘上，使数据库达到数据状态一致性的工作。因为事务的提交只会刷新操作日志到磁盘，脏数据是异步刷新到磁盘，这个异步就是靠checkpoint。一、主要解决以下问题：1、恢复的时候减少前滚操作，减少恢复时间2、回收脏页，循环利用缓存池3、重做日志不可用，刷新脏页...
-
编辑 删除
【MySQL】order by 原理以及优化
偏向于业务的(MySQL)DBA或者业务的开发者来说，order by 排序是一个常见的业务功能，将结果根据指定的字段排序，满足前端展示的需求。然而排序操作也是经常出现慢查询排行榜的座上宾。本文将从原理和实际案例优化，order by 使用限制等几个方面来逐步了解order by 排序。
-
编辑 删除
greenplum 简单sql优化案例
数据仓库刚迁到GP上，发现下面sql语句运行起来并没有想象中的快，三个表总数据量150万，结果集70万条记录，却运行了7秒多，感觉有蹊跷。这里记录了整个优化过程。语句如下：selecta.pay_date,c.user_id,a.order_id,COALESCE(a.amount,0.00),d.product_type,d.base_rate,d.add_rate,...
-
编辑 删除
relation with OID 637165 does not exist
执行存储报错对象表不存在，而且这个OID还会变，存储中有段如下代码，循环删除、删除并使用同一个临时表表名，猜测和临时表有关 。查找资料得知PostgreSQL版本＜8.3（GP4.3.8是pg8.2引擎），如果一个PL / pgsql函数访问一个临时表，然后这个临时表删除并重新创建，并再次调用，该函数会失败，因为缓存的功能内容仍指向老 ...
-
编辑 删除
gp_dump备份恢复greenplum
gp_dump是GP并行备份的备份工具，在运行gp_dump的时候master与所有的segment节点都开始备份，数据文件都是放在各种的节点服务器上，消耗的时间和数据量最大的、消耗时间最长的节点有关，这里就不全部介绍gp_dump所有的参数，可以自行gp_dump --help查看。下面只介绍下面实验用到的参数。...
-
编辑 删除
greenplum使用gpfdist与外部表高效导入数据
greenplum作为OLAP分析型软件，自然避免不了从外部数据库加载大量的数据，然而传统的ETL数据传输方法（select=>insert）到GP需要经过GP的单点master，效率非常低。下面介绍外部表用gpfdist快速导入数据：普通外部表和可写外部表区别：1、普通外部表只能select,可写外部表只能insert2、可写外部表没有错误...
-
编辑 删除
greenplum修改参数导致无法启动
修改参数share_buffergpconfig -c shared_buffers -v 1536MB重启使内存参数生效[gpadmin@gp-master ~]$ gpstop -M fast.......[gpadmin@gp-master ~]$ gpstart20160720:17:16:36:026125 gpstart:gp-master:gpadmin-[INFO]:-Starting gpstart with args:20160720:17:16:36:026125 gpstart:gp-master:gpadmin...
-
编辑 删除
the master's binary log is corrupted
主从复制报错，下面是从库复制状态：mysql> show slave status\G;*************************** 1. row *************************** Slave_IO_State: Waiting for master to send event ...
-
编辑 删除
mysql迁移到greenplum sql改造总结
greemplum的计算内核是postgresql，所有下面总结的几点也适用于mysql迁移到postgresql1、时间格式化mysql: select DATE_FORMAT(now(),'%Y%m%d%H%i%s') =>20160720035809 获取一个日期的年月日小时分钟秒字符串 注：%H表示24小时制GP： to_char(now(), 'YYYYMMDDHH24MISS') =>20160720155848获取一个日期...
-
编辑 删除
FEDERATED存储引擎实现oracle dblink功能及弊端
mysql FEDERATED存储引擎可以实现oracle dblink类似的远程访问功能，FEDERATED存储引擎需要针对每个需要远程访问的表进行逐一创建，而不能像oracle dblink有全局功能。mysql FEDERATED存储引擎默认是不开启的mysql> show engines;+--------------------+---------+------------------------------------------...
-
编辑 删除
主库reset master清理binlog日志到主从复制错误
今天看见主库binlog日志非常大，于是使用reset master命令清空日志mysql> reset master;Query OK, 0 rows affected (1 min 59.87 sec)结果从库就报错了mysql> show slave status\G;*************************** 1. row ***************************  ...
-
编辑 删除
GP增加计算节点
现集群环境master一台：centos6.7 4核4G主机名：gp-matser;IP:172.30.248.18 segment两台：centos6.7 4核4G主机名：gp-segment1;IP:172.30.251.189主机名：gp-segment2;IP:172.30.251.19新增两个节点centos6.7 4核4G主机名：gp-segment3;IP:172.30.251.7...
-
编辑 删除
GP诡异的查询转换
原始数据：edw=# select * from ods.my_test2; i_a | i_b | i_c -----+-----+-------- b | 5 | 201501 b | 5 | 201502 b | 6 | 201503 a | 1 | 201502 a | 1 | 201503 a | 1...
-
编辑 删除
mysql清除binlog日志
定期清理binlog日志可以避免磁盘满导致数据库异常关闭1、按文件:删除mysql-bin.000354之前的日志,不包含mysql-bin.000354MYSQL>purge binary logs to 'mysql-bin.000354';Query OK, 0 rows affected (0.16 sec)2、按时间:删除2011-11-10 00:00:00 之前的日志MYSQL>purge binary logs before '2011-11-10...
-
编辑 删除
mysql实现开窗函数
学习过oracle的应该知道，oracle中的分析函数功能十分强大，包括mssql、postgresql等数据库都支持开窗函数。然而mysql至今都没有提供这样的功能，今天就来探讨下用mysql实现一些开窗功能需求。实验数据：表sale| month | user_id | amount |+--------+---------+--------+| 201601 | 1 | &n...
-
编辑 删除
pg无法登陆
远程登陆GP的时候无法登陆[gpadmin@gp-master ~]$ psql -h172.30.248.18 -p5432 -dpostgres -Upgadminpsql: FATAL: no pg_hba.conf entry for host "172.30.248.18", user "pgadmin", database "postgres", SSL off原因：pg对IP控制很严，需要在pg_hba.conf中设置信任的IP地址信息才可以登陆，以下是p...
-
编辑 删除
greenplum安装部署
环境描述：master一台：centos6.7 4核4G主机名：gp-matser;IP:172.30.248.18 segment两台：centos6.7 4核4G主机名：gp-segment1;IP:172.30.251.189主机名：gp-segment2;IP:172.30.251.19GP DB版本号：4.3.8.0一：操作系统环境设置：1、检查所有主...
-
编辑 删除
MySQL 5.6.26 通过frm & ibd 恢复数据过程
在A服务器上创建数据库yoonroot(yoon)> show create table yoon\G*************************** 1. row *************************** Table: yoonCreate Table: CREATE TABLE `yoon` ( `id` int(11) DEFAULT NULL, `name` varchar(20) DEFAULT NULL) ENGINE=InnoDB DEFAULT CH...
-
编辑 删除
kettle创建资源库Incorrect integer value
今天创建kettle数据库资源库连接的时候出现Incorrect integer value: 'Y' for column 'ENABLED' at row 1，无法向表中插入数据CREATE TABLE R_USER( ID_USER BIGINT NOT NULL PRIMARY KEY, LOGIN VARCHAR(255), PASSWORD VARCHAR(255), NAME VARCHAR(255), DESCRIPTION VARCHAR(25...
