-
编辑 删除
greenplum使用gpfdist与外部表高效导入数据
greenplum作为OLAP分析型软件，自然避免不了从外部数据库加载大量的数据，然而传统的ETL数据传输方法（select=>insert）到GP需要经过GP的单点master，效率非常低。下面介绍外部表用gpfdist快速导入数据：普通外部表和可写外部表区别：1、普通外部表只能select,可写外部表只能insert2、可写外部表没有错误...
-
编辑 删除
greenplum修改参数导致无法启动
修改参数share_buffergpconfig -c shared_buffers -v 1536MB重启使内存参数生效[gpadmin@gp-master ~]$ gpstop -M fast.......[gpadmin@gp-master ~]$ gpstart20160720:17:16:36:026125 gpstart:gp-master:gpadmin-[INFO]:-Starting gpstart with args:20160720:17:16:36:026125 gpstart:gp-master:gpadmin...
-
编辑 删除
the master's binary log is corrupted
主从复制报错，下面是从库复制状态：mysql> show slave status\G;*************************** 1. row *************************** Slave_IO_State: Waiting for master to send event ...
-
编辑 删除
mysql迁移到greenplum sql改造总结
greemplum的计算内核是postgresql，所有下面总结的几点也适用于mysql迁移到postgresql1、时间格式化mysql: select DATE_FORMAT(now(),'%Y%m%d%H%i%s') =>20160720035809 获取一个日期的年月日小时分钟秒字符串 注：%H表示24小时制GP： to_char(now(), 'YYYYMMDDHH24MISS') =>20160720155848获取一个日期...
-
编辑 删除
FEDERATED存储引擎实现oracle dblink功能及弊端
mysql FEDERATED存储引擎可以实现oracle dblink类似的远程访问功能，FEDERATED存储引擎需要针对每个需要远程访问的表进行逐一创建，而不能像oracle dblink有全局功能。mysql FEDERATED存储引擎默认是不开启的mysql> show engines;+--------------------+---------+------------------------------------------...
-
编辑 删除
主库reset master清理binlog日志到主从复制错误
今天看见主库binlog日志非常大，于是使用reset master命令清空日志mysql> reset master;Query OK, 0 rows affected (1 min 59.87 sec)结果从库就报错了mysql> show slave status\G;*************************** 1. row ***************************  ...
-
编辑 删除
GP增加计算节点
现集群环境master一台：centos6.7 4核4G主机名：gp-matser;IP:172.30.248.18 segment两台：centos6.7 4核4G主机名：gp-segment1;IP:172.30.251.189主机名：gp-segment2;IP:172.30.251.19新增两个节点centos6.7 4核4G主机名：gp-segment3;IP:172.30.251.7...
-
编辑 删除
GP诡异的查询转换
原始数据：edw=# select * from ods.my_test2; i_a | i_b | i_c -----+-----+-------- b | 5 | 201501 b | 5 | 201502 b | 6 | 201503 a | 1 | 201502 a | 1 | 201503 a | 1...
-
编辑 删除
mysql清除binlog日志
定期清理binlog日志可以避免磁盘满导致数据库异常关闭1、按文件:删除mysql-bin.000354之前的日志,不包含mysql-bin.000354MYSQL>purge binary logs to 'mysql-bin.000354';Query OK, 0 rows affected (0.16 sec)2、按时间:删除2011-11-10 00:00:00 之前的日志MYSQL>purge binary logs before '2011-11-10...
-
编辑 删除
mysql实现开窗函数
学习过oracle的应该知道，oracle中的分析函数功能十分强大，包括mssql、postgresql等数据库都支持开窗函数。然而mysql至今都没有提供这样的功能，今天就来探讨下用mysql实现一些开窗功能需求。实验数据：表sale| month | user_id | amount |+--------+---------+--------+| 201601 | 1 | &n...
-
编辑 删除
pg无法登陆
远程登陆GP的时候无法登陆[gpadmin@gp-master ~]$ psql -h172.30.248.18 -p5432 -dpostgres -Upgadminpsql: FATAL: no pg_hba.conf entry for host "172.30.248.18", user "pgadmin", database "postgres", SSL off原因：pg对IP控制很严，需要在pg_hba.conf中设置信任的IP地址信息才可以登陆，以下是p...
-
编辑 删除
greenplum安装部署
环境描述：master一台：centos6.7 4核4G主机名：gp-matser;IP:172.30.248.18 segment两台：centos6.7 4核4G主机名：gp-segment1;IP:172.30.251.189主机名：gp-segment2;IP:172.30.251.19GP DB版本号：4.3.8.0一：操作系统环境设置：1、检查所有主...
-
编辑 删除
MySQL 5.6.26 通过frm & ibd 恢复数据过程
在A服务器上创建数据库yoonroot(yoon)> show create table yoon\G*************************** 1. row *************************** Table: yoonCreate Table: CREATE TABLE `yoon` ( `id` int(11) DEFAULT NULL, `name` varchar(20) DEFAULT NULL) ENGINE=InnoDB DEFAULT CH...
-
编辑 删除
kettle创建资源库Incorrect integer value
今天创建kettle数据库资源库连接的时候出现Incorrect integer value: 'Y' for column 'ENABLED' at row 1，无法向表中插入数据CREATE TABLE R_USER( ID_USER BIGINT NOT NULL PRIMARY KEY, LOGIN VARCHAR(255), PASSWORD VARCHAR(255), NAME VARCHAR(255), DESCRIPTION VARCHAR(25...
-
编辑 删除
mysql临时表空间不够导致主从复制失败
今天早上上班，有用户反应今天的数据没有更新，于是看下slave进程mysql> show slave status\G;........ Slave_IO_Running: Yes Slave_SQL_Running: No  ...
-
编辑 删除
mysql主从搭建切换
环境：172.30.249.156 percona5.6.27 主机名：tr-mysql 跑着生产环境的应用的虚拟机192.168.129.153 percona5.6.27 主机名：trcloud-gtt-db 新申请的物理机工作内容：给生产环境数据库搭建主从架构，并将主库放到新申请的物理机上,连续停机不能超过10分钟...
-
编辑 删除
在线安全清空慢查询日志slowlog
mysql> show variables like '%slow_query%';+------------------------------------+-------------------------------+| Variable_name | Value |...
-
编辑 删除
mysql Warning
今天重启mysql错误日志显示有如下警告：2016-06-24 09:20:07 0 [Warning] option 'general_log': boolean value '/data/DB/mysql/select.log' wasn't recognized. Set to OFF.2016-06-24 09:20:07 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp serve...
-
编辑 删除
mysql查看缓冲池命中率
缓冲池是一块内存区域，在对数据库进行读取操作时，首先将数据从磁盘中读取到缓冲池中，那缓冲池命中率则是客户端请求的数据在直接在缓冲池获取的比例。想象下如果缓冲池命中率很低，大部分数据都要从磁盘读取，可想而知一个数据库的性能。作为一个mysql OLTP系统，缓冲命中率最好在百分99以上。...
-
编辑 删除
mysql实现merge into语法
mysql并不没有oracle、mssql的merge into语法，但是有个on duplicate key update语法（不是标准的sql语法）可以实现merge into语法实验一：更新所有字段mysql> select * from dup;+------+--------+-------+| id | name | phone |+------+--------+-------+| 1 | wujian | 12...
