MYSQL 5.6 5.7处理数据分布不均的问题(eq_range_index_dive_limit参数)
处理数据分布不均,orace数据库使用额外的统计数据直方图来完成,而MYSQL中统计数据只有索引的不同值这样一个统计数据,那么我们制出如下数据:mysql> select * from test.testf;+------+----------+| id | name |+------+----------+| 1 | gaopeng || 2 | g...
如何快速找到MYSQL binlog中的大事物以及生成量分布(infobin工具)
原创注明出处1、问题引出:某些时候需要判断binlog中是否有大事物的存在,比如在解决master-slave延迟高的情况下。一般我们使用mysqlbinlog来找,但是遇到一个问题,使用mysqbinlog来找比较麻烦,有没有一个快速的方法呢?当然使用shell脚本来做一些格式化,也可以找到,这里介绍一个工具叫做infobin 来做,是我自己...
mysql 大事物commit慢造成全库堵塞问题
原创转载请注明出处本文使用引擎INNODB版本MYSQL5.7.13sync_binlog = 1innodb_flush_log_at_trx_commit = 1也就是双1设置,本文使用通过对mysql 进行trace,gdb 自制工具infobin,以及select * from sys.session where command'SLEEP' \G完成。 这里只是涉及binlog的写入问题和innodb层无关1、问题由来&...
MYSQL 什么时候同步binlog文件以及它的临时文件在哪里?
原创:转载请注明出处本文参考5.7官方文档以及对MYSQL进行trace和GDB,使用自制binlog解析工具infobin 获取可以通过百度云盘http://pan.baidu.com/s/1jHIWUN0帮助:http://blog.itpub.net/7728585/viewspace-2133534/使用引擎innodb以及mysql 5.7.131、什么时候同步bin log到bin log文件我们知道在语句执行期间b...
解析MYSQL BINLOG二进制格式(10)--问题解答
原创转发请注明出处上接http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作 http://blog.itpub.net/7728585/viewspace-2133189/ 解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT http://blog.itpub.net/7728585/viewspace-2133321/ 解析MYSQL BINLOG ...
解析MYSQL BINLOG二进制格式(9)--infobin解析binlog帮助文档
原创:转载请说明出处谢谢!上接http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作 http://blog.itpub.net/7728585/viewspace-2133189/ 解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT http://blog.itpub.net/7728585/viewspace-2133321/ 解析MYSQL ...
解析MYSQL BINLOG二进制格式(8)--GTID_LOG_EVENT/ANONYMOUS_GTID_LOG_EVENT及其他
原创:转载请说明出处谢谢!上接http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作 http://blog.itpub.net/7728585/viewspace-2133189/ 解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT http://blog.itpub.net/7728585/viewspace-2133321/ 解析MYSQL B...
解析MYSQL BINLOG 二进制格式(7)--Xid_log_event/XID_EVENT
原创:转载请说明出处谢谢!上接http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作 http://blog.itpub.net/7728585/viewspace-2133189/ 解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT http://blog.itpub.net/7728585/viewspace-2133321/ 解析MYSQL B...
解析MYSQL BINLOG 二进制格式(6)--UPDATE_ROW_EVENT/DELETE_ROW_EVENT
原创:转载请说明出处谢谢!上接http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作 http://blog.itpub.net/7728585/viewspace-2133189/ 解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT http://blog.itpub.net/7728585/viewspace-2133321/ 解析MYSQL B...
解析MYSQL BINLOG 二进制格式(5)--WRITE_ROW_EVENT
原创:转载请说明出处谢谢!上接http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作 http://blog.itpub.net/7728585/viewspace-2133189/ 解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT http://blog.itpub.net/7728585/viewspace-2133321/ 解析MYSQL B...
解析MYSQL BINLOG 二进制格式(4)--TABLE_MAP_EVENT
原创:转载请说明出处谢谢!上接http://blog.itpub.net/7728585/viewspace-2133188/ 解析MYSQL BINLOG 二进制格式(1)--准备工作 http://blog.itpub.net/7728585/viewspace-2133189/ 解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT http://blog.itpub.net/7728585/viewspace-2133321/ 解析MYSQL B...
解析MYSQL BINLOG 二进制格式(3)--QUERY_EVENT
解析MYSQL BINLOG 二进制格式(3)--QUERY_EVENTclass:Query_log_eventevent:QUERY_EVENTevent_code:02参考源:1、log_event.h 中关于class Query_log_event的解释2、log_event.cc3、internals-en.epub文档和源码解释都为如果发生改变数据库的语句都会在这部分显示 Query_log_event is created for each q...
解析MYSQL BINLOG 二进制格式(2)--FORMAT_DESCRIPTION_EVENT
参考源:1、源码log_event.h log_event.cc2、internals-en.epubclass:Format_description_log_eventevent:FORMAT_DESCRIPTION_EVENTmysql 5.0后所有的binlog 文件都是以FORMAT_DESCRIPTION_EVENT(FED) event开始的,其typecode=15及0X0F它的格式为:1、fixed data part 2 bytes:binlog 的格式版...
解析MYSQL BINLOG 二进制格式(1)--准备工作
参考源:1、源码log_event.h log_event.cc pack.c2、internals-en.epub一、目的 本系列文件主要为了说明1、为什么说row格式较statement更占空间2、为什么说row格式的binlog更加安全3、INSERT/UPDATE/DELETE是生成的row binlog如何直接看懂二进制格式4、DDL生成的binlog是怎么样的5、INSERT SELECT/C...
自己开发的MYMON工具监控MYSQL运行状态帮助文档
本工具为采集show global status 实时输出的一个监控工具,工具源码大约1000行代码本文主要为说明文档,并且带有核心源码。一、此工具展示方式: 工具将show global status中一些重要的值按照用户输入的描述和次数不断的打印到前台或者打印到指定文件中,用于帮助DBA进行性能诊断或者瓶颈判断。...
MYSQL的CHAR和VARCHAR注意事项 以及binary和varbinary存储方式
版本使用5.7 存储引擎INNODB 行格式Dynamic从概念上讲他们用于存放字符型数据,其允许的范围:1、char 0-255 bytes,固定长度,不够的长度用ASCII 0X20进行补足。2、varchar 0-65535(2^8-1)bytes,注意是整个表所有的varchar字段的长度,所谓 可变长度,就是按需分配空间。下面就几个问题进行讨论:第一个问题...
ORACLE MYSQL中join 字段类型不同索引失效的情况
关于JOIN使用不同类型的字段类型,数据库可能进行隐士转换,MYSQL ORACLE都是如此,下面使用一个列子来看看,脚本如下:mysql:drop table testjoin1;drop table testjoin2;create table testjoin1(id int, name varchar(20));create table testjoin2(id varchar(20),name varchar(20),key(id);oracle:drop tab...
关于MYSQL DML(UPDATE DELETE)中的子查询问题和ERROR 1093 (HY000)错误
从5.6开始MYSQL的子查询进行了大量的优化,5.5中只有EXISTS strategy,在5.7中包含如下:IN(=ANY)--Semi-join --table pullout(最快的,子查询条件为唯一键) --first match --semi-join materialization --loosescan --duplicateweedout--Materialization--EXISTS strategy(最慢的)N...
MYSQL 中的GROUP BY 的方式 (1)(loose index scan松散扫描 tight index scan紧凑扫描)
水平有限有误请指出,转载请说明出处测试脚本:create table tgrploose(p_id int primary key auto_increment,s_id1 int,s_id2 int,s_id3 int, key(s_id1,s_id2,s_id3));create table tgrpnloose(p_id int primary key auto_increment,s_id1 int,s_id2 int,s_id3 int, key(s_id1,s_id2,s_id3)); delimiter //...
MYSQL实现ORDER BY LIMIT的方法以及优先队列(堆排序)
一、MYSQL中的LIMIT和ORACLE中的分页在MYSQL官方文档中描述limit是在结果集中返回你需要的数据,它可以尽快的返回需要的行而不用管剩下的行,在ORACLE中也有相关的语法比如 12C以前的rownun