-
编辑 删除
redo日志文件格式(3)—mysql进阶（六十一)
前面我们说了修改一条数据总不能吧16kb的页全部持久化到磁盘上，于是有了redo日志，记录哪些修改的数据，redo日志也有自己的缓存区，并不是直接把数据记录到磁盘上，缓存区是innoDB_redo_buffer_size，默认是16mb，为了保证原子性，他会分为不同的组，当乐观插入的时候，只有一条数据需要插入，则type的个字节是1，代表只有一条插入，当悲观插入多条插入的时候，会有一个MLOG_MULTI_REC_END的日志，表示这组记录完毕，若系统宕机重启，解析redo日志时候，没有解析到这个，则前面解析的全部放弃。
-
编辑 删除
redo log-Transaction(2)—mysql进阶（六十)
前面我们说了为了吧buffer pool的数据持久化到磁盘上，比如修改了一条数据，不可能每次吧整个页的数据都刷新过去，这样耗费性能，innoDB就是把修改的数据记录在redo日志里，redo日志格式主要是spaceId，type，page_number，offset，Data等。Offset记录上一条数据的地址，为了修改上一条记录头部新的next record，data记录的就是真实数据。Redo日志主要关注的就是一条语句修改了多少b+树，针对其中某颗树，可能增加了页，也可能更新了叶子节点或者内节点。他会记录修改日志或者删除日志，而删除日志格式又会分为开始和结束，MLOG_COMP_LIST_START_DELETE和MLOG_COMP_LIST_END_DELETE。
-
编辑 删除
redo log(1)—mysql进阶（五十九)
上篇文章说了我们可以用begin 和statr transaction，提交可以commit，rollback回滚，可以指定回滚到保存点，也可以设置全局变量set autocommit off。也会隐式提交，比如开启事务后，如果操作或者新增了表，比如create table等语句，会隐式提交前面的sql。
-
编辑 删除
transaction (2)—mysql进阶（五十八)
上篇文章说了acid四个事务的特性，原子性保证要不两个sql一起执行，要么不执行，隔离性，两个事务之间必须互不干扰，一致性，两边的数据必须保持一致，可以说一致性的前提是原子性和隔离性必须正常，但原子性和隔离性都正常，就能保证一致性吗？并不是，还必须满足其他一些约束，比如金额不能为负数。持久性就是必须持久化到磁盘才算事务成功。
-
编辑 删除
transaction (1)—mysql进阶（五十七)
前面说了当设置的buffer_pool_size在1个G内，则不管如何设置，buffer_pool_instances都是一个，当在1个G以上，mysql才支持多个instances设置，每个都有自己独立的链表，多线程的情况下互不干扰运行。
-
编辑 删除
多个buffer Pool实例 (3)—Buffer Pool（五十六)
前面说了lru链表，为了防止mysql的预读和全表查询刷新pool的频率太高，所以把lru链表分为young区域和old区域，但是频繁的移动lru链表也影响性能，所以当在young后半部1/4区域的时候，才会移动到前面。初始数据从磁盘刷新到内存中，先是进入old区域，当超过1S之后继续访问，则会移动到young区域。预读分为两种，种是当mysql检测到执行语句按顺序查询超过一定值，则会吧下一个区的所有页全部都预先刷新到缓存页里，第二种就是13个页在同一个区，这时候会吧这个区的数据全部刷新到缓存页。
-
编辑 删除
LRU链表管理(2)—Buffer Pool（五十五)
前面说了buffer pool的重要性，每次查询数据并不是I/O从磁盘获取的，而是吧磁盘上的数据刷新到buffer pool里，里面组成有缓存页和控制块，缓存页可以用innoDB_buffer_pool_size设置，控制块的内存是单独存储的。分为free链表和flush 链表，mysql数据库启动的时候，free链表里面存储的是申请的空闲缓存页。如果修改了缓存页，导致和磁盘上的数据不一致的脏数据，所以这时候flush就有 用处了，每次隔一段时间吧flush 链表的数据更新到磁盘上，并不是吧所有buffer pool的数据更新上。
-
编辑 删除
磁盘&CPU调节(1)—Buffer Pool（五十四)
上篇文章说mysql5.6之后新增了系统变量optimizer_tance可以看到他的优化过程。
-
编辑 删除
Optimizer trance—mysql进阶（五十三)
前面介绍了，如果加个format=JOSN会把数据以json的格式返回，如果想看查询的额外信息，还可以在explain之后加个show warning查看，其中如果code为1003，则代表message里的内容是mysql优化器优化之后的sql。
-
编辑 删除
JSON格式执行计划（6）—mysql执行计划（五十二)
前面我们说了extra，这个主要显示额外的信息，比如如果没有填写表，会显示no table，用了索引会显示using index，全表扫描或者回表，则会显示using where，如果mysql优化器转内部查询，还会吧内部查询选择的策略显示出来，比如内部连接临时表去重复值查询，比如松散查询，比如原则的方法，循环查询。
-
编辑 删除
Extra（5）—mysql执行计划（五十一)
前面说了有type,simple表示普通查询或者连接查询，primary代表union最左边的select，union result代表union查询的临时表去重，所以union all没有去重功能，subquery代表in的子查询物化表的情况下才会出现，dependent subquery代表相关子查询，dependent union代表相关union查询，还有driverd子查询，from后面的，也需要物化，还有物化后转连接查询，这些都能看到mysql优化器是采用哪种查询方式。
-
编辑 删除
key&key_len&ref&filtered（4）—mysql执行计划（五十)
前面说了system是存储引擎和只存一条数据，const是主键和索引才能达到的效率访问，ref是二级索引等值查询，或者联合索引全部等值，如果联合索引单个查询，则是index，ref_not是二级索引等值查询而且有null，range代表分区查询，all代表全表查询。
-
编辑 删除
TYPE（3）—mysql执行计划（四十九)
前面我们说过了mysql执行sql语句会采用什么方法，比如const，ref，ref_or_null,range,index,all，这个type就代表执行sql的查询方法，但我们前面只说了innoDB存储引擎进行表单访问的一些方法，完整的我们下面介绍一下。
-
编辑 删除
Select type&partitions (2)—mysql执行计划（四十八)
前面说了explain的table是表名，显示在前面的代表驱动表，正常select会出现不同的id，但如果子查询本来是两个select，但被优化成连接查询，就会导致是相同的id，union查询会出现临时表，id为null，这个临时表作用于去重，union all不需要去重，所以也就不需要建立临时表。
-
编辑 删除
id，table列(1)—mysql执行计划（四十七)
前面说了semi-join，这个是在where或者on语句后面，in里面，并且外层的条件必须用and与子查询连接，semi-join的作用就是，不管子查询有多少条数据返回，都不管，外层都只查询出来外层表数据，如果不符合条件，可以用物化表或者in变exists方法优化。还有派生表查询，可以内外合并，不行的话就物化查询。
-
编辑 删除
Semi-join使用条件，派生表优化 (3)—mysql基于规则优化（四十六)
前面说了子查询里有no/any/all不能用limit，group by，order by等，他会被查询优化器优化掉，子查询可能会物化转成内连接semi-join查询，物化就是会吧子查询看做一个表，如果数据太大，超过系统变量tmp_table_size，则会在磁盘里创建b+树的临时表，如果比较小，则会创建内存里hash树的临时表，之后会物化表转连接，但如果直接转where 和on，则可能会出现子查询多条的情况，我们的真实需求并不需要多条，所以有了semi-join。
-
编辑 删除
子查询注意事项&semi-join(2)—mysql基于规则优化（四十五)
前面说了mysql会吧一些冗余的sql语句查询优化重写，比如多于的括号，比如有的外连接其实跟内连接类似，可以优化查询表的顺序。子查询又分为相关和不相关子查询，如果子查询过滤条件里有外层查询的参数，则是相关子查询，反之则是不相关子查询。Any函数就代表只要有一个就行，小的，all代表必须所有的都满足这个条件，所以必须大的也满足。当我们判断子查询里是否存在的时候，则用exists判断，有则返回true。
-
编辑 删除
条件简化&子查询（1）--Mysql基于规则优化（四十四)
上篇文章说了统计数据可以用show table status和show index from 表名查看，可以存着性和非性，innodb_stats_persistent控制着是否开启性，innoDb_stats_persistent_sample_pages和innoDB_stats_transient_sample_pages可以控制采集页面统计，innoDb_stats_auto_recalc控制是否自动计算，都可以在创建表的时候设置。
-
编辑 删除
innoDB数据收集方式—性&非性（四十三)
上篇文章说了连接查询的成本，主要由驱动表的扇出值和被驱动表的查询方法决定，而成本这些都是可以在%cost%表查看的，因为分为server和engine表，server不管理数据成本，里面包含连接管理，查询缓存，sql解码，sql优化，engine就是数据引擎成本，而distinct，union等特殊查询，会建立临时表，临时表看数据量可能建立磁盘或者内存，比如distinct会用unique索引建立临时表去重。
-
编辑 删除
连接查询成本(2)---mysql进阶（四十二)
前面说了mysql每次索引优化是有成本的，先看全表扫描成本，在看索引扫描成本，后选出小成本，每次访问页的成本量大概是1，读取和效验数据是否符合条件，成本大概是0.2，读取和效验数据和文件排序等称为CPU成本，查询页等称为I/O成本。可以用show index from tb，来看表都有什么数据，其中cardinality表示重复率，比较重要
