mysql基于成本的优化(1)---mysql进阶(四十一)
前面我们说了join查询原理,基本的是嵌套查询,这种不推荐,如果数据量庞大,因为内存是有限的,不能放下所有的数据,可能查询到后面的时候,前面的数据就从内存从释放,为了减少磁盘的查询次数,有了join buffer这个缓存区,专门放被驱动表的数据,用来匹配查询出来的驱动表数据是否符合,当然还是建议用索引来查询。
Join原理(2)--连接原理(四十)
前面说了join的用法,外连接有左连接,右连接,内连接,当用外连接的时候,on代表驱动表数据一定会查询来,被驱动表则查出来是null,内连接则on和where使用是一样的,where则是全部过滤掉,不管驱动还是被驱动表不符合的都不返回。
Join,left join,right join(1)--连接原理(三十九)
前面说了mysql优化器访问数据库的方法有const,ref,ref_or_null,range,index,all。然后又分为条件全部是索引回表查询,和条件有非索引查询,则需要回表之后,在过滤。又有intersection合并索引和union并集索引,当两个单独二级索引查询,不是联合索引查询,可能会触发这两个索引查询,用and是intersection,用or是union查询,触发有两个注重点:
索引合并Intersection、union (3)--单表访问方法(三十八)
上篇文章我们说了,使用索引的注意事项,前面我们总结了查询数据库的方式有const,ref,ref_or_null,range,index,all,而使用时候需要注意,当where语句后面全是索引查询,当where语句后面跟着非索引的时候,当用and连接,比如where key1 and 非索引 = ‘abc’,这时候会先二级索引查询索引b+树进行回表。若用where key1 or 非索引 = ‘abc’,这时候会直接全表查询
二级索引查询注意事项(2)--单表访问方法(三十七)
前面说了explain参数的type代表访问数据库的方法,如果用主键和二级索引,测试快的const方法,若用普通索引,则是ref,还有ref_or_null,range是代表区间查询,若用index则代表查询联合索引的非左边索引,后是all。
访问方法access method---单表访问方法(三十六)
上篇文章回忆了innodDB的独立表空间和系统表空间的结构,因为需要梳理的知识点太多,所以额外用一篇。
独立表空间&系统表空间总结---innoDB表空间(三十五)
当在建立表的时候,在文件系统空间会生成同名的目录或者文件,一个页有16kb,我们都知道查询是通过b+树查找的,但如果数据太多,页之前又是通过双向链表查询的,物理空间不在一起,这时候查询就是随机I/O,为了两个页查询的距离不是很远,所以又有区的概念,64个页分为一个区,而256个区又分为一个组,所以当一个新表插入数据的时候,是根据区来插入的,区又属于段下面。
Data dictionary header(2) --系统表空间结构(三十四)
前面说了系统表空间的整体结构,与独立表空间大致类似,多了五个特有的系统属性页,因为整个表空间只有一个系统表空间,所以他的重要性不言而喻,space id为0
整体结构&InnoDB数据字典(1) --系统表空间结构(三十三)
前面说了xdes 类型页面,页的extent0里面的xdes页面叫做fsp 因为里面还存着表空间的数据file space header,这里面主要存着xdes entry几个链表的基点,和inode entry链表的基点,后面的每个组页都是xdes类型页面。
Xdes&Inode&Seg Header(6) 独立表空间结构(三十二)
前面说了每256个区为一组,而FSP HDR是个组extent0 里面个页,这里面有特殊的file space Header部分,整个表空间直属管理,存着free链表,free_frag链表,full_frag链表,及其fseg里面的free,not full,full链表的基点,方便以后定位。
File Space Header & xdes(5)FSP HDR独立表空间结构(三十一)
前面我们说了段的结构,分了方便段管理区,段又分为inode entry链表来管理,分了方便管理区,区分为xdes entry链表来管理。
段的结构 (4)---独立表空间结构(三十)
前面我们说到了,为了方便管理区,区又分为free碎片空闲区,free_frag有剩余页的碎片空闲区,full_frag无剩余页的碎片空闲区,fseg附属于某个段的整个区。
区的分类&XDES Entry(3)---独立表空间结构(二十九)
上篇文章介绍了,表空间分为若干区,叶子节点和非叶子节点又分为不同的段,还有回滚段等,段里会存储碎片区不同数据页的集合和完全区的集合,碎片区是为了在数据刚存入表时候,存储不同段内的数据,当段内数据有32个碎片区时,会升级成为完整的区属于特有的段。
独立表空间结构(2)之段---InnoDB表空间(二十八)
上篇文章我们说了,表空间的区概念,我们都知道mysql的数据是存放在页里,一个页有16kb,而表空间能存放64TB的数据,为了提高查询效率,表空间里又吧页分为多个区,64个页也就是大概1M为一个区,而256个区为一组,每组的前几个页都是存储固定的结构数据。
独立表空间结构(1)之区---InnoDB表空间(二十七)
数据库会生成一个文件存储数据库的结构,表也会建立文件.frm存储表的结构,比如字符集,行格式,而innoDB存储因为聚簇索引的索引即数据,所以数据和索引会存在同一个文件,mysql5.6.6之前默认在系统文件,5.6.6之后在独立的文件,这个文件是.ibd文件。而myISAM表会有两个不同的文件,一个存储索引,一个存储数据。
Mysql数据目录(3)---表数据结构myISAM(二十六)
前面说了innoDB表在mysql5.6.6之前存储在系统空间,5.6.6之后存储在独立的空间,表结构存储在.frm文件,里面记录着字符集,行规则等,表数据存储在.ibd里面,里面存储着数据和索引
Mysql数据目录(2)---表数据结构(二十五)
上篇文章我们介绍了mysql的安装目录和 数据存储目录是不同的,当create database时,会在数据存储目录下新建一个同名的数据库文件,进入指定数据库文件会有db.opt文件记录数据库的特点,字符集,比较规则等。当create table时,会在指定数据库目录下,建立同名的子表目录,里面有表结构文件表名.frm和表数据文件。
Mysql数据目录(1)---数据库结构(二十四)
我们都知道innoDB和myISAM存储引擎都是吧数据存储在磁盘上,而操作系统管理磁盘的又是文件系统,所以像nnoDB和myISAM这样的存储引擎都是吧数据存储在文件系统中。当我们读取数据的时候,就从文件系统中吧数据读取出来,当我们写入数据的时候,存储引擎又会吧数据写入文件系统。
B+树挑选索引(2)---mysql从入门到精通(二十三)
上篇文章介绍了条件列,排序,分组都可以建立索引,select查询不需要建立,长字符串建立二级索引可以用索引前缀建立或者建立hash索引,避免时间和空间的浪费。建立索引的时候,列的类型尽量小点。还要看当前列的基数,基数越小,所有数据都一样,都无法排序,大量数据需要回表查询,所以基数越大才适合建立所以。
B+树挑选索引(1)---mysql从入门到精通(二十二)
上篇文章介绍了用索引列分组也可以提高效率,及其回表的代价,回表是二级索引+回表查询,如果回表数据量太庞大,mysql优化器就会采用全表扫描查询,而覆盖索引不会回表