MySQL中GTID的几个限制和解决方案(r13笔记第21天)
现在我看待一个技术,总是会换一种角度来看,在他能实现什么的基础上,我更喜欢看他不能做什么,为什么不能这么做。 比如MySQL GTID在5.6试水,5.7已经发展完善,但是还是有一些场景是受限的。比如下面的两个。 一个是create table xxx as select 的模式,另外一个是...
MySQL句柄恢复的简单尝试
今天突然想起一个问题,那就是对于ibdata的恢复,如果我们简单模拟一下,就会发现还是蛮有意思的。首先我们得到两个参数值,一个是刷脏页的指标,另外一个是数据文件的目录。mysql> show variables like '%pct%';+------------------------------------------+-----------+| Variable_name &n...
MySQL 5.6,5.7的优化器对于count(*)的处理方式
最近看了很多阿里同学的MySQL文章,阿里内核同学的文章一言不合就上代码,不光让我们看到了结果,还能有代码可读,如果碰到了类似的问题,这样的解读确实是很难得的。 今天做了一个小的测试,发现MySQL 5.7中对于count(*)的处理好像有点霸道,没想象中那么好。 为了对比,...
MySQL的学习图谱(初版)
周末总结了下关于MySQL学习的一些思路,当然还有很多需要补充的地方。我是侧重从优化的角度来总结的一部分内容,所以数据迁移,数据管理的部分就和很多地方糅合在了一起。总结之后突然发现对于开发规范和建议的地方自己感触还蛮深。...
MySQL索引条件下推的简单测试
自MySQL 5.6开始,在索引方面有了一些改进,比如索引条件下推(Index condition pushdown,ICP),严格来说属于优化器层面的改进。如果简单来理解,就是优化器会尽可能的把indexcondition的处理从Server层下推到存储引擎层。举一个例子,有一个表中含有组合索引idx_cols包含(c1,c2,…,cn)n个列,如果在c1上存在范围...
Oracle和MySQL中短小精悍的SQL
如果让你写一个简单牛叉的SQL,数据库类型不限,你会写出什么样的SQL语句。Oracle 如果是Oracle,我就写个drop table dual;这个SQL看起来很简单,包含的信息量还是蛮大的,首先对于dual表你得有一定的认识和了解,而这个视图和一般的数据字典不同,如果删除之后,直接会导致数据库不可用。恢复...
IP地址定位区间的问题分析(r13笔记第9天)
以前写过一篇Oracle中关于IP地址定位的问题分析,最后引申出了一系列的问题。当时问题紧急严峻,抓取了10053事件定位源头,想出了一个解决妙法,还自鸣得意了下,结果忙活完之后看看行业里的解决方案都大体如此,我的心凉了半截。 我总是希望找到一些与众不同的点来解读这一类问题,结果在...
MySQL中需要注意的字段长度问题
在MySQL的表结构设计中,突然想起来几个地方碰到的问题比较多,大体来说一个就是字符集,一个就是数据类型。而字符集和数据类型结合起来,就有一个蛮有意思的细节,那就是行长度的问题。比如我们创建一个表使用了varchar的类型,如果指定为gbk,表里含有一个字段,可以指定为32766字节,如果再长一些就不行了。...
MySQL中一个文档疏漏的分析测试(r13笔记第3天)
最近看到Percona的工程师Agustín写了一篇博客,是关于MySQL触发器和可更新视图的一个观点,具体链接可以参考 https://www.percona.com/blog/2017/06/14/triggers-and-updatable-views/ 官方文档对于触发器的基本描述是这样的:Important: MySQL triggers activate only for changes made to...
一个复杂的数据需求的MySQL方案
前些天处理了一个需求,当时的数据库环境是Oracle,我算是想尽了Oracle相关的方案,而且在问题的处理过程中,还在不断的琢磨,如果失败了还有什么其他的方案。 所以尽管Oracle这么一个成熟的商业数据库,做起来还是有些难度,需要一些额外的技巧,比如规避bug,间接实现需求等。 &n...
Oracle和MySQL竟然可以这么写这样的SQL?(r12笔记第99天)
今天看到Franck Pachot? 发了一个Twitter,意思是Oracle里的SQL还能这么写。猛一看确实让人有些意外。禁不住诱惑,自己也尝试了一番。我现在12cR2的环境中测试了一下。Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production尝试上面的步骤,先来看看dual表。SQL> select co...
MySQL Shell的简单介绍(r12笔记第95天)
MySQL Shell是在官方版本5.7.12推出,工具的初衷本身都是为了解决一类问题,想必官方从很多方面了解到工具的使用情况,支持的开发语言太多,众口难调,所以这么个命令行工具就出来了,从它的推出,足以看到MySQL的格局,它是把很多能做不能做得都揽过来自己做了。根据官方的shell,python,原生SQL,Javascript等,格...
mysqlpump和mysqldump的性能大比拼(r12笔记第90天)
昨天测试了一下mysqlpump,今天来把剩下的补充完成,算是一个小的系列。mysqlpump在MySQL 5.7中做逻辑备份恢复有了一个新的工具mysqlpump,如果你掌握了mysqldump,那么使用mysqlpump就是分分钟的事情,因为很多参数都是很相似的,可以理解它是mysqldump的加强版,一个亮点就是有了并行的选项,使得数据备份的性能...
mysqlpump的性能测试(r12笔记第89天)
在MySQL 5.7中做逻辑备份恢复有了一个新的工具mysqlpump,如果你掌握了mysqldump,那么使用mysqlpump就是分分钟的事情,因为很多参数都是很相似的,可以理解它是mysqldump的加强版,一个亮点就是有了并行的选项,使得数据备份的性能更加强大。 有一点值得说明的是,为了保证数据一致性,我们一般备份都...
MySQL和Oracle中的唯一性索引从差别(r12笔记第83天)
今天在修复MySQL数据的时候,发现一个看起来“奇怪”的问题。 有一个表里存在一个唯一性索引,这个索引包含3个列,这个唯一性索引的意义就是通过这3个列能够定位到具体1行的数据,但是在实际中却发现这个唯一性索引还是有一个地方可能被大家忽略了。 我们先来看看数据的情况。 ...
mysqldump的一点使用总结(r12笔记第81天)
MySQL里的mysqldump无疑是大家使用最为广泛的备份恢复工具了。这样一个工具使用起来功能非常丰富,很多功能几个参数组合起来就能够轻松实现了,我就简单列举几个不错的点。--master-data这个选项在搭建主从的时候经常需要考虑,而有了GTID,这个工作一下子轻松了很多,如果需要使用我们总是会使用mase...
MySQL无法创建表的问题分析(r12笔记第73天)
今天在下班前帮同事处理了一个看起来很有意思的问题,虽然知道了问题的方向和大体的原因,但是当时因为时间原因还是没想到如何复现这个问题,晚上回到家,收拾收拾,打开电脑,反向推理,求证,测试,重现,于是才有了这个问题的完整解读。问题背景 问题的描述听起来很简单,就是在部署一个...
MySQL中的批量初始化数据的对比测试(r12笔记第71天)
一直以来对于MySQL的存储过程性能还是颇有微词的,说实话够慢的。有时候想做一些对比测试,存储过程初始化几万条数据都得好一会儿,这功夫Oracle类似的测试早都做完了,今天就赶个晚班车,把这个没做完的任务完成了。 我大体测试了一下,以100万数据为基准,初始化性能的提升会从近8分钟提...
MySQL数值类型在binlog中需要注意的细节(r12笔记第69天)
MySQL里的数值类型分得很细,光整型数据就有多种数据类型。tinyint,smallint,mediumint,int(integer),还有范围最大的bigint,它们对应的数值范围也大大不同,大体来说就是下面的数值范围,从有符号数和无符号数来区别对待。类型名称有符号数(signed)无...
MySQL root用户登录的几个小问题(r12笔记第67天)
今天和同事聊了聊技术的事情,聊到BAT里面的一些高大上的系统和设计,相比总是会有些差距,不过像那样体量的公司知识沉淀很深,所以能够做好我们力所能及的事情,把它细化做好,也是一种进步和改进。 如果你老是觉得自己的环境受限,有各种KPI或者是成本的考量,做事情从下往上去推动很难,这些...