MySQL中的double write(二)(r12笔记第17天)
MySQL里的double write是InnoDB的三大闪亮特性,另外两个是insert buffer 和自适应哈希,其实还有几个比如异步IO,Flush neighbour Page(刷新邻接页),这个和系统层面的关联性较高,所以三大亮点还是更有针对性的。 当然一说到MySQL里的double write,其实主要是要应对一个很自然的...
Oracle闪回原理测试(三)(r12笔记第16天)
对于Oracle的闪回,很多朋友也问过问,到底是怎么玩的?如果自己做过一些闪回数据库的操作,就会发现这个功能非常强悍。 Flashback DML的操作其实还蛮容易理解的,但是Flashback DDDL那可就是另外一个level了,我们大概了解一下MySQL里面的闪回就会发现,真要实现无缝的全闪回,确实有很多的细节和场景...
在eclipse中配置MySQL源码环境(r12笔记第14天)
今天费了些周折,总算搭建好了MySQL源码的调试环境,主要的目的就是想在看代码的时候有一些头绪,让这些开发技巧派上用场。不至于盲人摸象一般的拿着命令肉眼扫视,当然对于代码至于能不能啃下来,那是另外一回事了。 我来说说我的情况,Java开发还有一点基础,所以以前的eclipse还算用得...
压测工具swingbench和sysbench对比
今天来说说两款压测工具sysbench,swingbench,早些时候傻傻分不清楚,其实两个差别大了去了。 swingbench 先来说说swingbench,这款工具是Oracle英国的一个员工用Java开发的,没想到一下子成了压测Oracle的不二之选。当然Oracle还有不少这样的工具,比如DUL(Data UnLoader),是新西兰的一个员...
MySQL源码安装总结(r12笔记第12天)
作为一个DBA, MySQL源码安装还是要做做的,虽然不是推荐线上批量安装部署,但是自己作为了解MySQL的一个学习过程,还是值得的。 相比商业软件来说,开源的这一点上就让人很羡慕,商业软件我们总是使用各种工具和底层原理去反推,探测,但是离代码还是有一定的距离。当然商业有...
MySQL中xtrabackup备份恢复全攻略
XtraBackup是Percona推出的一款备份工具,算是对于mysqldump的一个补充。对于大批量数据的导入使用mysqldump会出现一定的瓶颈,这一点做过一些数据迁移项目的同学可能感同身受。 数据迁移中的数据量,小有小的好,大有大的招,见招拆招,找到适合的场景是最佳的。 如果现在...
MySQL 5.6, 5.7并行复制测试(二)(r12笔记第10天)
昨天花了点时间整理了下并行复制在5.6,5.7中的一些差别和测试,当然只是一个开始,因为里面还有不少需要完善的部分,总体的感觉来看MySQL 5.7里的并行复制改进很大,能够极大提高效率,充分利用资源。 那我们来简单回顾一下MySQL的复制里的一些事情,然后继续展开测试。 首先借丁奇大师...
MySQL 5.6, 5.7并行复制测试(r12笔记第9天)
对于主从延迟,其实一直以来就是一个颇有争议的话题,在MySQL阵营中,如果容忍一定的延迟的场景,通过主从来达到读写分离是个很不错的方案,但是延迟率到底有多高可以接受,新版本中的并行复制效果怎么样,在不同的版本中是否有改变,我们能否找到一些参考的数据来佐证,这一点上我们可以通过一些小测试来...
关于金钱的几个小故事(r12笔记第8天)
现在的日常生活,不花钱几乎是不可能的,我们生活轨迹处处和金钱挂钩,有的同学可能说我极短一些,睡了整整一天,不吃不喝,不也没花钱嘛,这个确实够没心没肺,但是还有房租啊,哦,你是买的房子啊,有没有房贷?没有?!土豪,我们做朋友吧。 周末两天的时间,我就拿身边的几个花钱的事情...
使用pt工具检测MySQL主从延迟(r12笔记第7天)
今天翻看了下《高性能MySQL》,真是让人拍手称绝,里面的很多实战思路非常不错,各种问题分析如数家珍,如果是有一定基础的同学,看起来会非常不错。 当然里面提到的一个地方,感觉很有意思,那就是主从延迟的一个测算思路。书中他们是通过建立一张表,插入时间相关的数据,值得一提的是这个表的存...
使用sysbench压力测试MySQL(三)(r12笔记第6天)
昨天使用gdb调试MySQL中事务临界状态的时候,发现其实有些场景可能比我想得还要复杂一些,所以我在昨天的测试中结尾也是快快扫过,但是表明了意思即可。这一点上我在后面会把Oracle的临界事务状态也拿出来对比一下,还是蛮有意思的。 今天简单写了几个脚本继续对一个测试环境的MySQL进行sysbench压力测...
MySQL中的binlog和redo浅析(r12笔记第5天)
有一个小问题可能很多人都想起过,那就是MySQL中既然已经有了binlog,为什么还需要redo,这个问题看起来好像很简单,但是细细品来,还是有不少值得注意的地方。 对于数据恢复,尤其是异常宕机的情况下,再次启动的时候,如何恢复,恢复的数据依据,这个尤为重要,在MySQL中是有checkpoi...
使用sysbench压力测试MySQL(二)
昨天有了第一篇的测试之后,仅仅是一个开始。 我接下来做sysbench压测的主要思路是根据现有的配置作出调整,能够持续性的优化和压力测试达到目的,而不是简单的去对比连接数在不同数量级会有多大的差别,所以你会在里面看到一些问题的排查,一些问题的解决,可能有些又不是压测相关的。...
使用sysbench压力测试MySQL(二)
昨天有了第一篇的测试之后,仅仅是一个开始。 我接下来做sysbench压测的主要思路是根据现有的配置作出调整,能够持续性的优化和压力测试达到目的,而不是简单的去对比连接数在不同数量级会有多大的差别,所以你会在里面看到一些问题的排查,一些问题的解决,可能有些又不是压测相关的。...
使用sysbench压力测试MySQL(一)(r11笔记第3天)
今天用了下新版本的sysbench,发现和早期版本的差别还不小,确实有不少有趣的地方,是的,我们继续测试下MySQL。 如果大家看过《高性能MySQL》这本书,就会发现里面对于基准测试的描述非常全面和专业,里面的测试场景都是基于早期版本,这个版本有一个不太方便的地方就是无法抓取到更细节...
MySQL传输表空间小结(r12笔记第2天)
在MySQL中如果要迁移一个表导另外一个服务器/环境中,常规的做法就是使用备份工具备份,比如mysqldump,然后拷贝备份到目标服务器或者环境导入。如果某一个表数据量很大,导出dump文件很大的情况下,使用导出导入工具其实会花费不少的时间. 怎么样提高效率呢,可以有一种想法就是直接拷贝数据文件...
2017年北京站沙龙归来(r11笔记第100天)
转眼间,2017已经爬上了眉梢,在有序计划中,DBAplus社群北京站沙龙拉开了序幕。沙龙的初衷之我见 沙龙活动不光是聚聚人气,我用三句通俗的话来解释。第一句是:技术越来越值钱,但是钱不值钱。这句话不一定对,但是能够说明一些道理,我们可以让技术在交流中更加深入,互相学习...
sysbench压测小记(r11笔记第99天)
对于很多线上业务而言,如果有新服务器,新的环境,新的业务,到底资源和预期的承载压力是否匹配,这个得用数据说话,或是通过严谨的论证来阐述。 比如一台新的服务器,一般都需要经过压力测试,我们也叫拷机测试。一般都会从多个维度来进行加压(比如CPU,内存,IO等等),看看服务器是否依...
相差数十倍的SQL性能分析(r11笔记第98天)
今天处理开发同学提交的一个数据查询需求,看起来是一个很常规的SQL,但是有一点不同的是,他们提供了两份文件,一份是一个id列表,大概有3000多个id值,另外一个份是个SQL文件。 之前也处理过几十万,上百万id值的情况,使得我原来开发中对于变动的敏感性依旧存在,所以我采用了另外一种灵...
MySQL参数对比浅析(r11笔记第97天)
今天按照计划,决定得总结下MySQL的参数了,说来想来,立即就做。大体算了下,手头的环境主要还是使用了Percona分支,官方的相对较少,就暂且按照Percona的版本来统计参数的情况,可能和官方的会有一些出入。 数据版本会有一个较大的跨度,从5.0到5.7都有,这也能够间接反映出一个系统的变迁...