转:Mysql 分区 分表相关总结
前段时间项目需要,一直在研究mysql sharding,看了一些这方面的资料,也亲自实验测试了一些数据。在此,做个概括的笔记,方便以后回顾知识,其实大多是借鉴网络上各位前辈的,然后抱着学习态度去实践,积累属于自己的东西。其实拆分很灵活,有的是垂直切分,将一个库拆成两个或多个,将有相关联的表放在一个库里。有...
转:MySQL性能优化配置参数之thread_cache和table_cache详解
http://www.jb51.net/article/51828.htm一、THREAD_CACHEMySQL里面为了提高客户端请求创建连接过程的性能,提供了一个连接池也就是 Thread_Cache池,将空闲的连接线程放在连接池中,而不是立即销毁.这样的好处就是,当又有一个新的请求的时候,mysql不会立即去创建连接 线程,而是先去Thread_Cache中去查找空闲的连接线程,...
MySQL 5.6 Table cache 简介
一、 Table cache MySQL 5.6后,引入了“table_cache_instances”参数来控制 table cache instance的个数。目前最大值是64,默认值是1。建议值是16,当系统CPU核数高于16时。引入此参数的目的是,提高并发。相当于把table cache 拆成了多个分区,每个分区的打开table句柄数为:table_open_cache / table...
table_open_cache参数对mysql性能的影响
Table_open_cache:表描述符缓存大小,可减少文件打开/关闭次数; 为了避免线程相互干扰,每个访问表的线程各自维护一个文件描述符,多耗了内存但是提高了性能,即一个sql若调用了2次表,也需要分配2个文件描...
转:Linux check mem,cpu,Swap
inux操作系统将物理内存分为多个小的内存块,称之为页(pages). 当应用请求的物理内存不够分配时,操作系统会将一段时间之内不用的内存页交换至swap分区,从而为应用释放内存空间。2.swap会带来哪些问题特别对于web服务器来说,都是面对用户的交互式应用,因此响应速度尤其重要。如果系统经常因为swap交换而变得响...
转:Git服务器安装详解及安装遇到问题解决方案
http://www.cnblogs.com/grimm/p/5368777.htmlgit是一个不错的版本管理的工具。现在自己在搞一个简单的应用程序开发,想使用git来进行管理。在Google了配置文档后,还是受了N多的挫折。某些文档质量不高,浪费了好多时间......好,切入正题:安装必要的git工具#apt-get install git git-corecentos linu...
【登陆认证】oracle的操作系统认证和口令文件认证方式(转载)
关于oracle的操作系统认证方式和口令文件认证方式一直苦恼了很久,偶然在网上找到一篇文章,记录一下,稍后再做几个实验验证一下。本文来源 http://wenku.baidu.com/view/f2ea58c78bd63186bcebbc37.htmloracle认证方...
LINUX系统编程 关于SDTIO库缓冲区
我们知道标准C中的文件读取的函数比如printf,fwrite等函数,实际都是调用OS级别的API,比如LINUX下就是wirte,read函数,而write read函数在用户态下是没有缓冲的,当然在内核态有OS CACHE/OS BUFFER,所以某些直接调用wirte,read的程序肯定会分配一个缓冲区,特别是O_DIRECT这种方式下,内核态的OS CACHE和OS BUFFER...
LINUX系统编程 关于SDTIO库缓冲区
我们知道标准C中的文件读取的函数比如printf,fwrite等函数,实际都是调用OS级别的API,比如LINUX下就是wirte,read函数,而write read函数在用户态下是没有缓冲的,当然在内核态有OS CACHE/OS BUFFER,所以某些直接调用wirte,read的程序肯定会分配一个缓冲区,特别是O_DIRECT这种方式下,内核态的OS CACHE和OS BUFFER...
从顺序随机I/O原理来讨论MYSQL MRR NLJ BNL BKA
从顺序随机I/O原理来讨论MYSQL MRR NLJ BNL BKA本文只讨论innodb存储引擎,并且有部分观点为作者观点,如果有误请指出。一、机械磁盘原理 机械盘由动臂,盘片,读写磁头,主轴组成,磁头是固定不能动的,要读取相应的扇区只能通过盘片的 旋转。 每一个盘片为双面,每一个面...
LINUX系统编程 LINUX 虚拟内存
LINUX 虚拟内存以32位操作系统为例子,因为64位系统虚拟地址过大为2^64,32位仅仅为2^32=4G更利于描述,但是原理东西都一样这首先要从程序和进程之间的关系开始,我们一般写好一段C\C++代码编译后仅仅为可执行文件假设为a.out,我们运行a.out的时候,这个才叫进程,进程是OS级别抽象的实体(PCB task_struct结构体),为程...
LINUX时区设置及与数据库之间(ORACLE MYSQL)的关系
LINUX时区 LINUX时区由/etc/localtime设置,其可以是一个指向/usr/share/zoneinfo下文件的软连接,在/usr/share/zoneinfo目录下每个文件都包含了特定地区的时区信息,很多都分为洲目录/地区目录 如:UTC:GMT标准时间+0时区CET:欧洲中部时间EST:美国东部标准时间Asia/Shanghai:中国上海+8时区 &nb...
从排序原理到MYSQL中的排序方式
本文参考MYSQL官方文档,算法书籍,部分为自己观点可能有误,如果有误请指出共同参考转载请说明出处,谢谢!一、MYSQL排序可能用到的排序算法从MYSQL官方文档和源码的接口来看MYSQL使用BUFFER内部快速排序算法,外部多路归并排序算法,相应的接口函数为filesort()函数,注意filesort()是一个总的接口,归并排序也包含...
LINUX系统编程 SWAP原理以及和数据库(MYSQL ORACLE)关系
作为一位DBA长期以来一直受到一些关于SWAP使用的问题,比如如下问题:1、为了我 free 中buffer/cache明明还有空间为什么SWAP使用了?2、哪个(些)进程使用了最多的SWAP?3、如果在ORACLE或者MYSQL避免使用SWAP?4、为什么要使用直接路径绕过操作系统缓冲(O_DIRECT)?5、ORACLE 11G使用tmpfs虚拟文件系统,内存可能被SWA...
转:关于ogg的dml和ddl测试以及(双活/点对点/广播/多级/集中复制)
4种复制结构(广播复制,集中复制,多级复制,点对点复制一下一一列举(所列数据都处于归档情况,检验参数如下sql)http://blog.itpub.net/29267792/viewspace-1593719/
转:通过pt-query-digest分析收集MySQL慢查询日志到指定位置
http://blog.csdn.net/dbaxiaosa/article/details/51392821说明:本脚本是基于开源工具Lepus监控 需要安装percona-toolkit工具包慢查询时间:主库1s,只读库3s一台服务器上单实例或者多实例都可执行,本例子是单实例和双实例的环境可将本...
转:goldengate的双活实现场景
但实际上用到的场景并不多,因为双向还要考虑到很多业务层面的问题,如:触发器,JOB之类的问题!说白了就是还是要在业务层面做动作!双向复制避免数据冲突是难点,解决这个难点根本还是调整业务:a) 只在一段开展业务b) 两端开展不同业务,涉及不同数据集c) 两端开展相同业务,但依据地域或其他条件对数...
转:一线架构师实践指南:云时代下双活零切换的七大关键点
http://dbaplus.cn/news-21-663-1.html作者介绍朱祥磊,山东移动BOSS系统架构师,负责业务支撑系统架构规划和建设。获国家级创新奖1项、通信行业级科技进步奖2项、移动集团级业务服务创新奖3项,申请发明专利13项。 上篇已经详细介绍了我们的项目背景和方案中的各个分层,那么下篇就云化下的双活,分享双...
关于ogg的dml和ddl测试以及(双活/点对点/广播/多级/集中复制)
《关于ogg的dml和ddl测试》4种复制结构(广播复制,集中复制,多级复制,点对点复制一下一一列举(所列数据都处于归档情况,检验参数如下sql)SQL> selectlog_mode,supplemental_log_data_min,force_logging from v$database; LOG_MODE SUPPLEME FOR------------ ...
用mysqlbinlog查看row格式的事件
MySQL 5.1开始,binlog支持row-based的格式,默认情况下只能看到一些经过base-64编码的信息,如DELIMITER /*!*/;# at 7493962#090827 5:25:03 server id 1 end_log_pos 0 Start: binlog v 4, server v 5.1.26-rc-community-log created 090827 5:25:03BINLOG 'L6iVSg8BAAAAZgAAAAAAAAAAAAQANS4xLjI2LXJjLWNvbW11bml0eS1sb2cAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAEzgNAAgAEgAEBAQEEgAAUwAEGggAAAAICAgC'/*!*/;# at 7493962# at 7494009#090827 13:20:40 server id 1 end_log_pos 7494009 Table_map: `test`.`test1` m