mongodb在线调整Oplog Size的值
1.版本差异3.4及之前的版本,改变oplog的大小需要删除然后重建local.oplog.rs集合。3.6滞后可以使用replSetResizeOplog命令在线重建。从mongo 4.0开始,local.oplog.rs集合更是无法删除了,老的方式彻底走不通了。2.在线修改注意修改值必须在990M以上。先从从节点调整,最后调整主节点最后,不写入配置文件重启也会生效。firstset:SECON
TIDB DM数据同步step by step
1.加密密码[root@mdb01 ~]# tiup dmctl -encrypt 'oracle'Starting component `dmctl`: /root/.tiup/components/dmctl/v2.0.3/dmctl/dmctl -encrypt oracle212CgvQOIUaXYaFrcyjsVUCCGEDgYLY=该命令每次执行,加密后得到的密码是不断
TIDB DM数据同步工具安装部署
1.安装tiup工具[root@mdb01 ~]# curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh % Total % Received % Xferd Average Speed Time &n
MongoDB集群搭建(包括隐藏节点,仲裁节点)
准备参数文件dbpath = /u01/mongodb/db/27021/datalogpath = /u01/mongodb/db/27021/logs/mongodb.logport = 27021fork = truebind_ip=0.0.0.0#auth=truereplSet=firstset#keyFile=/u01/mongodb/db/27021拉起服务mongod -f /u0
tidb hints
tidb支持Optimizer Hints 语法,用法与oracle的Hints语法类似,/*+ HINT_NAME(t1, t2) */,在SELECT、UPDATE 或 DELETE 的后面。INSERT 关键字后不支持 Optimizer Hints。 如果 Optimizer Hints 包含
使用canal.adapter同步数据到MySQL
使用canal.adapter同步数据到MySQL通过canal,同步一张表的增量数据,从ming.test01到tt.test01下面。1.安装canal.adapter从github上下载 canal.adapter-1.1.4.tar.gz安装包,解压。[root@mdb01 canal-adapter]# lltotal 8drwxr-xr-x 2 root root 95
使用pv命令限制SQL文本导入速度
使用pv命令限制SQL文本导入速度1.直接导入[root@mdb01 tmp]# cat test.sql |mysql3306 test02mysql: [Warning] Using a password on the command line interface can be insecure.导入期间会消耗比较大的CPU2.pv限速[root@mdb01 tmp]# pv -L100K t
clickhouse数据类型简介
clickhouse数据类型1.数值类型Int名称大小(字节)MySQL类型Int81TinyintInt162SmallintInt324IntInt648Bigintclickhouse也支持无符号的整数。名称大小(字节)MySQL类型UInt81Tinyint UnsignedUInt162Smallint UnsignedUInt324Int UnsignedUInt648Bigint U
clickhouse下载和安装
clickhouse下载和安装1.安装包下载wget --content-disposition https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-common-20.8.3.18-1.el7.x86_64.rpm/download.rpmwget --content-disposition ht
mysql MGR搭建和模拟切换演练
mysql MGR环境序号IPport1192.168.61.1633102192.168.61.1733103192.168.61.183310mgr配置的部分参数文件#for GTIDgtid_mode = onenforce_gtid_consistency = on#for MTSbinlog_group_commit_sync_delay = 10000binlog_group_comm
阿里canal部署和应用
阿里canal概述canal是阿里巴巴mysql数据库binlog的增量订阅&消费组件。应用场景canal-python 作为Canal的客户端,其应用场景就是Canal的应用场景。关于应用场景在Canal介绍一节已有概述。举一些实际的使用例子:1.代替使用轮询数据库方式来监控数据库变更,有效改善轮询耗费数据库资源。2.根据数据库的变更实时更新搜索引擎,比如电商场景下商品信息发生变更,实时
mysql观测METADATA LOCK(MDL)锁
背景描述某天在给一个小表加字段的时候,一直拿不到锁,报错:ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction期间show processlist查看,ddl在等待MDL锁。MySQL 的 Metadata Loc
mysql innodb索引高度
计算mysql innodb索引高度
mysql两阶段提交和组提交
出于性能的考虑,事务在提交时为了保证数据安全,需要将redo和undo数据落盘,不用等待数据落盘。但是mysql不仅要考虑innodn存储引擎层的redo数据,还要考虑数据库上层的binlog数据落盘,已经两个层面数据落盘的顺序问题。两阶段提交可以解决单个事务redo和binlog落盘顺序的问题。两阶段提交(2PC)分为两个过程:l 准备
mysql insert导致死锁
两个insert语句发生死锁的案例。一. 准备数据CREATE TABLE `t1` ( `a` int(11) NOT NULL, PRIMARY KEY (`a`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; insert int
redis sentinel哨兵模式安装部署和切换
1.安装redis[root@mdb01 redis-4.0.14]# make cd src && make all make[1]: Entering directory `/u01/redis/redis-4.0.14/src' &nbs
mysql备份恢复实例丢失事务分析
看到了一篇server id导致mysql备份恢复的时候丢失事务的文章,特此重现一下。主备开启了GTID,实验过程如下:1.主库执行: create database test1; create database test2; 2.主从没有延迟后备份,利用从库备份,物理或者逻辑都可以: mysqldump -uroot -pora
mysql binlog event格式
首先发起几个事务,生成一个新的binlog方便分析。flush logs;insert into t4 values(7,7,7);update t4 set a=8 where a=7;delete from t4 where a=8;alter table t4 add key idx_t4_c(c);flush logs; 每一个event都分为三个部分组成。event head,
information_schema.innodb_metrics表
information_schema.innodb_metrics表,就像是一个InnoDB性能和资源相关项的计数器。log_lsn_current和log_lsn_last_flush当前状态mysql> select name,subsystem,count,type,status,comment from innodb_metrics where name in ('
replicate-rewrite-db和Replicate_Wild_Do_Table实现表级别映射复制
将3306实例下sakila的两张表actor同步到5725实例下的ming数据库中。 初始化数据mysqldump -uroot -poracle -q --single-transaction -n -B sakila --tables actor --master-data=2 > sakila.sql注意添加-n,不生成创建database的语句。mysql> cre