TiDB 源码阅读系列文章(一)序
在TiDBDevCon2018上,我们对外宣布了TiDB源码阅读分享活动,承诺对外发布一系列文章以及视频帮助大家理解TiDB源码。大家一直很关心这项活动的时间,而我们忙于新版本的开发,一直不得闲。在春节放假期间,终于有时间开始动手写这个系列。为什么我们要做这件事情?事情的起因是随着TiDB项目逐渐发
TiDB Operator,让 TiDB 成为真正的 Cloud-Native 数据库
TiDBOperator是TiDB在Kubernetes平台上的自动化部署运维工具。目前,TiDBOperator已正式开源(pingcap/tidb-operator)。借助TiDBOperator,TiDB可以无缝运行在公有云厂商提供的Kubernetes平台上,让TiDB成为真正的Cloud-
诊断修复 TiDB Operator 在 K8s 测试中遇到的 Linux 内核问题
Kubernetes(K8s)是一个开源容器编排系统,可自动执行应用程序部署、扩展和管理。它是云原生世界的操作系统。K8s或操作系统中的任何缺陷都可能使用户进程存在风险。作为PingCAPEE(效率工程)团队,我们在K8s中测试TiDBOperator(一个创建和管理TiDB集群的工具)时,发现了两
高效编排有状态应用——TiDB 的云原生实践与思考
导语云原生时代以降,无状态应用以其天生的可替换性率先成为各类编排系统的宠儿。以Kubernetes为代表的编排系统能够充分利用云上的可编程基础设施,实现无状态应用的弹性伸缩与自动故障转移。这种基础能力的下沉无疑是对应用开发者生产力的又一次解放。然而,在轻松地交付无状态应用时,我们应当注意到,状态本身
TiDB Ecosystem Tools 原理解读系列(三)TiDB Data Migration
简介TiDBDataMigration是用于将数据从MySQL/MariaDB迁移到TiDB的工具。该工具既支持以全量备份文件的方式将MySQL/MariaDB的数据导入到TiDB,也支持通过解析执行MySQL/MariaDBbinlog的方式将数据增量同步到TiDB。特别地,对于有多个MySQL/
TiDB Ecosystem Tools 原理解读系列(二)TiDB-Lightning Tools
简介TiDB-LightningToolset是一套快速全量导入SQLdump文件到TiDB集群的工具集,自2.1.0版本起随TiDB发布,速度可达到传统执行SQL导入方式的至少3倍、大约每小时100GB,适合在上线前用作迁移现有的大型数据库到全新的TiDB集群。设计TiDB从2017年开始提供全量
TiDB Ecosystem Tools 原理解读系列(一):TiDB Binlog 架构演进与实现
简介TiDBBinlog组件用于收集TiDB的binlog,并提供实时备份和同步功能。该组件在功能上类似于MySQL的主从复制,MySQL的主从复制依赖于记录的binlog文件,TiDBBinlog组件也是如此,主要的不同点是TiDB是分布式的,因此需要收集各个TiDB实例产生的binlog,并按照
解析 TiDB 在线数据同步工具 Syncer
TiDB是一个完全分布式的关系型数据库,从诞生的第一天起,我们就想让它来兼容MySQL语法,希望让原有的MySQL用户(不管是单机的MySQL,还是多机的MySQLSharding)都可以在基本不修改代码的情况下,除了可以保留原有的SQL和ACID事务之外,还可以享受到分布式带来的高并发,高吞吐和M
TiDB Ecosystem Tools 原理解读系列(一):TiDB Binlog 架构演进与实现
简介TiDBBinlog组件用于收集TiDB的binlog,并提供实时备份和同步功能。该组件在功能上类似于MySQL的主从复制,MySQL的主从复制依赖于记录的binlog文件,TiDBBinlog组件也是如此,主要的不同点是TiDB是分布式的,因此需要收集各个TiDB实例产生的binlog,并按照
TiDB Binlog 组件正式开源
TiDBBinlog组件用于收集TiDB的binlog,并准实时同步给下游,如:TiDB/MySQL等。该组件在功能上类似于MySQL的主从复制,会收集各个TiDB实例产生的binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用TiDBBinlog可以实现数据准实时同步到其他数据库,
直击备份恢复的痛点:基于 TiDB Binlog 的快速时间点恢复
作者介绍:吕磊,Better队成员、美团点评高级DBA,Better队参加了TiDBHackathon2019,其项目「基于TiDBBinlog的Fast-PITR」获得了最佳贡献奖。维护过数据库的同学应该都能体会,数据备份对于数据库来说可以说至关重要,尤其是关键业务。TiDB原生的备份恢复方案已经
基于 Raft 构建弹性伸缩的存储系统的一些实践
最近几年来,越来越多的文章介绍了Raft或者Paxos这样的分布式一致性算法,且主要集中在算法细节和日志同步方面的应用。但是呢,这些算法的潜力并不仅限于此,基于这样的分布式一致性算法构建一个完整的可弹性伸缩的高可用的大规模存储系统,是一个很新的课题,我结合我们这一年多以来在TiKV这样一个大规模分布
TiDB 新特性漫谈:从 Follower Read 说起
很久没有写文章了,正好今天有一些闲暇的时间,写写最近的一些Update。关注TiDB的同学,最近可能注意到TiKV这边合并了一个不大不小的PR#5051,支持了一个特性叫做FollowerRead,看到这个功能被合并进主干我确实有点百感交集,还发了条朋友圈庆祝,因为我实在很喜欢这个特性,可能有同学不
TiKV 源码解析系列文章(三)Prometheus(上)
本文为TiKV源码解析系列的第三篇,继续为大家介绍TiKV依赖的周边库rust-prometheus,本篇主要介绍基础知识以及最基本的几个指标的内部工作机制,下篇会介绍一些高级功能的实现原理。rust-prometheus是监控系统Prometheus的Rust客户端库,由TiKV团队实现。TiKV
TiKV 源码解析系列文章(四)Prometheus(下)
本文为TiKV源码解析系列的第四篇,接上篇继续为大家介绍rust-prometheus。《TiKV源码解析系列文章(三)Prometheus(上)》主要介绍了基础知识以及最基本的几个指标的内部工作机制,本篇会进一步介绍更多高级功能的实现原理。与上篇一样,以下内部实现都基于本文发布时最新的rust-p
如何高效利用 Grafana 监控分析 TiDB 指标
作者介绍:李坤,PingCAP互联网架构师,TUGAmbassador,前美团、去哪儿数据库专家。一、概述使用TiDBAnsible部署TiDB集群,会同时部署一套Grafana+Prometheus的监控平台,这套监控用来收集和展示TiDB集群各个组件和机器的metric信息,这些metric信息
TiDB 作为 MySQL Slave 实现实时数据同步
由于TiDB版本迭代,本文部分内容已不适用于最新的、广泛使用的版本,所以在阅读本文时请注意:1.关于文中「使用checker进行Schema检查」:我们不再推荐使用checker工具进行同步前检查,推荐使用
TiDB 4.0 新特性前瞻(一)拍个 CT 诊断集群热点问题
前言古代,医者看病讲究「望、闻、问、切」,通过病人的外部综合表现对病症做出判断。现代,CT的发明使得人们可以使用X光穿透身体各组织内部,将整体的情况以图像的方式展现出来,医生可以根据这个信息快速地排查问题。CT的出现不仅将诊断的效率提升到了新的高度,也给客观描述身体状态提供了一个标准,是医学史上重要
TiDB 混沌工程实践:如何打造健壮的分布式系统?
本文转载自InfoQ,策划:赵钰莹。作为一个分布式数据库,TiDB面临的严重挑战在于如何让用户相信存储在TiDB里面的数据是安全的,不会出现丢失,损坏等情况。因此,在TiDB研发初期,PingCAP就引入了混沌工程,来保证TiDB在各种极端情况下面的稳定性。本文整理自ArchSummit全球架构师峰
诊断修复 TiDB Operator 在 K8s 测试中遇到的 Linux 内核问题
Kubernetes(K8s)是一个开源容器编排系统,可自动执行应用程序部署、扩展和管理。它是云原生世界的操作系统。K8s或操作系统中的任何缺陷都可能使用户进程存在风险。作为PingCAPEE(效率工程)团队,我们在K8s中测试TiDBOperator(一个创建和管理TiDB集群的工具)时,发现了两