TiDB Binlog 源码阅读系列文章(二)初识 TiDB Binlog 源码
TiDBBinlog架构简介TiDBBinlog主要由Pump和Drainer两部分组成,其中Pump负责存储TiDB产生的binlog并向Drainer提供按时间戳查询和读取binlog的服务,Drainer负责将获取后的binlog合并排序再以合适的格式保存到对接的下游组件。TiDBBinlog
DM 源码阅读系列文章(九)shard DDL 与 checkpoint 机制的实现
本文为TiDBDataMigration源码阅读系列文章的第九篇,在《DM源码阅读系列文章(八)OnlineSchemaChange同步支持》中我们详细介绍了DM对onlineschemachange方案的同步支持,对onlineschemachange同步方案以及实现细节等逻辑进行了分析。在本篇文
DM 源码阅读系列文章(十)测试框架的实现
本文为TiDBDataMigration源码阅读系列文章的第十篇,之前的文章已经详细介绍过DM数据同步各组件的实现原理和代码解析,相信大家对DM的实现细节已经有了深入的了解。本篇文章将从质量保证的角度来介绍DM测试框架的设计和实现,探讨如何通过多维度的测试方法保证DM的正确性和稳定性。测试体系DM完
TiKV 源码解析系列文章(十一)Storage - 事务控制层
背景知识TiKV是一个强一致的支持事务的分布式KV存储。TiKV通过raft来保证多副本之间的强一致,事务这块TiKV参考了Google的Percolator事务模型,并进行了一些优化。当TiKV的Service层收到请求之后,会根据请求的类型把这些请求转发到不同的模块进行处理。对于从TiDB下推的
TiDB Binlog 源码阅读系列文章(三)Pump client 介绍
在《TiDBBinlog源码阅读系列文章(二)初识TiDBBinlog源码》中,我们介绍了Pump的作用是存储TiDB产生的binlog。本篇将介绍Pumpclient,希望大家了解TiDB把binlog写到Pump,以及输出数据的过程。gRPCAPIPumpclient的代码在tidb-tools
TiDB 新特性漫谈:悲观事务
关注TiDB的朋友大概会注意到,TiDB在3.0中引入了一个实验性的新功能:悲观事务模型。这个功能也是千呼万唤始出来的一个功能。大家知道,发展到今天,TiDB不仅仅在互联网行业广泛使用,更在一些传统金融行业开花结果,而悲观事务是在多数金融场景不可或缺的一个特性。另外事务作为一个关系型数据库的核心功能
TiDB Binlog 源码阅读系列文章(四)Pump server 介绍
在《TiDBBinlog源码阅读系列文章(三)Pumpclient介绍》中,我们介绍了TiDB如何通过Pumpclient将binlog发往Pump,本文将继续介绍Pumpserver的实现,对应的源码主要集中在TiDBBinlog仓库的pump/server.go文件中。启动PumpServerS
TiDB 最佳实践系列(一)高并发写入常见热点问题及规避方法
本文通过阐述一个高并发批量写入数据到TiDB的典型场景中,TiDB中常见的问题,给出一个业务的最佳实践,避免业务在开发的时候陷入TiDB使用的“反模式”。面向的对象本文主要面向对TiDB有一定了解的读者,读者在阅读本文之前,推荐先阅读讲解TiDB原理的三篇文章(讲存储,说计算,谈调度),以及TiDB
如何高效利用 Grafana 监控分析 TiDB 指标
作者介绍:李坤,PingCAP互联网架构师,TUGAmbassador,前美团、去哪儿数据库专家。一、概述使用TiDBAnsible部署TiDB集群,会同时部署一套Grafana+Prometheus的监控平台,这套监控用来收集和展示TiDB集群各个组件和机器的metric信息,这些metric信息
TiKV Rust Client 迁移记 - futures 0.1 至 0.3
作者介绍:NickCameron,PingCAP研发工程师,Rustcoreteam成员,专注于分布式系统、数据库领域和Rust语言的进展。最近我将一个中小型的crate从futures库的0.1迁移至了0.3版本。过程本身不是特别麻烦,但还是有些地方或是微妙棘手,或是没有很好的文档说明。这篇文章里
TiDB Binlog 源码阅读系列文章(五)Pump Storage 介绍(上)
我们主要介绍了PumpServer的上线过程、gRPCAPI实现、以及下线过程和相关辅助机制,其中反复提到了PumpStorage这个实体。本文就将介绍PumpStorage的实现,其主要代码在pump/storage文件夹中。PumpStorage由PumpServer调用,主要负责binlog的
TiDB 最佳实践系列(二)PD 调度策略最佳实践
众所周知,PD是整个TiDB集群的核心,负责全局元信息的存储以及TiKV集群负载均衡调度,本文将详细介绍PD调度系统的原理,并通过几个典型场景的分析和处理方式,分享调度策略的最佳实践和调优方法,帮助大家在使用过程中快速定位问题。本文内容基于3.0版本,更早的版本(2.x)缺少部分功能的支持,但是基本
TiDB 最佳实践系列(三)乐观锁事务
TiDB最佳实践系列是面向广大TiDB用户的系列教程,旨在深入浅出介绍TiDB的架构与原理,帮助用户在生产环境中最大限度发挥TiDB的优势。我们将分享一系列典型场景下的最佳实践路径,便于大家快速上手,迅速定位并解决问题。在前两篇的文章中,我们分别介绍了TiDB高并发写入常见热点问题及规避方法和PD调
TiDB 最佳实践系列(四)海量 Region 集群调优
在TiDB的架构中,所有的数据按照range划分成一个个Region分布在多个TiKV实例上。随着数据的写入,一个集群中会产生上百万,甚至千万个Region。而量变引起质变,单TiKV实例上过多的Region无疑会带来比较大的负担,进而影响整个集群的性能表现。本文将介绍TiKV核心模块Raftsto
TiKV 源码解析系列文章(十四)Coprocessor 概览
本文将简要介绍TiKVCoprocessor的基本原理,面向想要了解TiKV数据读取执行过程的同学,同时也面向想对该模块贡献代码的同学。阅读本文前,建议读者对TiDB整体架构有所了解,先阅读三篇文章了解TiDB技术内幕:说存储、说计算、谈调度。什么是Coprocessor熟悉TiDB整体框架的同学可
TiDB 最佳实践系列(五)Java 数据库应用开发指南
Java是当前非常流行的开发语言,很多TiDB用户的业务层都是使用Java开发的,本文将从Java数据库交互组件开发的角度出发,介绍各组件的推荐配置和推荐使用方式,希望能帮助Java开发者在使用TiDB时能更好的发挥数据库性能。Java应用中的数据库相关组件通常Java应用中和数据库相关的常用组件有
TiKV 源码解析系列文章(十五)表达式计算框架
讲到了TiDB为了最大化利用分布式计算能力,会尽量将Selection算子、聚合算子等算子下推到TiKV节点上。本文将继续介绍Coprocessor中表达式计算框架的源码架构,带大家看看SQL中的表达式是如何在Coprocessor中执行的。什么是表达式比如说我们有这个SQL作为例子:SELECT(
TiDB 最佳实践系列(六)HAProxy 的使用
HAProxy是一个使用C语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理。GitHub、Bitbucket、StackOverflow、Reddit、Tumblr、Twitter和Tuenti在内的知名网站,及亚马逊网络服务系统都在使用HAProxy
揭秘 TiDB 新优化器:Cascades Planner 原理解析
TiDB当前优化器简介关系型数据库中查询优化器的作用是为一个SQL在合理的开销内产生一个合适的查询计划,TiDB源码阅读系列文章(六)Select语句概览中介绍过TiDB当前优化器的基本组成,TiDB当前的优化器将优化过程主要分为逻辑优化(LogicalOptimize)和物理优化(Physical
流量和延迟减半!挑战 TiDB 跨数据中心难题
作者介绍:.*team(成员:庄天翼、朱贺天、屈鹏、林豪翔)参加了TiDBHackathon2019,他们项目「TiDB跨数据中心方案的优化」斩获了二等奖。众所周知,在对可用性要求极高的行业领域(比如金融、通信),分布式数据库需要跨地域的在多个数据中心之间建立容灾以及多活的系统架构,同时需要保持数据