DM 源码阅读系列文章(七)定制化数据同步功能的实现
本文为TiDBDataMigration源码阅读系列文章的第七篇,在《DM源码阅读系列文章(六)relaylog的实现》中我们介绍了relaylog的实现,主要包括relaylog目录结构定义、relaylog数据的处理流程、主从切换支持、relaylog的读取等逻辑。本篇文章我们将会对DM的定制化
TiKV 源码解析系列文章(八)grpc-rs 的封装与实现
上一篇《gRPCServer的初始化和启动流程》为大家介绍了gRPCServer的初始化和启动流程,本篇将带大家深入到grpc-rs这个库里,查看RPC请求是如何被封装和派发的,以及它是怎么和RustFuture进行结合的。gRPCCCoregRPC包括了一系列复杂的协议和流控机制,如果要为每个语言
TiDB Binlog 源码阅读系列文章(一)序
TiDBBinlog组件用于收集TiDB的binlog,并准实时同步给下游,如TiDB、MySQL等。该组件在功能上类似于MySQL的主从复制,会收集各个TiDB实例产生的binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用TiDBBinlog可以实现数据准实时同步到其他数据库,以
DM 源码阅读系列文章(八)Online Schema Change 同步支持
本文为TiDBDataMigration源码阅读系列文章的第八篇,《DM源码阅读系列文章(七)定制化数据同步功能的实现》对DM中的定制化数据同步功能进行详细的讲解,包括库表路由(Tablerouting)、黑白名单(Black&whitetablelists)、列值转化(Columnmapp
TiDB Binlog 源码阅读系列文章(二)初识 TiDB Binlog 源码
TiDBBinlog架构简介TiDBBinlog主要由Pump和Drainer两部分组成,其中Pump负责存储TiDB产生的binlog并向Drainer提供按时间戳查询和读取binlog的服务,Drainer负责将获取后的binlog合并排序再以合适的格式保存到对接的下游组件。TiDBBinlog
DM 源码阅读系列文章(九)shard DDL 与 checkpoint 机制的实现
本文为TiDBDataMigration源码阅读系列文章的第九篇,在《DM源码阅读系列文章(八)OnlineSchemaChange同步支持》中我们详细介绍了DM对onlineschemachange方案的同步支持,对onlineschemachange同步方案以及实现细节等逻辑进行了分析。在本篇文
DM 源码阅读系列文章(十)测试框架的实现
本文为TiDBDataMigration源码阅读系列文章的第十篇,之前的文章已经详细介绍过DM数据同步各组件的实现原理和代码解析,相信大家对DM的实现细节已经有了深入的了解。本篇文章将从质量保证的角度来介绍DM测试框架的设计和实现,探讨如何通过多维度的测试方法保证DM的正确性和稳定性。测试体系DM完
TiKV 源码解析系列文章(十一)Storage - 事务控制层
背景知识TiKV是一个强一致的支持事务的分布式KV存储。TiKV通过raft来保证多副本之间的强一致,事务这块TiKV参考了Google的Percolator事务模型,并进行了一些优化。当TiKV的Service层收到请求之后,会根据请求的类型把这些请求转发到不同的模块进行处理。对于从TiDB下推的
TiDB Binlog 源码阅读系列文章(三)Pump client 介绍
在《TiDBBinlog源码阅读系列文章(二)初识TiDBBinlog源码》中,我们介绍了Pump的作用是存储TiDB产生的binlog。本篇将介绍Pumpclient,希望大家了解TiDB把binlog写到Pump,以及输出数据的过程。gRPCAPIPumpclient的代码在tidb-tools
TiDB 新特性漫谈:悲观事务
关注TiDB的朋友大概会注意到,TiDB在3.0中引入了一个实验性的新功能:悲观事务模型。这个功能也是千呼万唤始出来的一个功能。大家知道,发展到今天,TiDB不仅仅在互联网行业广泛使用,更在一些传统金融行业开花结果,而悲观事务是在多数金融场景不可或缺的一个特性。另外事务作为一个关系型数据库的核心功能
TiDB Binlog 源码阅读系列文章(四)Pump server 介绍
在《TiDBBinlog源码阅读系列文章(三)Pumpclient介绍》中,我们介绍了TiDB如何通过Pumpclient将binlog发往Pump,本文将继续介绍Pumpserver的实现,对应的源码主要集中在TiDBBinlog仓库的pump/server.go文件中。启动PumpServerS
TiDB 最佳实践系列(一)高并发写入常见热点问题及规避方法
本文通过阐述一个高并发批量写入数据到TiDB的典型场景中,TiDB中常见的问题,给出一个业务的最佳实践,避免业务在开发的时候陷入TiDB使用的“反模式”。面向的对象本文主要面向对TiDB有一定了解的读者,读者在阅读本文之前,推荐先阅读讲解TiDB原理的三篇文章(讲存储,说计算,谈调度),以及TiDB
如何高效利用 Grafana 监控分析 TiDB 指标
作者介绍:李坤,PingCAP互联网架构师,TUGAmbassador,前美团、去哪儿数据库专家。一、概述使用TiDBAnsible部署TiDB集群,会同时部署一套Grafana+Prometheus的监控平台,这套监控用来收集和展示TiDB集群各个组件和机器的metric信息,这些metric信息
TiKV Rust Client 迁移记 - futures 0.1 至 0.3
作者介绍:NickCameron,PingCAP研发工程师,Rustcoreteam成员,专注于分布式系统、数据库领域和Rust语言的进展。最近我将一个中小型的crate从futures库的0.1迁移至了0.3版本。过程本身不是特别麻烦,但还是有些地方或是微妙棘手,或是没有很好的文档说明。这篇文章里
TiDB Binlog 源码阅读系列文章(五)Pump Storage 介绍(上)
我们主要介绍了PumpServer的上线过程、gRPCAPI实现、以及下线过程和相关辅助机制,其中反复提到了PumpStorage这个实体。本文就将介绍PumpStorage的实现,其主要代码在pump/storage文件夹中。PumpStorage由PumpServer调用,主要负责binlog的
TiDB 最佳实践系列(二)PD 调度策略最佳实践
众所周知,PD是整个TiDB集群的核心,负责全局元信息的存储以及TiKV集群负载均衡调度,本文将详细介绍PD调度系统的原理,并通过几个典型场景的分析和处理方式,分享调度策略的最佳实践和调优方法,帮助大家在使用过程中快速定位问题。本文内容基于3.0版本,更早的版本(2.x)缺少部分功能的支持,但是基本
TiDB 最佳实践系列(三)乐观锁事务
TiDB最佳实践系列是面向广大TiDB用户的系列教程,旨在深入浅出介绍TiDB的架构与原理,帮助用户在生产环境中最大限度发挥TiDB的优势。我们将分享一系列典型场景下的最佳实践路径,便于大家快速上手,迅速定位并解决问题。在前两篇的文章中,我们分别介绍了TiDB高并发写入常见热点问题及规避方法和PD调
TiDB 最佳实践系列(四)海量 Region 集群调优
在TiDB的架构中,所有的数据按照range划分成一个个Region分布在多个TiKV实例上。随着数据的写入,一个集群中会产生上百万,甚至千万个Region。而量变引起质变,单TiKV实例上过多的Region无疑会带来比较大的负担,进而影响整个集群的性能表现。本文将介绍TiKV核心模块Raftsto
TiKV 源码解析系列文章(十四)Coprocessor 概览
本文将简要介绍TiKVCoprocessor的基本原理,面向想要了解TiKV数据读取执行过程的同学,同时也面向想对该模块贡献代码的同学。阅读本文前,建议读者对TiDB整体架构有所了解,先阅读三篇文章了解TiDB技术内幕:说存储、说计算、谈调度。什么是Coprocessor熟悉TiDB整体框架的同学可
TiDB 最佳实践系列(五)Java 数据库应用开发指南
Java是当前非常流行的开发语言,很多TiDB用户的业务层都是使用Java开发的,本文将从Java数据库交互组件开发的角度出发,介绍各组件的推荐配置和推荐使用方式,希望能帮助Java开发者在使用TiDB时能更好的发挥数据库性能。Java应用中的数据库相关组件通常Java应用中和数据库相关的常用组件有