The Overview of TiDB 4.0
在上篇文章中,我司CTO黄东旭分享了我们对“未来数据库”的展望,很高兴我们一直走在「写一个更好的数据库」的初心之路上。4月8日是PingCAP成立五周年的日子,我们也在这一天发布了具有里程碑意义的TiDB4.0首个RC版本。在4.0里我们完成了很多重要的、很有潜力的特性,本文将从多角度介绍TiDB4
TiDB 4.0 新特性尝鲜指南
在TiDB4.0中我们实现了很多具有里程碑意义的功能,这里为大家列一份「新特性尝鲜指南」。TiUP:一键安装工具试玩第一步当然是安装部署:如何在1分钟内快速部署、单机启动TiDB集群?我们专门为TiDB4.0做了一个全新的组件管理工具——TiUP。当然我们要先安装TiUP,使用如下命令:curl--
分布式系统 in 2010s :测试和运维
我觉得面对测试的态度是区分一个普通程序员和优秀程序员的重要标准。现如今我们的程序和服务越来越庞大,光是单元测试TDD之类的就已经很难保证质量,不过这些都是baseline,所以今天聊点新的话题。说测试之前,我们先问下自己,为什么要测试?当然是为了找Bug。看起来这是句废话,但是仔细想想,如果我们能写
分布式系统 in 2010s :硬件的进化
SSD普及的深远影响如果说云的出现是一种商业模式的变化的话,驱动这个商业革命的推手就是最近十年硬件的快速更新。比起CPU,存储和网络设备的进化速度更加迅速。最近五年,SSD的价格(包括PCIe接口)的成本持续下降,批量采购的话已经几乎达到和HDD接近的价格。图1近5年SSD成本曲线SSD的普及,对于
分布式系统 in 2010s :软件构建方式和演化
我上大学的时候专业是软件工程,当时的软件工程是CMM、瀑布模型之类。十几年过去了,看看现在我们的软件开发模式,尤其是在互联网行业,敏捷已经成为主流,很多时候老板说业务下周上线,那基本就是怎么快怎么来,所以现代架构师对于可复用性和弹性会有更多的关注。我所知道业界对SOA的关注是从Amazon的大规模S
分布式系统 in 2010s :存储之数据库篇
回看这几年,分布式系统领域出现了很多新东西,特别是云和AI的崛起,让这个过去其实不太sexy的领域一下到了风口浪尖,在这期间诞生了很多新技术、新思想,让这个古老的领域重新焕发生机。站在2010s的尾巴上,我想跟大家一起聊聊分布式系统令人振奋的进化路程,以及谈一些对2020s的大胆猜想。无论哪个时代,
TiKV 功能介绍 - Placement Driver
介绍PlacementDriver(后续以PD简称)是TiDB里面全局中心总控节点,它负责整个集群的调度,负责全局ID的生成,以及全局时间戳TSO的生成等。PD还保存着整个集群TiKV的元信息,负责给client提供路由功能。作为中心总控节点,PD通过集成etcd,自动的支持autofailover
TiKV 功能介绍 - PD Scheduler
介绍假设我们只有一个TiKV,那么根本就无需调度了,因为数据只可能在这一台机器上面,client也只可能跟这一个TiKV进行交互。但我们知道,在分布式存储领域,这样的情况不可能一直持续,因为数据量的增量一定会超过当前机器的物理存储极限,必然我们需要将一部分数据迁移到其他机器上面去。在之前的文章里面,
tidyfst征美化后logo(有偿)
作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言高效数据处理指南》(《R语言数据高…
DM 源码阅读系列文章(一)序
前言TiDBDataMigration是由PingCAP开发的一体化数据同步任务管理平台,支持从MySQL或MariaDB到TiDB的全量数据迁移和增量数据同步,在TiDBDevCon2019正式开源。作为一款连接MySQL/MariaDB生态和TiDB生态的中台类型产品,DM获得了广泛的关注,很多
DM 源码阅读系列文章(二)整体架构介绍
本文为TiDBDataMigration源码阅读系列文章的第二篇,《DM源码阅读系列文章(一)序》简单介绍了DM源码阅读的目的和规划,以及DM的源码结构以及工具链。从本篇文章开始,我们会正式开始阅读DM的源码。本篇文章主要介绍DM的整体架构,包括DM有哪些组件、各组件分别实现什么功能、组件之间交互的
DM 源码阅读系列文章(三)数据同步处理单元介绍
本文为TiDBDataMigration源码阅读系列文章的第三篇,《DM源码阅读系列文章(二)整体架构介绍》介绍了DM的整体架构,DM组件DM-master和DM-worker的入口代码,以及两者之间的数据交互模型。本篇文章详细地介绍DM数据同步处理单元(DM-worker内部用来同步数据的逻辑单元
DM 源码阅读系列文章(四)dump/load 全量同步的实现
本文为TiDBDataMigration源码阅读系列文章的第四篇,《DM源码阅读系列文章(三)数据同步处理单元介绍》介绍了数据同步处理单元实现的功能,数据同步流程的运行逻辑以及数据同步处理单元的interface设计。本篇文章在此基础上展开,详细介绍dump和load两个数据同步处理单元的设计实现,
DM 源码阅读系列文章(五)Binlog replication 实现
本文为TiDBDataMigration源码阅读系列文章的第五篇。《DM源码阅读系列文章(四)dump/load全量同步的实现》介绍了dump和load两个数据同步处理单元的设计实现,对核心interface实现、数据导入并发模型、数据导入暂停或中断的恢复进行了分析。**本篇文章将详细地介绍DM核心
TiKV 源码解析系列文章(七)gRPC Server 的初始化和启动流程
本篇TiKV源码解析将为大家介绍TiKV的另一周边组件——grpc-rs。grpc-rs是PingCAP实现的一个gRPC的Rust绑定,其Server/Client端的代码框架都基于Future,事件驱动的EventLoop被隐藏在了库的内部,所以非常易于使用。本文将以一个简单的gRPC服务作为例
DM 源码阅读系列文章(六)relay log 的实现
本文为TiDBDataMigration源码阅读系列文章的第六篇,在《DM源码阅读系列文章(五)Binlogreplication实现》中我们介绍了binlogreplication处理单元的实现,对在增量复制过程中binlogevent的读取、过滤、路由、转换以及执行等逻辑进行了分析。本篇文章我们
DM 源码阅读系列文章(七)定制化数据同步功能的实现
本文为TiDBDataMigration源码阅读系列文章的第七篇,在《DM源码阅读系列文章(六)relaylog的实现》中我们介绍了relaylog的实现,主要包括relaylog目录结构定义、relaylog数据的处理流程、主从切换支持、relaylog的读取等逻辑。本篇文章我们将会对DM的定制化
TiKV 源码解析系列文章(八)grpc-rs 的封装与实现
上一篇《gRPCServer的初始化和启动流程》为大家介绍了gRPCServer的初始化和启动流程,本篇将带大家深入到grpc-rs这个库里,查看RPC请求是如何被封装和派发的,以及它是怎么和RustFuture进行结合的。gRPCCCoregRPC包括了一系列复杂的协议和流控机制,如果要为每个语言
TiDB Binlog 源码阅读系列文章(一)序
TiDBBinlog组件用于收集TiDB的binlog,并准实时同步给下游,如TiDB、MySQL等。该组件在功能上类似于MySQL的主从复制,会收集各个TiDB实例产生的binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用TiDBBinlog可以实现数据准实时同步到其他数据库,以
DM 源码阅读系列文章(八)Online Schema Change 同步支持
本文为TiDBDataMigration源码阅读系列文章的第八篇,《DM源码阅读系列文章(七)定制化数据同步功能的实现》对DM中的定制化数据同步功能进行详细的讲解,包括库表路由(Tablerouting)、黑白名单(Black&whitetablelists)、列值转化(Columnmapp