十分钟成为 Contributor 系列 | 为 Cascades Planner 添加优化规则
到今天为止,“成为Contributor系列”已经推出了“支持AST还原为SQL”,“为TiKV添加built-in函数”,“向量化表达式”等一列活动。这一次借着TiDB优化器重构的契机,我们将这个系列再向着数据库的核心前进一步,挑战一下「为TiDB的优化器增加优化规则」,带大家初步体验一下可以对查
揭秘 TiDB 新优化器:Cascades Planner 原理解析
在《十分钟成为Contributor系列|为CascadesPlanner添加优化规则》中,我们简单介绍了Cascades的相关背景知识,本文将为大家深入介绍TiDB新的优化器——CascadesPlanner的框架及原理。TiDB当前优化器简介关系型数据库中查询优化器的作用是为一个SQL在合理的开
拥抱 Elasticsearch:给 TiDB 插上全文检索的翅膀
作者介绍:孙晓光,知乎技术平台负责人,与薛宁(@Inke)、黄梦龙(@PingCAP)、冯博(@知乎)组队参加了TiDBHackathon2019,他们的项目TiSearch获得了CTO特别奖。“搜索”是大家在使用各种APP中非常重要的一个行为,对于知乎这样以海量优质内容为特色的产品来说,借助搜索帮
效率 10x!打造运维 TiDB 的瑞士军刀
作者介绍:陈霜,做个人吧队成员,PingCAPTiDB研发工程师,做个人吧队参加了TiDBHackathon2019,其项目「ManagemanyasonewithSQL」获得了三等奖。极致的易用性一直是PingCAP追寻的目标。在这之前,TiDB通过兼容MySQL,将分布式的复杂度隐藏在TiDB之
The Overview of TiDB 4.0
在上篇文章中,我司CTO黄东旭分享了我们对“未来数据库”的展望,很高兴我们一直走在「写一个更好的数据库」的初心之路上。4月8日是PingCAP成立五周年的日子,我们也在这一天发布了具有里程碑意义的TiDB4.0首个RC版本。在4.0里我们完成了很多重要的、很有潜力的特性,本文将从多角度介绍TiDB4
TiDB 4.0 新特性尝鲜指南
在TiDB4.0中我们实现了很多具有里程碑意义的功能,这里为大家列一份「新特性尝鲜指南」。TiUP:一键安装工具试玩第一步当然是安装部署:如何在1分钟内快速部署、单机启动TiDB集群?我们专门为TiDB4.0做了一个全新的组件管理工具——TiUP。当然我们要先安装TiUP,使用如下命令:curl--
分布式系统 in 2010s :测试和运维
我觉得面对测试的态度是区分一个普通程序员和优秀程序员的重要标准。现如今我们的程序和服务越来越庞大,光是单元测试TDD之类的就已经很难保证质量,不过这些都是baseline,所以今天聊点新的话题。说测试之前,我们先问下自己,为什么要测试?当然是为了找Bug。看起来这是句废话,但是仔细想想,如果我们能写
分布式系统 in 2010s :硬件的进化
SSD普及的深远影响如果说云的出现是一种商业模式的变化的话,驱动这个商业革命的推手就是最近十年硬件的快速更新。比起CPU,存储和网络设备的进化速度更加迅速。最近五年,SSD的价格(包括PCIe接口)的成本持续下降,批量采购的话已经几乎达到和HDD接近的价格。图1近5年SSD成本曲线SSD的普及,对于
分布式系统 in 2010s :软件构建方式和演化
我上大学的时候专业是软件工程,当时的软件工程是CMM、瀑布模型之类。十几年过去了,看看现在我们的软件开发模式,尤其是在互联网行业,敏捷已经成为主流,很多时候老板说业务下周上线,那基本就是怎么快怎么来,所以现代架构师对于可复用性和弹性会有更多的关注。我所知道业界对SOA的关注是从Amazon的大规模S
分布式系统 in 2010s :存储之数据库篇
回看这几年,分布式系统领域出现了很多新东西,特别是云和AI的崛起,让这个过去其实不太sexy的领域一下到了风口浪尖,在这期间诞生了很多新技术、新思想,让这个古老的领域重新焕发生机。站在2010s的尾巴上,我想跟大家一起聊聊分布式系统令人振奋的进化路程,以及谈一些对2020s的大胆猜想。无论哪个时代,
TiKV 功能介绍 - Placement Driver
介绍PlacementDriver(后续以PD简称)是TiDB里面全局中心总控节点,它负责整个集群的调度,负责全局ID的生成,以及全局时间戳TSO的生成等。PD还保存着整个集群TiKV的元信息,负责给client提供路由功能。作为中心总控节点,PD通过集成etcd,自动的支持autofailover
TiKV 功能介绍 - PD Scheduler
介绍假设我们只有一个TiKV,那么根本就无需调度了,因为数据只可能在这一台机器上面,client也只可能跟这一个TiKV进行交互。但我们知道,在分布式存储领域,这样的情况不可能一直持续,因为数据量的增量一定会超过当前机器的物理存储极限,必然我们需要将一部分数据迁移到其他机器上面去。在之前的文章里面,
tidyfst征美化后logo(有偿)
作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言高效数据处理指南》(《R语言数据高…
DM 源码阅读系列文章(一)序
前言TiDBDataMigration是由PingCAP开发的一体化数据同步任务管理平台,支持从MySQL或MariaDB到TiDB的全量数据迁移和增量数据同步,在TiDBDevCon2019正式开源。作为一款连接MySQL/MariaDB生态和TiDB生态的中台类型产品,DM获得了广泛的关注,很多
DM 源码阅读系列文章(二)整体架构介绍
本文为TiDBDataMigration源码阅读系列文章的第二篇,《DM源码阅读系列文章(一)序》简单介绍了DM源码阅读的目的和规划,以及DM的源码结构以及工具链。从本篇文章开始,我们会正式开始阅读DM的源码。本篇文章主要介绍DM的整体架构,包括DM有哪些组件、各组件分别实现什么功能、组件之间交互的
DM 源码阅读系列文章(三)数据同步处理单元介绍
本文为TiDBDataMigration源码阅读系列文章的第三篇,《DM源码阅读系列文章(二)整体架构介绍》介绍了DM的整体架构,DM组件DM-master和DM-worker的入口代码,以及两者之间的数据交互模型。本篇文章详细地介绍DM数据同步处理单元(DM-worker内部用来同步数据的逻辑单元
DM 源码阅读系列文章(四)dump/load 全量同步的实现
本文为TiDBDataMigration源码阅读系列文章的第四篇,《DM源码阅读系列文章(三)数据同步处理单元介绍》介绍了数据同步处理单元实现的功能,数据同步流程的运行逻辑以及数据同步处理单元的interface设计。本篇文章在此基础上展开,详细介绍dump和load两个数据同步处理单元的设计实现,
DM 源码阅读系列文章(五)Binlog replication 实现
本文为TiDBDataMigration源码阅读系列文章的第五篇。《DM源码阅读系列文章(四)dump/load全量同步的实现》介绍了dump和load两个数据同步处理单元的设计实现,对核心interface实现、数据导入并发模型、数据导入暂停或中断的恢复进行了分析。**本篇文章将详细地介绍DM核心
TiKV 源码解析系列文章(七)gRPC Server 的初始化和启动流程
本篇TiKV源码解析将为大家介绍TiKV的另一周边组件——grpc-rs。grpc-rs是PingCAP实现的一个gRPC的Rust绑定,其Server/Client端的代码框架都基于Future,事件驱动的EventLoop被隐藏在了库的内部,所以非常易于使用。本文将以一个简单的gRPC服务作为例
DM 源码阅读系列文章(六)relay log 的实现
本文为TiDBDataMigration源码阅读系列文章的第六篇,在《DM源码阅读系列文章(五)Binlogreplication实现》中我们介绍了binlogreplication处理单元的实现,对在增量复制过程中binlogevent的读取、过滤、路由、转换以及执行等逻辑进行了分析。本篇文章我们