TiDB 作为 MySQL Slave 实现实时数据同步
由于TiDB版本迭代,本文部分内容已不适用于最新的、广泛使用的版本,所以在阅读本文时请注意:1.关于文中「使用checker进行Schema检查」:我们不再推荐使用checker工具进行同步前检查,推荐使用
TiDB 4.0 新特性前瞻(一)拍个 CT 诊断集群热点问题
前言古代,医者看病讲究「望、闻、问、切」,通过病人的外部综合表现对病症做出判断。现代,CT的发明使得人们可以使用X光穿透身体各组织内部,将整体的情况以图像的方式展现出来,医生可以根据这个信息快速地排查问题。CT的出现不仅将诊断的效率提升到了新的高度,也给客观描述身体状态提供了一个标准,是医学史上重要
TiDB 混沌工程实践:如何打造健壮的分布式系统?
本文转载自InfoQ,策划:赵钰莹。作为一个分布式数据库,TiDB面临的严重挑战在于如何让用户相信存储在TiDB里面的数据是安全的,不会出现丢失,损坏等情况。因此,在TiDB研发初期,PingCAP就引入了混沌工程,来保证TiDB在各种极端情况下面的稳定性。本文整理自ArchSummit全球架构师峰
诊断修复 TiDB Operator 在 K8s 测试中遇到的 Linux 内核问题
Kubernetes(K8s)是一个开源容器编排系统,可自动执行应用程序部署、扩展和管理。它是云原生世界的操作系统。K8s或操作系统中的任何缺陷都可能使用户进程存在风险。作为PingCAPEE(效率工程)团队,我们在K8s中测试TiDBOperator(一个创建和管理TiDB集群的工具)时,发现了两
流量和延迟减半!挑战 TiDB 跨数据中心难题
作者介绍:.*team(成员:庄天翼、朱贺天、屈鹏、林豪翔)参加了TiDBHackathon2019,他们项目「TiDB跨数据中心方案的优化」斩获了二等奖。众所周知,在对可用性要求极高的行业领域(比如金融、通信),分布式数据库需要跨地域的在多个数据中心之间建立容灾以及多活的系统架构,同时需要保持数据
TiDB + TiFlash : 朝着真 HTAP 平台演进
作者介绍:韦万,PingCAP数据库研发工程师,主要领域是数据库的存储引擎研发,以及系统性能优化。一、为什么我们需要HTAP数据库?在互联网浪潮出现之前,企业的数据量普遍不大,特别是核心的业务数据,通常一个单机的数据库就可以保存。那时候的存储并不需要复杂的架构,所有的线上请求(OLTP,Online
How do we build TiDB
首先我们聊聊Database的历史,在已经有这么多种数据库的背景下我们为什么要创建另外一个数据库;以及说一下现在方案遇到的困境,说一下GoogleSpanner和F1,TiKV和TiDB,说一下架构的事情,在这里我们会重点聊一下TiKV。因为我们产品的很多特性是TiKV提供的,比如说跨数据中心的复制
让数据库运行在浏览器里?TiDB + WebAssembly 告诉你答案
一直以来都有个梦想:希望有一个数据库能够弹性扩展(分布式)到成百上千节点的规模,易于学习和理解,可以运行在私有云、公有云、Multi-Cloud、Kubernetes,也能够跑在嵌入式设备(比如树莓派)上,更酷的是也能够直接运行在浏览器里,而且不需要任何浏览器扩展(Extension),变成「口袋数
十分钟成为 TiDB Contributor 系列 | 添加內建函数
背景知识SQL语句发送到TiDB后首先会经过parser,从文本parse成为AST(抽象语法树),通过QueryOptimizer生成执行计划,得到一个可以执行的plan,通过执行这个plan即可得到结果,这期间会涉及到如何获取table中的数据,如何对数据进行过滤、计算、排序、聚合、滤重以及如何
十分钟成为 Contributor 系列 | 为 TiDB 重构 built-in 函数
这是十分钟成为TiDBContributor系列的第二篇文章,让大家可以无门槛参与大型开源项目,感谢社区为TiDB带来的贡献,也希望参与TiDBCommunity能为你的生活带来更多有意义的时刻。为了加速表达式计算速度,最近我们对表达式的计算框架进行了重构,这篇教程为大家分享如何利用新的计算框架为T
十分钟成为 Contributor 系列 | TiDB 向量化表达式活动第二弹
在上篇文章中,我们介绍了TiDB如何实现表达式的向量化优化,以及社区同学如何参与这项工程。两周过去了,我们收到了很多来自社区小伙伴们的建议和反馈,今天在这里和大家分享一下活动进展和这些建议及反馈。活动进展先来看看这两周的活动进展吧。截至9月30日中午,所有Issue中需要向量化的函数签名总共有517
TiDB 中的子查询优化技术
子查询简介子查询是嵌套在另一个查询中的SQL表达式,比较常见的是嵌套在FROM子句中,如SELECTIDFROM(SELECT*FROMSRC)AST。对于出现在FROM中的子表达式,一般的SQL优化器都会处理的很好。但是当子查询出现在WHERE子句或SELECT列表中时,优化的难度就会大大增加,因
回到过去,找回遗失的珍宝 - TiDB 的历史读功能
数据作为业务的核心,关系着整个业务的生死,所以对于数据库来说,数据的安全性是放在首位的,从宏观角度来看,安全性不仅仅在于的数据库本身足够稳定不会主动的丢失数据,有的时候更是对业务本身甚至人为失误造成损失是否有足够且便捷的应对方案,例如在游戏行业中经常遇到的反作弊(作弊玩家回档)问题,对于金融业务的审
MPP and SMP in TiDB
今天主要是想把我们TiDB做SQL性能优化的一些经验和一些思考,就此跟大家探讨一下。题目写的比较大,但是内容还是比较简单。我们做TiDB的SQL层时,一开始做的很简单,就是通过最简单的KV接口(Get/Set/Seek)去存数据、取数据,做一些非常直白、简单的计算。然而后来我们发现,这个方案在性能上
Percolator 和 TiDB 事务算法
本文先概括的讲一下GooglePercolator的大致流程。Percolator是Google的上一代分布式事务解决方案,构建在BigTable之上,在Google内部用于网页索引更新的业务,原始的论文在此。原理比较简单,总体来说就是一个经过优化的二阶段提交的实现,进行了一个二级锁的优化。TiDB
TiDB 的正确使用姿势
最近这几个月,特别是TiDBRC1发布后,越来越多的用户已经开始测试起来,也有很多朋友已经在生产环境中使用,我们这边也陆续的收到了很多用户的测试和使用反馈。非常感谢各位小伙伴和早期用户的厚爱,而且看了这么多场景后,也总结出了一些TiDB的使用实践(其实Spanner的最佳实践大部分在TiDB中也是适
十分钟成为 TiDB Contributor 系列 | 添加內建函数
背景知识SQL语句发送到TiDB后首先会经过parser,从文本parse成为AST(抽象语法树),通过QueryOptimizer生成执行计划,得到一个可以执行的plan,通过执行这个plan即可得到结果,这期间会涉及到如何获取table中的数据,如何对数据进行过滤、计算、排序、聚合、滤重以及如何
演讲实录|黄东旭:Cloud-Native 的分布式数据库架构与实践
4月19日,我司CTO黄东旭同学在全球云计算开源大会上,发表了《Cloud-Native的分布式数据库架构与实践》主题演讲,以下为演讲实录。实录PingCAP的联合创始人兼CTO黄东旭大家好,今天我的题目是Cloud-Native与分布式数据库的实践。先简单的介绍一下自己,我是PingCAP的联合创
三篇文章了解 TiDB 技术内幕 - 说存储
引言数据库、操作系统和编译器并称为三大系统,可以说是整个计算机软件的基石。其中数据库更靠近应用层,是很多业务的支撑。这一领域经过了几十年的发展,不断的有新的进展。很多人用过数据库,但是很少有人实现过一个数据库,特别是实现一个分布式数据库。了解数据库的实现原理和细节,一方面可以提高个人技术,对构建其他
三篇文章了解 TiDB 技术内幕 - 说计算
关系模型到Key-Value模型的映射在这我们将关系模型简单理解为Table和SQL语句,那么问题变为如何在KV结构上保存Table以及如何在KV结构上运行SQL语句。假设我们有这样一个表的定义:CREATETABLEUser{IDint,Namevarchar(20),Rolevarchar(20