TiDB-Lightning Toolset & TiDB-DM 正式开源,前排开“坑”、PR 走起
在刚刚结束的 TiDB DevCon 2019 上,我们宣布将大家期待已久的 TiDB-Ligthning Toolset 和 TiDB-DM 开源(惊不惊喜、意不意外?!),感兴趣的小伙伴们赶紧前排关注一波,开“坑(issues)”讨论,PR 走起!TiDB-Lightning ToolsetTiDB-Lightning Toolset …
TiDB 3.0 Beta Release Notes
2019 年 1 月 19 日,TiDB 发布 3.0 Beta 版,对应 master branch 的 TiDB-Ansible。相比 2.1 版本,该版本对系统稳定性、优化器、统计信息以及执行引擎做了很多改进。TiDB新特性支持 View支持 Window Function支持 Range Partition支持 Hash Partition SQL…
TiDB 在转转的业务实战
作者介绍 陈维,转转优品技术部 RD。世界级的开源分布式数据库 TiDB 自 2016 年 12 月正式发布第一个版本以来,业内诸多公司逐步引入使用,并取得广泛认可。对于互联网公司,数据存储的重要性不言而喻。在 NewSQL 数据库出现之前,一般采用单机数据库(比如…
TiDB 源码阅读系列文章(二十四)TiDB Binlog 源码解析
作者:姚维TiDB Binlog Overview这篇文章不是讲 TiDB Binlog 组件的源码,而是讲 TiDB 在执行 DML/DDL 语句过程中,如何将 Binlog 数据 发送给 TiDB Binlog 集群的 Pump 组件。目前 TiDB 在 DML 上的 Binlog 用的类似 Row-based 的格式。具体 Binlog 具体的…
TiDB 源码阅读系列文章(二十三)Prepare/Execute 请求处理
作者:苏立在之前的一篇文章《TiDB 源码阅读系列文章(三)SQL 的一生》中,我们介绍了 TiDB 在收到客户端请求包时,最常见的Command --- COM_QUERY的请求处理流程。本文我们将介绍另外一种大家经常使用的Command --- Prepare/Execute请求在 TiDB 中的处理…
写给社区的回顾和展望:TiDB 2019, Level Up !
作者:黄东旭 @Ed Huang 2018 年对于 TiDB 和 PingCAP 来说是一个由少年向成年的转换的一年,如果用一个关键字来概括就是「蜕变」。在这一年很欣喜的看到 TiDB 和 TiKV 在越来越多的用户使用在了越来越广泛的场景中,作为一个刚刚 3 岁多的开源项目,没有背…
TiPrometheus:基于 TiDB 的 TSDB | TiDB Hackathon 优秀项目
本文作者是菜哥和他的朋友们队的于畅同学,他们的项目 TiPrometheus已经被 Prometheus adapter 合并。该项目分两个小项目,分别解决了时序数据的存储与计算问题。存储主要兼容 Prometheus 语法和数据格式,实现了精确查询、模糊查询,完全兼容现有语法。所…
TBSSQL 的那些事 | TiDB Hackathon 优秀项目分享
本文作者是来自 TiBoys 队的崔秋同学,他们的项目 TBSSQL 在 TiDB Hackathon 2018 中获得了一等奖。 TiDB Batch and Streaming SQL(简称 TBSSQL)扩展了 TiDB 的 SQL 引擎,支持用户以类似 StreamSQL 的语法将 Kafka, Pulsar 等外部数据源以流式表的方式接…
TiDB Ecosystem Tools 原理解读系列(三)TiDB-DM 架构设计与实现原理
作者:张学程TiDB-DM(Data Migration)是用于将数据从 MySQL/MariaDB 迁移到 TiDB 的工具。该工具既支持以全量备份文件的方式将 MySQL/MariaDB 的数据导入到 TiDB,也支持通过解析执行 MySQL/MariaDB binlog 的方式将数据增量同步到 TiDB。特别地,对于有…
TiDB 助力东南亚领先电商 Shopee 业务升级
作者介绍 刘春辉,Shopee DBA 洪超,Shopee DBA一、业务场景Shopee(https://shopee.com/)是东南亚和台湾地区领先的电子商务平台,覆盖新加坡、马来西亚、菲律宾、印度尼西亚、泰国、越南和台湾等七个市场。Shopee 母公司 Sea(https://seagroup.com/)为…
TiEye:Region 信息变迁历史可视化工具 | TiDB Hackathon 优秀项目分享
本文作者是矛盾螺旋队的成员刘玮,他们的项目TiEye在 TiDB Hackathon 2018 中获得了三等奖。TiEye 是 Region 信息变迁历史可视化工具,通过 PD记录 Region 的Split、Merge、ConfChange、LeaderChange 等信息,可以方便的回溯 Region 某个时间的具体状态,为…
TiDB 源码阅读系列文章(二十二)Hash Aggregation
作者:徐怀宇聚合算法执行原理在 SQL 中,聚合操作对一组值执行计算,并返回单个值。TiDB 实现了 2 种聚合算法:Hash Aggregation 和 Stream Aggregation。我们首先以 AVG 函数为例(案例参考 Stack Overflow),简述这两种算法的执行原理。假设表 t 如下:…
十分钟成为 Contributor 系列 | 支持 AST 还原为 SQL
作者:赵一霖背景知识SQL 语句发送到 TiDB 后首先会经过 parser,从文本 parse 成为 AST(抽象语法树),AST 节点与 SQL 文本结构是一一对应的,我们通过遍历整个 AST 树就可以拼接出一个与 AST 语义相同的 SQL 文本。对 parser 不熟悉的小伙伴们可以看 TiD…
TiDB Ecosystem Tools 原理解读 TiDB-Lightning Toolset
作者:Kenny Chan简介TiDB-Lightning Toolset 是一套快速全量导入 SQL dump 文件到 TiDB 集群的工具集,自 2.1.0 版本起随 TiDB 发布,速度可达到传统执行 SQL 导入方式的至少 3 倍、大约每小时 100 GB,适合在上线前用作迁移现有的大型数据库到全新的 TiDB…
天真贝叶斯学习机 | TiDB Hackathon 优秀项目分享
TiDB Hackathon 2018 共评选出六个优秀项目,本系列文章将由这六个项目成员主笔,分享他们的参赛经验和成果。我们非常希望本届 Hackathon 诞生的优秀项目能够在社区中延续下去,感兴趣的小伙伴们可以加入进来哦~ 本文作者是来自 DSG 团队的杨文同学,他们…
TiDB DevCon 2019 报名开启 :年度最高规格的 TiDB 技术大会
年度最高规格的 TiDB 技术大会 海内外动态及成果的综合呈现 最新核心技术解读 多个成果首次亮相 2019 RoadMap 展望 14 位海内外基础架构领域技术大咖 8 个跨行业多场景的用户实战经验 1 小时 Demo Show 只为向你描述可以预见的 数据库的未来 1970 年关系模…
TiQuery:All Diagnosis in SQL | TiDB Hackathon 项目分享
本文作者是来自 TiNiuB 队的黄梦龙同学,他们的项目 TiQuery 在本届 TiDB Hackathon 2018 中获得了三等奖。 TiQuery 可以搜集诊断集群问题所需要的信息,包括集群拓扑,Region 分布,配置,各种系统信息,整理成结构化的数据,并在 TiDB 中支持直接使用 SQL…
让 TiDB 访问多种数据源 | TiDB Hackathon 优秀项目分享
本文作者是来自CC 组的兰海同学,他们的项目《让 TiDB 访问多种数据源》在本届 TiDB Hackathon 2018 中获得了二等奖。该项目可以让 TiDB 支持多种外部数据源的访问,针对不同数据源的特点会不同的下推工作,使 TiDB 成为一个更加通用的数据库查询优化和计算…
TiDB Lab 诞生记 | TiDB Hackathon 优秀项目分享
本文由红凤凰粉凤凰粉红凤凰队的成员主笔,他们的项目 TiDB Lab 在本届 TiDB Hackathon 2018 中获得了二等奖。TiDB Lab 为 TiDB 培训体系增加了一个可以动态观测 TiDB / TiKV / PD 细节的动画教学 Lab,让用户可以一边进行真实操作一边观察组件之间的变化,…
TiDB 源码阅读系列文章(二十一)基于规则的优化 II
作者:姚珂男在 TiDB 源码阅读系列文章(七)基于规则的优化 一文中,我们介绍了几种 TiDB 中的逻辑优化规则,包括列剪裁,最大最小消除,投影消除,谓词下推和构建节点属性,本篇将继续介绍更多的优化规则:聚合消除、外连接消除和子查询优化。聚合消除聚…