TiKV 源码解析系列文章(十五)表达式计算框架
讲到了TiDB为了最大化利用分布式计算能力,会尽量将Selection算子、聚合算子等算子下推到TiKV节点上。本文将继续介绍Coprocessor中表达式计算框架的源码架构,带大家看看SQL中的表达式是如何在Coprocessor中执行的。什么是表达式比如说我们有这个SQL作为例子:SELECT(
TiDB 最佳实践系列(六)HAProxy 的使用
HAProxy是一个使用C语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理。GitHub、Bitbucket、StackOverflow、Reddit、Tumblr、Twitter和Tuenti在内的知名网站,及亚马逊网络服务系统都在使用HAProxy
揭秘 TiDB 新优化器:Cascades Planner 原理解析
TiDB当前优化器简介关系型数据库中查询优化器的作用是为一个SQL在合理的开销内产生一个合适的查询计划,TiDB源码阅读系列文章(六)Select语句概览中介绍过TiDB当前优化器的基本组成,TiDB当前的优化器将优化过程主要分为逻辑优化(LogicalOptimize)和物理优化(Physical
流量和延迟减半!挑战 TiDB 跨数据中心难题
作者介绍:.*team(成员:庄天翼、朱贺天、屈鹏、林豪翔)参加了TiDBHackathon2019,他们项目「TiDB跨数据中心方案的优化」斩获了二等奖。众所周知,在对可用性要求极高的行业领域(比如金融、通信),分布式数据库需要跨地域的在多个数据中心之间建立容灾以及多活的系统架构,同时需要保持数据
TiDB Binlog 源码阅读系列文章(六)Pump Storage 介绍(下)
我们主要介绍了PumpStorage是如何对binlog进行持久化存储、排序、配对的。在文中我们提到binlog的持久化键值存储主要是由valueLog组件完成的。同时,大家如果在上文点开writeToValueLog代码阅读的话会发现在其中还会使用一个slowChaser组件。slowChaser
拥抱 Elasticsearch:给 TiDB 插上全文检索的翅膀
作者介绍:孙晓光,知乎技术平台负责人,与薛宁(@Inke)、黄梦龙(@PingCAP)、冯博(@知乎)组队参加了TiDBHackathon2019,他们的项目TiSearch获得了CTO特别奖。“搜索”是大家在使用各种APP中非常重要的一个行为,对于知乎这样以海量优质内容为特色的产品来说,借助搜索帮
TiKV 源码解析系列文章(十六)TiKV Coprocessor Executor 源码解析
在前两篇文章TiKV源码解析系列文章(十四)Coprocessor概览、TiKV源码解析系列文章(十五)表达式计算框架中,讲到了TiDB为了最大化利用分布式计算能力,会尽量将Selection算子、Aggregation算子等算子下推到TiKV节点上,以及下推的表达式是如何在TiKV上做计算的。本文
从大数据到数据库
作为一个从大数据转行做数据库的人,我自以为能感受到两个世界的异同。在这里,斗胆聊下这个话题,以及对未来的看法。大数据兴起从70年代关系型数据库进入历史舞台,很长一段时间它几乎是包打天下的选择。你很可能可以用一套数据库玩转所有业务,你也不需要一个连的工程师来维护她。哪怕你也许业务复杂,需要不同的数据库
直击备份恢复的痛点:基于 TiDB Binlog 的快速时间点恢复
作者介绍:吕磊,Better队成员、美团点评高级DBA,Better队参加了TiDBHackathon2019,其项目「基于TiDBBinlog的Fast-PITR」获得了最佳贡献奖。维护过数据库的同学应该都能体会,数据备份对于数据库来说可以说至关重要,尤其是关键业务。TiDB原生的备份恢复方案已经
效率 10x!打造运维 TiDB 的瑞士军刀
作者介绍:陈霜,做个人吧队成员,PingCAPTiDB研发工程师,做个人吧队参加了TiDBHackathon2019,其项目「ManagemanyasonewithSQL」获得了三等奖。极致的易用性一直是PingCAP追寻的目标。在这之前,TiDB通过兼容MySQL,将分布式的复杂度隐藏在TiDB之
TiDB Binlog 源码阅读系列文章(七)Drainer server 介绍
前面文章介绍了Pumpserver,接下来我们来介绍Drainerserver的实现,Drainerserver的主要作用是从各个Pumpserver获取binlog,按committimestamp归并排序后解析binlog同步到不同的目标系统,对应的源码主要集中在TiDBBinlog仓库的dra
分布式系统 in 2010s :软件构建方式和演化
我上大学的时候专业是软件工程,当时的软件工程是CMM、瀑布模型之类。十几年过去了,看看现在我们的软件开发模式,尤其是在互联网行业,敏捷已经成为主流,很多时候老板说业务下周上线,那基本就是怎么快怎么来,所以现代架构师对于可复用性和弹性会有更多的关注。我所知道业界对SOA的关注是从Amazon的大规模S
分布式系统 in 2010s :硬件的进化
SSD普及的深远影响如果说云的出现是一种商业模式的变化的话,驱动这个商业革命的推手就是最近十年硬件的快速更新。比起CPU,存储和网络设备的进化速度更加迅速。最近五年,SSD的价格(包括PCIe接口)的成本持续下降,批量采购的话已经几乎达到和HDD接近的价格。图1近5年SSD成本曲线SSD的普及,对于
分布式系统 in 2010s :测试和运维
我觉得面对测试的态度是区分一个普通程序员和优秀程序员的重要标准。现如今我们的程序和服务越来越庞大,光是单元测试TDD之类的就已经很难保证质量,不过这些都是baseline,所以今天聊点新的话题。说测试之前,我们先问下自己,为什么要测试?当然是为了找Bug。看起来这是句废话,但是仔细想想,如果我们能写
分布式系统 in 2010s :测试和运维
我觉得面对测试的态度是区分一个普通程序员和优秀程序员的重要标准。现如今我们的程序和服务越来越庞大,光是单元测试TDD之类的就已经很难保证质量,不过这些都是baseline,所以今天聊点新的话题。说测试之前,我们先问下自己,为什么要测试?当然是为了找Bug。看起来这是句废话,但是仔细想想,如果我们能写
TiKV 源码解析系列文章(十七)raftstore 概览
TiKV作为一个分布式KV数据库,使用Raft算法来提供强一致性。Raft算法提供了单一group的一致性,但是单一group无法扩展和均衡。因此,TiKV采用了MultiRaft的方式基于Raft算法提供能兼顾一致性、扩展均衡的KV储存。下文以3.0版本代码为例,讲述raftstore源码中的关键
TiLightning —— Lightning + TiSpark 轻松解除数据导入限制
TiDB作为HTAP数据库的代表在越来越多的行业得到了广泛的使用。在这一过程中,大家最为苦恼的事情之一就是如何将海量数据以比较快的速度导入TiDB集群。单纯通过load语句导入数据非常的慢;而目前作为数据导入速度最快的TiDBLightning也因为数据源的问题也存在一些局限。某些公司的PoC也因为
TiDB Binlog 源码阅读系列文章(八)Loader Package 介绍
我们介绍了Drainerserver,其中Syncer的实现之一MySQLSyncer就是对Loader的封装。Loader主要用于将binlog数据写入到支持MySQL协议的数据库。由于Drainer/Reparo等组件都需要类似功能,因此我们将Loader抽离成独立的Package,供其他应用程
一两个节点、一两条命令,轻松让 TiDB 分析场景无痛提速十倍
讲个故事某天,老板让你分省统计口罩最近的订货数据,以快速决策需要向哪里调货。你发起查询,全部订单数据多达数亿甚至更多,TiDB不得不花费一小段时间。由于存储节点在全力计算,你的集群波动的监控哔哔作响,主站的订单提交也一下子变得慢起来。倒了杯咖啡回来,你得到了结果。老板站在你身后,声音低沉而有磁性:“
为了证明它的速度,我们一口气对比了 Oracle、MySQL、MariaDB、Greenplum、A
我们简单介绍了TiFlash的设计和架构,TiFlash是TiDB即将随着3.1版本发布(3月)的列存引擎,大幅提升了TiDB在实时分析场景下的性能。同时和TiDB体系无缝结合,可实时更新,弹性扩展,保持TiDB的ACID事务特性和快照隔离级别,可用于严肃场景的实时分析。那么TiFlash到底有多快