分布式数据库TiDB 的异步 schema 变更实现
转自https://github.com/ngaut/builddatabase/blob/master/f1/schema-change-implement.mdgithub.com背景现在一般数据库在进行DDL操作时都会锁表,导致线上对此表的DML操作全部进入等待状态(有些数据支持读操作,但是
TiDB 源代码学习: ranger 模块代码分析
对数据库技术有一定了解的同行们,应该对索引前缀匹配的概念不陌生.在TiDB中ranger模块在前缀匹配机制中发挥了一定的作用,所以我想好好了解一下这个模块的代码.ranger模块介绍ranger模块重要的入口是DetachCondAndBuildRangeForIndex以及DetachCondAn
加快 java 项目 Docker 镜像构建速度的野路子
最近接手了一个java项目,无论是测试环境还是正式环境,都是CI/CD系统自动构建和部署的,用的Docker,被java项目的构建速度虐到了。无论是Python、Node.js、Go,从零打包镜像的话,在有Dockercache的情况下,连续构建镜像的速度是可以很快的。一般的优化方式是先安装依赖模块
TiDB 源码学习:关于 Projection Pruning 的细节问题
查询优化器发现节点之间是Proj/Aggr-->Proj模式的时候(也就是某个Proj节点的祖先是Proj或Aggr节点的时候),会考虑对子节点做ProjectionPruning优化。是否可以消除Proj节点的判断依据是:当前的Proj节点输出的列是否和其子节点的输出列一样。如果一样,则可以
TiDB 源码学习:常见子查询优化
根据TiDB中的子查询优化技术这篇文章的介绍,TiDB在处理关联子查询时引入了Apply算子。然后使用关系代数将Apply算子等价转换成其他算子,从而达到去关联化的目的。理论上,所有的关联子查询都可以去关联化,具体的理论知识可以看这篇博客:SQL子查询的优化。本文从代码角度,梳理一下常见关联子查询的
TiDB 源码学习:关于 join 的优化
最近在尝试自己写数据库查询模块,满足http://sigmod18contest.db.in.tum.de/task.shtml的功能要求。一边看着TiDB的代码,一边写…这个过程中发现了一些TiDB优化点。joinreorder每个数据库系统基本都要实现joinreorder,修改表连接的顺序,从
InfluxDB 源码学习:文件结构(一)
InfluxDB当中保存三组不同类型文件TSM:保存时序数据,通过SeriesKey可以查询到保存的时序数据TSI:时序数据的「倒排索引」,可以快速找到某个measurement下某个tag里包含某个value的SeriesID有哪些Series:保存SeriesID和SeriesKey之间的映射可
TiDB 源码学习: 聚合查询
没了解过Aggregation的执行细节之前,感觉Aggregation比较神奇,它和普通的SPJ查询不太一样,Aggregation会对数据分组并聚合计算,经过Aggregation,整个数据的schema都会发生改变。但其实,常见的Aggregation也并不复杂,从代码里看,和Aggregat
TiDB 源码学习:列裁剪
今天整理TiDB的一种常见优化手段:列裁剪(columnpruning)列裁剪是很常见的一种优化手段,除了能够降低网络开销以外,也能够降低数据库的内存开销和cpu开销。比如下面这个查询:selectt1.idfromt1,t2wheret1.id==t2.t1_idwheret2.state=1;这
银行交易系统 TiDB 在线缩容迁移
作者:Dan本文转载自公众号「白噪声OG」。经历了上礼拜漫长的上线周期,终于有时间总结一下期间发生的故事。TiDB是一款非常优秀的国产分布式NewSQL数据库,因其支持水平扩展性、强一致性、高可用性,从18年3月起已在国内银行的账务、支付类核心系统得到应用。临近年中,银行重要系统的建设进入投产冲刺阶
Shopee 的分布式数据库实践之路
分布式技术的发展,深刻地改变了我们编程的模式和思考软件的模式。值2019岁末,PingCAP联合InfoQ共同策划出品“分布式系统前沿技术”专题,邀请众多技术团队共同参与,一起探索这个古老领域的新生机。本文出自ShopeeDBA刘春辉。Shopee于2015年底上线,是东南亚地区领先的电子商务平台,
让拆库拆表见鬼去吧! MySQL 扩展新玩法
随着数据量的激增,单机数据库存不下了,怎么办?这几乎是所有互联网公司都会遇到的问题。在过去,一直没有一个优雅的解决方案从根本上解决传统关系型数据库扩展性问题,而通常的做法是业务层要把代码改个遍,如果业务上已经用了MySQL,没有办法,只能去拆库拆表,动中间件,而这个过程对DBA是痛苦的,就算不死也要
分布式数据库在 ARM 平台探索之路(一) TiDB 集群在 arm 平台编译安装与部署
本文转自公众号TCTP,作者TCTP。原文链接:https://mp.weixin.qq.com/s/voEr3WId1LeOr-o4sFptPA?scene=25#wechat_redirect我行在2018年开始了基于ARM服务器平台的尝试,当前TDSQL的冷备数据全部保存在基于ARM服务器搭建
了解TiDB(一)
最近不那么忙了,于是希望对业界的系统进行比较深入的了解.恰好TiDB也开放了相当数量的blog,以及对开发者还比较友好,于是就从TiDB开始,记录一下现代系统的一角以及工业界可能偏好的解决方案.TiDB源码阅读系列文章(一)序这篇讲了TiDB=tidb-server/pd-server/tikv-s
性能测试工具的 Coordinated Omission 问题
作者:唐刘很早之前就看过Gil大神的一篇文章《YourLoadGeneratorIsProbablyLyingToYou-TakeTheRedPillAndFindOutWhy》,里面提到了性能测试工具coordinatedomission的问题,但当时并没有怎么在意。这几天有人在我们自己的性能测试
TiDB 在 Ping++ 金融聚合支付业务中的实践
Ping++介绍Ping++是国内领先的支付解决方案SaaS服务商。自2014年正式推出聚合支付产品,Ping++便凭借“7行代码接入支付”的极致产品体验获得了广大企业客户的认可。如今,Ping++在持续拓展泛支付领域的服务范围,旗下拥有聚合支付、账户系统、商户系统三大核心产品,已累计为近25000
TiPrometheus:基于 TiDB 的 TSDB | TiDB Hackathon 优秀项目
本文作者是菜哥和他的朋友们队的于畅同学,他们的项目TiPrometheus已经被Prometheusadapter合并。该项目分两个小项目,分别解决了时序数据的存储与计算问题。存储主要兼容Prometheus语法和数据格式,实现了精确查询、模糊查询,完全兼容现有语法。所有数据仅存在TiKV中。计算主
拥抱 Elasticsearch:给 TiDB 插上全文检索的翅膀
推荐下知乎的晓光老师的文章。TiDB的AP形态其实一直都还在不断补完的路上,这里少不了社区各路神仙的各种神奇贡献。这里推荐下知乎大神孙晓光老师在TiDBHackathon2019获奖作品TiSearch的介绍。作者介绍孙晓光,知乎技术平台负责人,与薛宁(@Inke)、黄梦龙(@PingCAP)、冯博
我们听到的TiDB到底是什么?!
Java架构大师2019-04-2210:28:33最近TiDB掀起了一波分布式数据库的热潮,公司也在着手准备TiDB的培训工作,前几天也参与了几场公司针对TiDB的培训,下面我们了解一下关于TiDB。TiDB是什么?TiDB是一个分布式NewSQL数据库。它支持水平弹性扩展、ACID事务、标准SQ
黄东旭DTCC2017演讲实录:When TiDB Meets Kubernetes
本文是我司CTO黄东旭同学在DTCC2017上的《WhenTiDBMeetsKubernetes》演讲实录,主要分享了关于TiDB与Kubernetes整合的一些工作。文章较长,且干货满满。以下为演讲实录:今天给大家带来的分享是关于TiDB与Kubernetes整合的一些工作。在讲之前,想了解一下,