「分布式系统前沿技术」专题 | 复杂分布式架构下的计算治理之路
分布式技术的发展,深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末,PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题, 邀请众多技术团队共同参与,一起探索这个古老领域的新生机。本文出自微众银行大数据平台负责人邸帅。在当前…
分布式系统 in 2010s :软件构建方式和演化
作者:黄东旭 @Ed Huang 分布式技术的发展,深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末,PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题, 邀请众多技术团队共同参与,一起探索这个古老领域的新生机。本文出自我司 CTO 黄东…
如何打造可以无限扩展的分布式消息队列?——Pulsar 的设计哲学
分布式技术的发展,深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末,PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题, 邀请众多技术团队共同参与,一起探索这个古老领域的新生机。本文出自 StreamNative 联合创始人 Sijie Guo。…
微服务架构何去何从?
分布式技术的发展,深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末,PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题, 邀请众多技术团队共同参与,一起探索这个古老领域的新生机。本文出自转转首席架构师孙玄。微服务架构模式经…
分布式系统 in 2010s :存储之数据库篇
作者:黄东旭经常思考一个问题,为什么我们需要分布式?很大程度或许是不得已而为之。如果摩尔定律不会失效,如果通过低成本的硬件就能解决互联网日益增长的计算存储需求,是不是我们也就不需要分布式了。 过去的二三十年,是一场软件工程师们自我拯救的,…
TiDB Binlog 源码阅读系列文章(七)Drainer server 介绍
作者:黄佳豪前面文章介绍了 Pump server,接下来我们来介绍 Drainer server 的实现,Drainer server 的主要作用是从各个 Pump server 获取 binlog,按 commit timestamp 归并排序后解析 binlog 同步到不同的目标系统,对应的源码主要集中在 TiDB Binlog 仓…
效率 10x!打造运维 TiDB 的瑞士军刀
作者介绍:陈霜,做个人吧队成员,PingCAP TiDB 研发工程师,做个人吧队参加了 TiDB Hackathon 2019,其项目「Manage many as one with SQL」获得了三等奖。极致的易用性一直是 PingCAP 追寻的目标。在这之前,TiDB 通过兼容 MySQL,将分布式的复杂度隐藏在…
直击备份恢复的痛点:基于 TiDB Binlog 的快速时间点恢复
作者介绍:吕磊,Better 队成员、美团点评高级 DBA,Better 队参加了 TiDB Hackathon 2019,其项目「基于 TiDB Binlog 的 Fast-PITR」获得了最佳贡献奖。维护过数据库的同学应该都能体会,数据备份对于数据库来说可以说至关重要,尤其是关键业务。TiDB 原生…
TiKV 源码解析系列文章(十六)TiKV Coprocessor Executor 源码解析
作者:邓力铭在前两篇文章 TiKV 源码解析系列文章(十四)Coprocessor 概览、TiKV 源码解析系列文章(十五)表达式计算框架中,讲到了 TiDB 为了最大化利用分布式计算能力,会尽量将 Selection 算子、Aggregation 算子等算子下推到 TiKV 节点上,以及下推的…
360 智能商业业务线经验分享:TiDB 写热点调优实战
作者介绍:代晓磊,现 360 商业化数据库运维专家,TiDB User Group Ambassador,负责整个智能商业业务线数据库运维,解决各种数据库疑难问题,推广 TiDB 等新开源数据库应用。360 智能商业业务线从 2019 年 3 月份开始使用 TiDB,目前线上有 5 套 TiDB 集群…
赛程刚过 1/3,什么操作让性能提升 150+ 倍?
作者:姚维11 月初我们开启了一项社区新活动「TiDB 性能挑战赛」(Performance Challenge Program,简称 PCP),这项积分赛将持续 3 个月,选手将完成一系列难度不同的任务,赢得相应的积分。目前赛程刚刚过去三分之一,已经取得了十分耀眼的阶段性成果:过去…
你呼呼大睡,机器人却在找 bug?
曾在 Hacker News 上看到过一个 Oracle 工程师处理 bug 的 日常:先花两周左右时间来理解 20 个参数如何通过神奇的组合引发 bug。改了几行代码,尝试对 bug 进行修复,提交测试集群开始跑近百万个测试 case,通常要 20~30 小时。运气好的话会有 100 多个 ca…
TiDB Binlog 源码阅读系列文章(六)Pump Storage 介绍(下)
作者:Chunzhu Li在 上篇文章 中,我们主要介绍了 Pump Storage 是如何对 binlog 进行持久化存储、排序、配对的。在文中我们提到 binlog 的持久化键值存储主要是由 valueLog 组件完成的。同时,大家如果在上文点开 writeToValueLog 代码阅读的话会发现在其…
汽车之家从 SQL Server 到 TiDB 的异构变迁
以下文章来源于微信公众号之家技术,作者之家技术架构组。SQL Server + .Net 是很多早期互联网企业的标配技术栈,虽然 TiDB 是兼容 MySQL 协议和生态的数据库,但是 TiDB 适用的业务场景是通用的。在开源新技术大行其道的今天,如何从 SQL Server 无缝迁移…
流量和延迟减半!挑战 TiDB 跨数据中心难题
众所周知,在对可用性要求极高的行业领域(比如金融、通信),分布式数据库需要跨地域的在多个数据中心之间建立容灾以及多活的系统架构,同时需要保持数据完整可用。但这种方式同时也带来了一些问题:跨地域的网络延迟非常高,通常在几十毫秒左右,洲际间更…
TiKV Engine SIG 成立,硬核玩家们看过来!
作者:Yi WuTiKV 是一个开源项目,我们一直都欢迎和感激开源社区对 TiKV 所作出的贡献。但我们之前对开源社区的合作主要是在代码审阅和散落在各种社交媒体的线下讨论,开发者并没有合适的途径去了解和影响 TiKV 的开发计划。怎么才能更好的帮助大家找到组织…
开源社区怎么玩?明星项目 TiKV 的 Maintainer 这样说……
知乎技术平台团队负责人孙晓光有一个新的身份:开源分布式事务 Key-Value 数据库 TiKV项目的 Maintainer。Maintainer 是 TiDB/TiKV 开源社区的角色之一,是社区中较高级别的代码贡献者,项目的规划和设计者,拥有合并主干分支的权限。一般来说从开始贡献代…
揭秘 TiDB 新优化器:Cascades Planner 原理解析
作者:MingCong Han在《十分钟成为 Contributor 系列 | 为 Cascades Planner 添加优化规则》中,我们简单介绍了 Cascades 的相关背景知识,本文将为大家深入介绍 TiDB 新的优化器——Cascades Planner 的框架及原理。TiDB 当前优化器简介关系型数据库中查询…
十分钟成为 Contributor 系列 | 为 Cascades Planner 添加优化规则
作者:崔一丁到今天为止,“成为 Contributor 系列”已经推出了 “支持 AST 还原为 SQL”,“为 TiKV 添加 built-in 函数”,“向量化表达式”等一列活动。这一次借着 TiDB 优化器重构的契机,我们将这个系列再向着数据库的核心前进一步,挑战一下「为 TiDB…
如何成为高效率的工程师
作者: @唐刘 本文转载自唐刘老师个人简书,原文链接:https://www.jianshu.com/p/c523b5e7a271 最近看了一本书,叫做 《The Effective Engineer》,中文名翻译过来大概就是《高效率工程师》这种吧。收益良多,决定写一下读书笔记,因为书里面的 Engineer 大部分指的就是从事…