TiKV 源码解析系列文章(九)Service 层处理流程解析
作者:周振靖之前的 TiKV 源码解析系列文章介绍了 TiKV 依赖的周边库,从本篇文章开始,我们将开始介绍 TiKV 自身的代码。本文重点介绍 TiKV 最外面的一层——Service 层。TiKV 的 Service 层的代码位于 src/server 文件夹下,其职责包括提供 RPC 服务、将 …
TiDB Binlog 源码阅读系列文章(二)初识 TiDB Binlog 源码
作者:satoruTiDB Binlog 架构简介TiDB Binlog 主要由 Pump 和 Drainer 两部分组成,其中 Pump 负责存储 TiDB 产生的 binlog 并向 Drainer 提供按时间戳查询和读取 binlog 的服务,Drainer 负责将获取后的 binlog 合并排序再以合适的格式保存到对接的下游组…
暑期特别企划 | 快来接收 PingCAP Talent Plan 的小惊喜!
PingCAP Talent Plan 学习通道自开通以来,收获了海内外小伙伴的密切关注,有 100 余名小伙伴参与到线上课程的学习中,第二期线下课程也于 5 月中旬圆满落幕。结合大家的意见,我们对 Talent Plan 的课程做了一些优化,并推出 Talent Plan 暑期特别企划,线…
TiDB 3.0 GA Release Notes
发版日期:2019 年 6 月 28 日TiDB 版本:3.0.0TiDB Ansible 版本:3.0.0Overview2019 年 6 月 28 日,TiDB 发布 3.0 GA 版本,对应的 TiDB Ansible 版本为 3.0.0。 相比于 V2.1,V3.0.0 版本在以下方面有重要改进:稳定性方面,显著提升了大规模集群的稳定…
TiDB 3.0 GA,稳定性和性能大幅提升
TiDB 是 PingCAP 自主研发的开源分布式关系型数据库,具备商业级数据库的数据可靠性,可用性,安全性等特性,支持在线弹性水平扩展,兼容 MySQL 协议及生态,创新性实现 OLTP 及 OLAP 融合。TiDB 3.0 版本显著提升了大规模集群的稳定性,集群支持 150+ 存储…
TiDB 在知乎万亿量级业务数据下的实践和挑战
作者介绍 孙晓光,知乎搜索后端负责人,目前承担知乎搜索后端架构设计以及工程团队的管理工作。曾多年从事私有云相关产品开发工作关注云原生技术,TiKV 项目 Committer。本文根据孙晓光老师在 TiDB TechDay 2019 北京站上的演讲整理。本次分享首先将从宏观…
DM 源码阅读系列文章(八)Online Schema Change 同步支持
作者:lan本文为 DM 源码阅读系列文章的第八篇,上篇文章 对 DM 中的定制化数据同步功能进行详细的讲解,包括库表路由(Table routing)、黑白名单(Black & white table lists)、列值转化(Column mapping)、binlog 过滤(Binlog event filter)四个主要…
TiDB Binlog 源码阅读系列文章(一)序
作者:黄佳豪TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如 TiDB、MySQL 等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用 TiDB Binlog 可…
六城一起 High!TiDB TechDay 2019 巡讲启动
TiDB 的设计灵魂,是让优雅灵活的架构充满无限可能性。从大规模业务场景中稳定使用的 TiDB 2.0 版本,到这一次备受关注的 3.0,我们持续地在倾听、修正、尝试,并获得一次又一次验证。距离年初公布 TiDB 3.0 beta 版本,已经过去了大半年,这期间我们对各方…
TiKV 源码解析系列文章(八)grpc-rs 的封装与实现
作者:李建俊上一篇《gRPC Server 的初始化和启动流程》为大家介绍了 gRPC Server 的初始化和启动流程,本篇将带大家深入到 grpc-rs 这个库里,查看 RPC 请求是如何被封装和派发的,以及它是怎么和 Rust Future 进行结合的。gRPC C CoregRPC 包括了一系列复…
赋能社区,PingCAP University 培训课程 2.0 重磅升级
经过半年时间的持续打磨,PingCAP University 迎来了一次重大升级,发布「培训课程2.0」。作为世界级的开源项目,经过四年的发展,TiDB 在越来越多的场景里落地,正逐渐被视为行业内的分布式数据库“事实标准”。随着用户社区技术服务体系的建立和优化,TiD…
DM 源码阅读系列文章(七)定制化数据同步功能的实现
作者:王相本文为 DM 源码阅读系列文章的第七篇,在 上篇文章 中我们介绍了 relay log 的实现,主要包括 relay log 目录结构定义、relay log 数据的处理流程、主从切换支持、relay log 的读取等逻辑。本篇文章我们将会对 DM 的定制化数据同步功能进行详细的…
RustCon Asia 实录 | Rust 在国内某视频网站的应用
作者介绍: hawkingrei(王维真),中间件高级开发工程师,开源爱好者,TiDB & TiKV Contributor。 WaySLOG(雪松),Rust 铁粉一枚,专注中间件,bug creator。本文根据 hawkingrei & WaySLOG 在 首届 RustCon Asia 大会 上的演讲整理。今天我们会和大家聊…
DM 源码阅读系列文章(六)relay log 的实现
作者:张学程本文为 DM 源码阅读系列文章的第六篇,在 上篇文章 中我们介绍了 binlog replication 处理单元的实现,对在增量复制过程中 binlog event 的读取、过滤、路由、转换以及执行等逻辑进行了分析。本篇文章我们将会对 relay 数据处理单元的实现进行…
势高,则围广:TiDB 的架构演进哲学
本文根据我司 CEO 刘奇在第 100 期 Infra Meetup 上的演讲整理,预计阅读时间为 30 分钟。大家可能知道我是 PingCAP CEO,但是不知道的是,我也是 PingCAP 的产品经理,应该也是最大的产品经理,是对于产品重大特性具有一票否决权的人。中国有一类产品经理…
TiDB 在平安核心系统的引入及应用
作者:何志勇本文转载自公众号「平安科技数据库产品团队」。2019 年 5 月 9 日,平安科技数据库产品资深工程师何志勇在第十届数据库技术大会 DTCC 上分享了《TiDB 在平安核心系统的引入及应用》,通过对 TiDB 进行 POC 测试,详细解析如何选择适用于金融行…
诊断修复 TiDB Operator 在 K8s 测试中遇到的 Linux 内核问题
作者:张文博Kubernetes(K8s)是一个开源容器编排系统,可自动执行应用程序部署、扩展和管理。它是云原生世界的操作系统。 K8s 或操作系统中的任何缺陷都可能使用户进程存在风险。作为 PingCAP EE(效率工程)团队,我们在 K8s 中测试 TiDB Operator(一个…
TiKV 成功晋级 CNCF 孵化项目
今天,CNCF(Cloud Native Computing Foundation,云原生计算基金会)技术监督委员会(TOC)宣布已经投票决议通过,正式将 TiKV 从沙箱项目晋级至孵化项目。TiKV 是一个开源的分布式事务 Key-Value 数据库,支持跨行 ACID 事务,同时实现了自动水平伸缩、数…
Tedis:基于 TiKV 构建的 NoSQL 数据库
作者介绍 陈东明,饿了么北京技术中心架构组负责人,负责饿了么的产品线架构设计以及饿了么基础架构研发工作。曾任百度架构师,负责百度即时通讯产品的架构设计。具有丰富的大规模系统构 建和基础架构的研发经验,善于复杂业务需求下的大并发、分布式系统设…
TiKV 源码解析系列文章(七)gRPC Server 的初始化和启动流程
作者:屈鹏本篇 TiKV 源码解析将为大家介绍 TiKV 的另一周边组件—— grpc-rs。grpc-rs 是 PingCAP 实现的一个 gRPC 的 Rust 绑定,其 Server/Client 端的代码框架都基于 Future,事件驱动的 EventLoop 被隐藏在了库的内部,所以非常易于使用。本文将以一个…