据说今年黑客马拉松项目又多又猛?| TiDB Hackathon 回顾
TiDB Hackathon 2019 在 10 月 27 日完美收官!北京、上海、广州三地共 39 支队伍参赛,两天一夜的 Hacking Time,大家围绕着「Improve」主题,为 TiDB 性能、易用性、稳定性、功能等各方面做出提升,最终 6 支队伍瓜分了一、二、三等奖的 15 万元现金奖励…
高效编排有状态应用——TiDB 的云原生实践与思考
作者: @吴叶磊 导语云原生时代以降,无状态应用以其天生的可替换性率先成为各类编排系统的宠儿。以 Kubernetes 为代表的编排系统能够充分利用云上的可编程基础设施,实现无状态应用的弹性伸缩与自动故障转移。这种基础能力的下沉无疑是对应用开发者生产力…
TiKV 项目首个 SIG 成立,一起走上 Contributor 进阶之路吧!
作者:Long Heneg社区是一个开源项目的灵魂,随着 TiDB/TiKV 新的社区架构升级, TiKV 社区也计划逐步成立更多个 Special Interest Group(SIG )吸引更多社区力量,一起来改进和完善 TiKV 项目。SIG 将围绕着特定的模块进行开发和维护工作,并对该模块代码…
TiDB 最佳实践系列(四)海量 Region 集群调优
作者:张博康在 TiDB 的架构中,所有的数据按照 range 划分成一个个 Region 分布在多个 TiKV 实例上。随着数据的写入,一个集群中会产生上百万,甚至千万个 Region。而量变引起质变,单 TiKV 实例上过多的 Region 无疑会带来比较大的负担,进而影响整个集群…
新架构、新角色:TiDB Community Upgrade!
作者:Jian Zhang经过几年的发展,TiDB 社区已经逐渐成熟,但是随着社区的发展壮大,我们逐渐感受到了现在社区架构上的一些不足。经过一系列的思考和总结,我们决定升级和调整目前社区组织架构,引入更多的社区角色和社区组织,以便更好的激发社区活力,维…
网易互娱的数据库选型和 TiDB 应用实践
作者介绍:李文杰,网易互娱计费组,高级数据库管理工程师,TiDB User Group Ambassador。一、业务架构简介计费组是为网易互娱产品提供统一登录和支付高效解决方案的公共支持部门,对内是互娱的各个游戏工作室,对外是国内外数百个渠道。由于业务场景的特殊…
TiDB 最佳实践系列(三)乐观锁事务
作者:ShirlyTiDB 最佳实践系列是面向广大 TiDB 用户的系列教程,旨在深入浅出介绍 TiDB 的架构与原理,帮助用户在生产环境中最大限度发挥 TiDB 的优势。我们将分享一系列典型场景下的最佳实践路径,便于大家快速上手,迅速定位并解决问题。在前两篇的文章…
Hands-on! 如何给 TiDB 添加新系统表
作者:黄东旭“TiDB,你已经是一个成熟的数据库了,该学会用自己的 SQL 查自己的状态了。”对于一个成熟的数据库来说,通过 SQL 来查询系统本身的状态再正常不过,对于 MySQL 来说 INFOMATION_SCHEMA 和 PERFORMANCE_SCHEMA 里面有大量的信息,基本上通过查…
TiDB Hackathon 参考选题扩充,组队参赛走起!
TiDB Hackathon 2019 已经开放报名 1 个多月啦,之前抓耳挠腮想不到选题、组不到队友的伙伴们都渐渐成队,并开始做赛前准备了。为了刺激围观同学的“灵感小火花”,我们今天又扩充了一波选题,如果大家还不知道做什么项目的话,择日不如撞日,今天就锚定一…
PD 调度策略最佳实践
作者:黄梦龙众所周知,PD 是整个 TiDB 集群的核心,负责全局元信息的存储以及 TiKV 集群负载均衡调度,本文将详细介绍 PD 调度系统的原理,并通过几个典型场景的分析和处理方式,分享调度策略的最佳实践和调优方法,帮助大家在使用过程中快速定位问题。本…
AutoTiKV:基于机器学习的数据库调优
作者:吴毅, 王远立TiKV 底层使用了 RocksDB 作为存储引擎,然而 RocksDB 配置选项很多,很多情况下只能通过反复测试或者依靠经验来调优,甚至连 RocksDB 的开发者都自嘲,他们没办法弄清楚每个参数调整对性能的影响。如果有一个自动 tuning 的方案就可以大…
TiDB Binlog 源码阅读系列文章(五)Pump Storage 介绍(上)
作者:赵一霖在 上篇文章 中,我们主要介绍了 Pump Server 的上线过程、gRPC API 实现、以及下线过程和相关辅助机制,其中反复提到了 Pump Storage 这个实体。本文就将介绍 Pump Storage 的实现,其主要代码在 pump/storage 文件夹中。Pump Storage 由 Pump…
十分钟成为 Contributor 系列 | TiDB 向量化表达式活动第二弹
作者:Yuanjia Zhang在 上篇文章 中,我们介绍了 TiDB 如何实现表达式的向量化优化,以及社区同学如何参与这项工程。两周过去了,我们收到了很多来自社区小伙伴们的建议和反馈,今天在这里和大家分享一下活动进展和这些建议及反馈。活动进展先来看看这两周…
TiKV Rust Client 迁移记 - Futures 0.1 至 0.3
作者介绍:Nick Cameron,PingCAP 研发工程师,Rust core team 成员,专注于分布式系统、数据库领域和 Rust 语言的进展。最近我将一个中小型的 crate 从 futures 库的 0.1 迁移至了 0.3 版本。过程本身不是特别麻烦,但还是有些地方或是微妙棘手,或是没有…
十一假期别“宅”啦,一起备战黑客马拉松吧!
十一长假倒计时 6 天!如果你「没安排、只能宅」,这里有件好玩又 Hack 的事情,你来不来? TiDB Hackathon 2019 将在 10 月 26 - 27 日举办,比赛主题为「Improve」,参赛选手可以为 TiDB 性能、易用性、稳定性、功能等各方面做出提升,当然也可以围绕 TiD…
TiKV 在京东云对象存储元数据管理的实践
作者介绍:崔灿,京东云产品研发部专家架构师,目前主要负责京东云对象存储产品的工作。京东云对象存储是在 2016 年作为公有云对外公开的,主要特点是可靠、安全、海量、低成本,应用于包括一些常用的业务场景,比如面向京东云公有云外部的开发者的服务,和…
广州见!PingCAP Talent Plan 第四期即将开启
大家期待已久的第四期 PingCAP Talent Plan 线下培训课程,将在 10 月 14 日于 PingCAP 广州 Office 开启!这可能是今年最后一波分布式数据库「从入门到实战开发」的系统培训哦,错过只能等明年啦~ 众所周知,PingCAP Talent Plan 是我们为 TiDB 开源社区…
十分钟成为 Contributor 系列 | 助力 TiDB 表达式计算性能提升 10 倍
最近我们扩展了 TiDB 表达式计算框架,增加了向量化计算接口,初期的性能测试显示,多数表达式计算性能可大幅提升,部分甚至可提升 1~2 个数量级。为了让所有的表达式都能受益,我们需要为所有内建函数实现向量化计算。TiDB 的向量化计算是在经典 Volcano …
从使用者到开发者,知乎参与 TiDB 社区背后的故事
作者介绍:孙晓光,知乎技术平台团队负责人,负责建设知乎在线和离线的基础设施平台,为业务开发提供统一的基础设施。曾多年从事私有云相关产品开发工作,关注云原生技术,TiKV 项目 Committer。关注 TiDB 的朋友们可能发现继 Follower Read 在 TiKV 端的 P…
跨越、爆发,所见「可提升」之处,皆是你的竞技场 | TiDB Hackathon 2019 启动
TiDB 社区有一个信念是:我们从不给自己设限,突破&提升才是一直追求的常态。在 去年举办的 TiDB 黑客马拉松 上,诞生了很多兼具想象力和实用性的 TiDB 生态工具,我们当然也并不满足于此,10 月 26 - 27 日,TiDB Hackathon 2019 重磅回归!本届主题较去年…