TiDB 在量化派风控系统中的应用
作者介绍 朱劲松,量化派研发中心系统架构师,主要参与了基础组件开发、API Gateway 等项目,现在致力于公司风控系统相关业务的架构设计和研发。公司简介量化派(QuantGroup)创办于 2014 年,是数据驱动的科技公司,是国家高新技术企业。量化派以「MOVE TH…
TiDB Ecosystem Tools 原理解读(一)TiDB-Binlog 架构演进与实现原理
作者:王相简介TiDB-Binlog 组件用于收集 TiDB 的 binlog,并提供实时备份和同步功能。该组件在功能上类似于 MySQL 的主从复制,MySQL 的主从复制依赖于记录的 binlog 文件,TiDB-Binlog 组件也是如此,主要的不同点是 TiDB 是分布式的,因此需要收集各个 T…
TiDB 在小米的应用实践
作者介绍 张良,小米 DBA 负责人 潘友飞,小米 DBA 王必文,小米开发工程师应用场景介绍MIUI 是小米公司旗下基于 Android 系统深度优化、定制、开发的第三方手机操作系统,也是小米的第一个产品。MIUI 在 Android 系统基础上,针对中国用户进行了深度定制,…
TiDB 2.1 GA Release Notes
2018 年 11 月 30 日,TiDB 发布 2.1 GA 版。相比 2.0 版本,该版本对系统稳定性、性能、兼容性、易用性做了大量改进。TiDBSQL 优化器优化 Index Join 选择范围,提升执行性能优化 Index Join 外表选择,使用估算的行数较少的表作为外表扩大 Join Hint TIDB…
TiDB 2.1:Battle-Tested for an Unpredictable World
作者:申砾TiDB 是由 PingCAP 开发的分布式关系型数据库,今天我们很高兴地推出 TiDB 2.1 正式版,提供更丰富的功能、更好的性能以及更高的可靠性。回顾 2.0 版本今年 4 月份我们发布了 TiDB 2.0 版本,提升了稳定性、性能以及可运维性,这个版本在接下来的…
捕获和增强原生系统的可观测性来发现错误
作者:唐刘在对 TiDB 进行 Chaos 实践的时候,我一直在思考如何更好的发现 TiDB 整个系统的故障。最开始,我们参考的就是 Chaos Engineering 里面的方式,观察系统的稳定状态,注入一个错误,然后看 metrics 上面有啥异常,这样等实际环境中出现类似的 metr…
拿奖秘诀泄露,TiDB Hackathon 等你来挑战!
TiDB Hackathon 2018 开启报名已有半月有余,TiDB Robot 这段时间受到了小伙伴们的问题轰炸,包括但不限于怎么组队选题、怎么和队友合作、住哪儿、吃啥……还有求划重点拿大奖的。所以今天我总结了一些常见 QA,分为报名篇 / 选题篇 / 实操篇 / 吃住篇,顺…
TiDB 在美团点评的深度实践之旅
一. 背景和现状在美团,基于 MySQL 构建的传统关系型数据库服务已经难于支撑公司业务的爆发式增长,促使我们去探索更合理的数据存储方案和实践新的运维方式。随着近一两年来分布式数据库大放异彩,美团 DBA 团队联合架构存储团队,于 2018 年初启动了分布式…
TiDB at 丰巢:尝鲜分布式数据库
作者:丰巢技术团队随着丰巢业务系统快速增长,其核心系统的数据量,早就跨越了亿级别,而且每年增量仍然在飞速发展。整个核心系统随着数据量的压力增长,不但系统架构复杂度急剧增长,数据架构更加复杂,传统的单节点数据库,已经日渐不能满足丰巢的需求,…
TiDB 开源社区指南(上)
作者: @申砾 本系列文章旨在帮助社区开发者了解 TiDB 项目的全貌,更好的参与 TiDB 项目开发。大致会分两个角度进行描述: 1. 从社区参与者的角度描述如何更好的参与 TiDB 项目开发; 2. 从 PingCAP 内部团队的角度展示 TiDB 的开发流程,包括版本规划、开…
TiDB 助力卡思数据视频大数据业务创新
卡思数据是国内领先的视频全网数据开放平台,依托领先的数据挖掘与分析能力,为视频内容创作者在节目创作和用户运营方面提供数据支持,为广告主的广告投放提供数据参考和效果监测,为内容投资提供全面客观的价值评估。 图 1 卡思数据产品展示图业务发展遇到…
PingCAP University · TiDB DBA 官方培训认证计划正式启动
伴随着产品的成熟,TiDB 在越来越多样化的应用场景中落地。在落地过程中,大家遇到问题会寻求官方的答疑和支持,但由于咨询量很大,我们有时无法及时响应。因此,为了赋能社区,提升社区用户满意度,避免因测试用户过多官方无法及时响应的问题,同时打造活…
TiDB 源码阅读系列文章(二十)Table Partition
作者:肖亮亮Table Partition什么是 Table PartitionTable Partition 是指根据一定规则,将数据库中的一张表分解成多个更小的容易管理的部分。从逻辑上看只有一张表,但是底层却是由多个物理分区组成。相信对有关系型数据库使用背景的用户来说可能并不陌生…
我们要做点更酷的事情,来场 Hackathon 怎么样?
1024 程序员节, 总把我们标签化为格子衬衫和后退的发际线(很烦啊。。) 发张堆满编程语言名称的图片表示尊重(好吧。。) 我们自己的节日,我们有自己的更酷的玩儿法—— 报名一场 Hackathon,怎么样? TiDB Hackathon2018 将于 12 月 1 - 2 日在 PingCAP…
一致性模型
作者:唐刘(siddontang)有时候,在跟一些同学讨论 TiKV 事务模型的时候,我都提到了 Linearizability,也提到了 Snapshot Isolation,以及需要手动 lock 来保证 Serializable Snapshot Isolation,很多时候,当我嘴里面蹦出来这些名词的时候,有些同学就…
线性一致性和 Raft
作者:沈泰宁在讨论分布式系统时,共识算法(Consensus algorithm)和一致性(Consistency)通常是讨论热点,两者的联系很微妙,很容易搞混。一些常见的误解:使用了 Raft [0] 或者 paxos 的系统都是线性一致的(Linearizability [1],即强一致),其实不然…
成都 Meetup 预告 | PingCAP 成都分舵第一次干货分享趴
Hit!!! 社区小伙伴期待已久的「西南第一分舵」——成都 Office正式成立了! 我们将在本周日举办一场 Infra Meetup,欢迎新老朋友过来面基~不管你是想聊一聊技术干货还是想加入分舵,都可以点击文末链接直接报名来现场交流!PingCAP Infra Meetup No.77 时…
TiKV 是如何存储数据的(下)
上篇文章中,我们介绍了与 TiKV 处理读写请求相关的基础知识,下面将开始详细的介绍 TiKV 的读写流程。Enjoy~ 作者:唐刘 siddontangRawKVTiKV 提供两套 API,一套叫做 RawKV,另一套叫做 TxnKV。TxnKV 对应的就是上面提到的 Percolator,而 RawKV 则不会对…
TiKV 是如何存取数据的(上)
作者:唐刘 本文会详细的介绍 TiKV 是如何处理读写请求的,通过该文档,同学们会知道 TiKV 是如何将一个写请求包含的数据更改存储到系统,并且能读出对应的数据的。本文分为上下两篇,在上篇中,我们将介绍一些基础知识,便于大家去理解后面的流程。基础知识…
雷神 Thor —— TiDB 自动化运维平台
作者:瞿锴,同程艺龙资深 DBA 背景介绍随着互联网的飞速发展,业务量可能在短短的时间内爆发式地增长,对应的数据量可能快速地从几百 GB 涨到几百个 TB,传统的单机数据库提供的服务,在系统的可扩展性、性价比方面已经不再适用。为了应对大数据量下业务服…