问答-oceanbase、TiDB这类NewSQL最近势头好强劲,它们的定位究竟是什么?
作者:李晨曦链接:https://www.zhihu.com/question/53795813/answer/137046615来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。首先要明确的是,没有完美的系统,任何一个系统的出现都是为了解决当时最主要的问题,但是会产生一
吴镝:TiDB 在今日头条的实践
作者:@吴镝本文整理自今日头条数据库中间件/分布式数据库负责人吴镝(知乎ID:吴镝)在TiDBDevCon2018上的分享内容。TiDB主要应用在今日头条核心OLTP系统-对象存储系统中,存储其中一部分元数据,支持头条图片和视频相关业务,比如抖音等。如今(数据截至发文),TiDB支撑着今日头条OLT
如何轻松让 TiDB 分析场景无痛提速十倍
轻松一刻某天,老板让你分省统计口罩最近的订货数据,以快速决策需要向哪里调货。你发起查询,全部订单数据多达数亿甚至更多,TiDB不得不花费一小段时间。由于存储节点在全力计算,你的集群波动的监控哔哔作响,主站的订单提交也一下子变得慢起来。倒了杯咖啡回来,你得到了结果。老板站在你身后,声音低沉而有磁性,能
为了证明它的速度,我们一口气对比了很多其他
有多快?上篇文章中,我们简单介绍了TiFlash的设计和架构,它是TiDB即将随着3.1版本发布(3月)的列存引擎,大幅提升了TiDB在实时分析场景下的性能。同时和TiDB体系无缝结合,可实时更新,弹性扩展,保持TiDB的ACID事务特性和快照隔离级别,可用于严肃场景的实时分析。那么TiFlash到
从 pingcap tidb 学习使用静态检查工具提升代码质量
大家好,我是Rustin。今天想跟大家简单介绍一下如何使用一些golang的静态代码检查工具来提升代码质量!此博客在GitHub上公开发布.如果您有任何问题或疑问,请在此处打开一个issue。简介从去年接触到TiDB就开始尝试在社区帮忙修复一些简单的Bug。最近,我在阅读代码的过程中发现TiDB的代
打造未来的数据库,不一定要写代码? TiDB 4.0 捉“虫”竞赛等你来战
自4.0RC(ReleaseCandidate)版本发布以来,大家已经迫不及待开始抢先体验。TiDB4.0包含了很多重要的、有潜力的特性:TiUP帮你更快地部署集群。TiFlash兼顾了OLTP和OLAP。内置DashBoard大幅提高可用性。BR和TiCDC补齐了快速备份和增量数据变化的能力。……
单集群两数据中心 TiDB 灾备方案
作为NewSQL数据库,TiDB兼顾了传统关系型数据库的优秀特性以及NoSQL数据库可扩展性,以及跨数据中心场景下的高可用。在官方文档中给出了多种不同的多数据中心部署方案以及这些部署方案背后的取舍所带来不同的优缺点。本文旨在给出一种降低可用性需求仅实现灾备的TiDB多数据中心部署方案,通过放松可用性
让数据库运行在浏览器里?TiDB + WebAssembly 告诉你答案
一直以来都有个梦想:希望有一个数据库能够弹性扩展(分布式)到成百上千节点的规模,易于学习和理解,可以运行在私有云、公有云、Multi-Cloud、Kubernetes,也能够跑在嵌入式设备(比如树莓派)上,更酷的是也能够直接运行在浏览器里,而且不需要任何浏览器扩展(Extension),变成「口袋数
TiKV 源码解析系列文章(十三)MVCC 数据读取
在《TiKV源码解析系列文章(十二)分布式事务》中,我们介绍了如何在满足事务特性的要求下进行数据写入。本文将介绍数据读取的流程。由于顺序扫(ForwardScan)比较具有代表性,因此本文只介绍顺序扫的流程,而不会介绍点查或逆序扫。点查是顺序扫的简化,相信读者理解了顺序扫的流程后能自己想出点查的实现
TiKV 源码解析系列文章(十二)分布式事务
在之前的文章里,我们已经介绍了TiKV的Service层、Storage层。相信大家已经大致清楚,TiKV的事务相关的代码都位于Storage层中。本文将更加深入地讲解TiKV的事务算法的原理和实现细节。概述TiKV采用了GooglePercolator这篇论文中所述的事务模型,我们在《TiKV事务
TiKV 源码解析系列文章(十)Snapshot 的发送和接收
背景知识TiKV使用Raft算法来提供高可用且具有强一致性的存储服务。在Raft中,Snapshot指的是整个StateMachine数据的一份快照,大体上有以下这几种情况需要用到Snapshot:正常情况下leader与follower/learner之间是通过appendlog的方式进行同步的,
TiKV 源码解析系列文章(九)Service 层处理流程解析
之前的TiKV源码解析系列文章介绍了TiKV依赖的周边库,从本篇文章开始,我们将开始介绍TiKV自身的代码。本文重点介绍TiKV最外面的一层——Service层。TiKV的Service层的代码位于src/server文件夹下,其职责包括提供RPC服务、将storeid解析成地址、TiKV之间的相互
TiKV 源码解析系列文章(九)Service 层处理流程解析
之前的TiKV源码解析系列文章介绍了TiKV依赖的周边库,从本篇文章开始,我们将开始介绍TiKV自身的代码。本文重点介绍TiKV最外面的一层——Service层。TiKV的Service层的代码位于src/server文件夹下,其职责包括提供RPC服务、将storeid解析成地址、TiKV之间的相互
TiKV 源码解析系列文章(六)raft-rs 日志复制过程分析
在《TiKV源码解析系列文章(二)raft-rsproposal示例情景分析》中,我们主要介绍了raft-rs的基本API使用,其中,与应用程序进行交互的主要API是:RawNode::propose发起一次新的提交,尝试在Raft日志中追加一个新项;RawNode::ready_since从Raf
TiKV 源码解析系列文章(五)fail-rs 介绍
本文为TiKV源码解析系列的第五篇,为大家介绍TiKV在测试中使用的周边库fail-rs。fail-rs的设计启发于FreeBSD的failpoints,由Rust实现。通过代码或者环境变量,其允许程序在特定的地方动态地注入错误或者其他行为。在TiKV中通常在测试中使用failpoint来构建异常的
TiKV 源码解析系列文章(二)raft-rs proposal 示例情景分析
本文为TiKV源码解析系列的第二篇,按照计划首先将为大家介绍TiKV依赖的周边库raft-rs。raft-rs是Raft算法的Rust语言实现。Raft是分布式领域中应用非常广泛的一种共识算法,相比于此类算法的鼻祖Paxos,具有更简单、更容易理解和实现的特点。分布式系统的共识算法会将数据的写入复制
TiKV 源码解析系列文章(一)序
TiKV是一个支持事务的分布式Key-Value数据库,有很多社区开发者基于TiKV来开发自己的应用,譬如titan、tidis。尤其是在TiKV成为CNCF的Sandbox项目之后,吸引了越来越多开发者的目光,很多同学都想参与到TiKV的研发中来。这时候,就会遇到两个比较大的拦路虎:Rust语言:
TiDB 源码阅读系列文章(二十四)TiDB Binlog 源码解析
TiDBBinlogOverview这篇文章不是讲TiDBBinlog组件的源码,而是讲TiDB在执行DML/DDL语句过程中,如何将binlog数据发送给TiDBBinlog集群的Pump组件。目前TiDB在DML上的binlog用的类似Row-based的格式。TiDBBinlog具体的架构细节
TiDB 源码阅读系列文章(二十三)Prepare/Execute 请求处理
在之前的一篇文章《TiDB源码阅读系列文章(三)SQL的一生》中,我们介绍了TiDB在收到客户端请求包时,最常见的Command---COM_QUERY的请求处理流程。本文我们将介绍另外一种大家经常使用的Command---Prepare/Execute请求在TiDB中的处理过程。Prepare/E
TiDB 源码阅读系列文章(二十二)Hash Aggregation
聚合算法执行原理在SQL中,聚合操作对一组值执行计算,并返回单个值。TiDB实现了2种聚合算法:HashAggregation和StreamAggregation。我们首先以AVG函数为例(案例参考StackOverflow),简述这两种算法的执行原理。假设表t如下:列a列b191-82-72615