演讲实录|唐刘:Rust in TiKV
本文整理自 4 月 16 日 Rust 专场 Meetup 上,我司首席架构师唐刘同学的现场分享,共享给大家。enjoy ?Hello everyone, today I will talk about how we use Rust in TiKV.Before we begin, let me introduce myself. My name is TangLiu, the Chief Arch…
三篇文章了解 TiDB 技术内幕——说计算
在上一篇文章中,我们介绍了 TiDB 如何存储数据,也就是 TiKV 的一些基本概念。本篇将介绍 TiDB 如何利用底层的 KV 存储,将关系模型映射为 Key-Value 模型,以及如何进行 SQL 计算。关系模型到 Key-Value 模型的映射在这我们将关系模型简单理解为 Table 和…
基于 Tile 连接 Row-Store 和 Column-Store
继 Kudu 文章之后,我司首架唐刘同学又一力作,共享给大家~在之前的 Kudu 的文章里面,我已经提到过,行列混存是一个非常有意思的研究方向,因为不同的存储方式有不同的针对应用场景,但作为技术人员,折腾是天性,所以大家都在研究如何融合行存和列存,让…
三篇文章了解 TiDB 技术内幕——说存储
数据库、操作系统和编译器并称为三大系统,可以说是整个计算机软件的基石。其中数据库更靠近应用层,是很多业务的支撑。这一领域经过了几十年的发展,不断的有新的进展。很多人用过数据库,但是很少有人实现过一个数据库,特别是实现一个分布式数据库。了解…
Kudu:一个融合低延迟写入和高性能分析的存储系统
Kudu 是一个基于 Raft 的分布式存储系统,它致力于融合低延迟写入和高性能分析这两种场景,并且能很好的嵌入到 Hadoop 生态系统里面,跟其他系统譬如 Cloudera Impala,Apache Spark 等对接。Kudu 很类似 TiDB。最开始,TiDB 是为了 OLTP 系统设计的,但后…
TiDB,为SQL注入分布式可扩展性
时下,一大批新型数据库急剧涌现,诸如 Google Spanner 、 FaunaDB 、 Cockroach 以及 TimeScaleDB 等等,这些数据库都在专注解决影响标准SQL的规模问题。现在,另一位来自中国北京的竞争者—— PingCAP 开源的 TiDB 项目,旨在维持 ACID 事务的同时,使 S…
让拆库拆表见鬼去吧! MySQL 扩展新玩法
随着数据量的激增,单机数据库存不下了,怎么办?这几乎是所有互联网公司都会遇到的问题。在过去,一直没有一个优雅的解决方案从根本上解决传统关系型数据库扩展性问题,而通常的做法是业务层要把代码改个遍,如果业务上已经用了 MySQL ,没有办法,只能去拆…
PingCAP布道Percona Live 2017 展示TiDB强悍性能
美国时间 4 月 27 日,PingCAP 联合创始人兼 CTO 黄东旭,应邀出席了于美国硅谷召开的 Percona Live 2017,并发表了主题演讲。在本次大会上,来自 Google、Facebook 、Twitter 、Amazon 等巨头企业的数据库大牛齐聚一堂,就数据库领域的现状与发展进行了…
申砾:细说分布式数据库的过去、现在与未来
随着大数据这个概念的兴起以及真实需求在各个行业的落地,很多人都热衷于讨论分布式数据库,今天就这个话题,主要分为三部分:第一部分讲一下分布式数据库的过去和现状,希望大家能对这个领域有一个全面的了解;第二部分讲一下 TiDB 的架构以及最近的一些进…
GopherChina 2017 演讲实录|申砾:Go in TiDB
各位好,我叫申砾,来自 PingCAP。今天和大家分享一下 Go 语言在分布式数据库 TiDB 开发中的一些使用经验。先调查一下,请问有多少人听说过 TiDB 请举手。有多少人下载并且搭建起来过 TiDB 请举手。(此处举手无数,小编很感动~~)看来大家都或多或少有一些…
TiDB Brings Distributed Scalability to SQL
26 Apr 2017 1:00am, by Susan Hall A rash of new databases have emerged, such as Google Spanner, FaunaDB, Cockroach and TimeScaleDB, that are focused on solving the problem of scale that plagues standard SQL. Now another entrant,…
黄东旭:Cloud-Native 的分布式数据库架构与实践
19 日,我司 CTO 黄东旭同学在全球云计算开源大会上,发表了《Cloud-Native 的分布式数据库架构与实践》主题演讲,以下为演讲实录~~大家好,今天我的题目是 Cloud-Native 与分布式数据库的实践。先简单的介绍一下自己,我是 PingCAP 的联合创始人和 CTO,…
如何从零开始参与大型开源项目
写在前面的话 上世纪 70 年代,IBM 发明了关系型数据库。但是随着现在移动互联网的发展,接入设备越来越多,数据量越来越大,业务越来越复杂,传统的数据库显然已经不能满足海量数据存储的需求。虽然目前市场上也不乏分布式数据库模型,但没有品位的文艺青…
十分钟成为 TiDB Contributor 系列 | 添加內建函数
最近我们对 TiDB 代码做了些改进,大幅度简化了添加內建函数的流程,这篇教程为大家分享如何为 TiDB 新增 builtin 函数。首先介绍一些必需的背景知识,然后介绍增加 builtin 函数的流程,最后会以一个函数作为示例。(作者:申砾)背景知识SQL 语句发送到 T…
TiKV 源码解析系列 - Raft 的优化
摘要: 本系列文章主要面向 TiKV 社区开发者,重点介绍 TiKV 的系统架构,源码结构,流程解析。目的是使得开发者阅读之后,能对 TiKV 项目有一个初步了解,更好的参与进入 TiKV 的开发中。本文是本系列文章的第六章节。重点介绍 TiKV 中 Raft 的优化。(作者…
分布式关系型数据库 TiDB 正式发布 RC2 版
3 月 1 日, TiDB 正式发布 RC2 版。该版本对 MySQL 兼容性、 SQL 优化器、系统稳定性、性能做了大量的工作。对于 OLTP 场景,读取性能提升 60%,写入性能提升 30%。另外提供了权限管理功能,用户可以按照 MySQL 的权限管理方式控制数据访问权限。TiDB:●SQ…
日均数据量千万级,MySQL、TiDB 两种存储方案的落地对比
盖娅广告匹配系统(GaeaAD)用于支撑盖娅互娱全平台实时广告投放系统,需要将广告数据和游戏 SDK 上报的信息进行近实时匹配,本质上来说需要实时的根据各个渠道的广告投放与相应渠道带来的游戏玩家数据进行计算,实现广告转化效果分钟级别的展现及优化。初…
TiKV 源码解析系列 - Lease Read
本系列文章主要面向 TiKV 社区开发者,重点介绍 TiKV 的系统架构,源码结构,流程解析。目的是使得开发者阅读之后,能对 TiKV 项目有一个初步了解,更好的参与进入 TiKV 的开发中。本文是本系列文章的第五章节。作者:唐刘Raft log readTiKV 是一个要保证线…
未来已来,Google Cloud Spanner 展开 NewSQL 时代
摘要:Google 今日宣布了其 Cloud Spanner 云端数据库服务的 Beta 版测试启动。此次 Google 将 Spanner 商业化,也进一步验证了 NewSQL 作为未来数据库发展方向的正确性。Cloud Spanner 是构建在 Google Cloud Platform(GCP)平台上的全球级分布式关系型数…
TiDB 架构的演进和开发哲学
本文来自 CSDN《程序员》2017 年 2 月的封面报道。对于一个从零开始的数据库来说:选择什么语言,整体架构怎么做,要不要开源,如何去测试…太多的问题需要去考量。在本篇文章中,PingCAP 联合创始人兼 CTO 黄东旭对 TiDB 的开发历程进行了详细简介,为大家…