三篇文章了解 TiDB 技术内幕 - 谈调度
为什么要进行调度先回忆一下三篇文章了解TiDB技术内幕-说存储提到的一些信息,TiKV集群是TiDB数据库的分布式KV存储引擎,数据以Region为单位进行复制和管理,每个Region会有多个Replica(副本),这些Replica会分布在不同的TiKV节点上,其中Leader负责读/写,Foll
使用 Ansible 安装部署 TiDB
背景知识TiDB作为一个分布式数据库,在多个节点分别配置安装服务会相当繁琐,为了简化操作以及方便管理,使用自动化工具来批量部署成为了一个很好的选择。Ansible是基于Python研发的自动化运维工具,糅合了众多老牌运维工具的优点实现了批量操作系统配置、批量程序的部署、批量运行命令等功能,而且使用简
TiDB Best Practice
本文档用于总结在使用TiDB时候的一些最佳实践,主要涉及SQL使用、OLAP/OLTP优化技巧,特别是一些TiDB专有的优化开关。建议先阅读讲解TiDB原理的三篇文章(讲存储,说计算,谈调度),再来看这篇文章。前言数据库是一个通用的基础组件,在开发过程中会考虑到多种目标场景,在具体的业务场景中,需要
当 TiDB 遇上 Jepsen
本篇文章主要介绍TiDB是如何使用分布式一致性验证框架Jepsen进行一致性验证的。什么是JepsenJepsen是由KyleKingsbury采用函数式编程语言Clojure编写的验证分布式系统一致性的测试框架,作者使用它对许多著名的分布式系统(etcd,cockroachdb…)进行了“攻击”(
When TiDB Meets Spark
本文整理自TiSpark项目发起人马晓宇在StrataDataConference上分享的《WhenTiDBMeetsSpark》演讲实录。先介绍我自己,我是PingCAP的马晓宇,是TiDBOLAP方向的负责人,也是TiSpark项目的发起人,主要是做OLAP方面的Feature和Product相
TiDB 1.1 Alpha Release
2018年1月19日,TiDB发布1.1Alpha版。该版本对MySQL兼容性、SQL优化器、系统稳定性、性能做了大量的工作。TiDBSQLparser兼容更多语法SQL查询优化器统计信息减小内存占用优化统计信息启动时载入的时间更精确的代价估算使用Count-MinSketch更精确的估算点查的代价
刘寅:TiDB 工具链和生态
本文为今年年初PingCAP商业产品团队负责人刘寅在TiDBDevCon2018上分享的《TiDB工具链和生态》实录内容,文内详细介绍了TiDB的周边工具以及生态系统。enjoy~大家下午好,我叫刘寅。在PingCAP主要负责TiDB商业工具产品开发,也在做公司SRE方面的事情。今天下午我分享的主题
TiDB 1.1 Beta Release
2018年2月24日,TiDB发布1.1Beta版。该版本在1.1Alpha版的基础上,对MySQL兼容性、系统稳定性做了很多改进。TiDB添加更多监控项,优化日志兼容更多MySQL语法。在information_schema中支持显示建表时间提速包含MaxOneRow算子的查询控制Join产生的中
十问 TiDB :关于架构设计的一些思考
“我希望能够把TiDB的设计的一些理念能够更好的传达给大家,相信大家理解了背后原因后,就能够把TiDB用的更好。”做TiDB的缘起是从思考一个问题开始的:为什么在数据库领域有这么多永远也躲不开的坑?从2015年我们写下第一行代码,3年以来我们迎面遇到无数个问题,一边思考一边做,尽量用最小的代价来快速
TiDB 源码阅读系列文章(二十二)Hash Aggregation
聚合算法执行原理在SQL中,聚合操作对一组值执行计算,并返回单个值。TiDB实现了2种聚合算法:HashAggregation和StreamAggregation。我们首先以AVG函数为例(案例参考StackOverflow),简述这两种算法的执行原理。假设表t如下:列a列b191-82-72615
势高,则围广:TiDB 的架构演进哲学
大家可能知道我是PingCAPCEO,但是不知道的是,我也是PingCAP的产品经理,应该也是最大的产品经理,是对于产品重大特性具有一票否决权的人。中国有一类产品经理是这样的,别人有的功能我们统统都要有,别人没有的功能,我们也统统都要有,所以大家看到传统的国内好多产品就是一个超级巨无霸,功能巨多、巨
TiDB 3.0 GA,稳定性和性能大幅提升
TiDB是PingCAP自主研发的开源分布式关系型数据库,具备商业级数据库的数据可靠性,可用性,安全性等特性,支持在线弹性水平扩展,兼容MySQL协议及生态,创新性实现OLTP及OLAP融合。TiDB3.0版本显著提升了大规模集群的稳定性,集群支持150+存储节点,300+TB存储容量长期稳定运行。
三十分钟成为 Contributor | 提升 TiDB Parser 对 MySQL 8.0 语法
TiDB的一大特性就是和MySQL高度兼容,目标是让用户能够无需修改代码即可从MySQL迁移至TiDB。要达成这个目标,需要完成两个提升兼容性的任务,分别是「语法兼容」和「功能行为兼容」。本次活动聚焦于语法兼容,提升TiDBSQLParser对MySQL8.0的语法支持。对于新的贡献者而言,除了能将
TiDB + TiFlash : 朝着真 HTAP 平台演进
作者介绍:韦万,PingCAP数据库研发工程师,主要领域是数据库的存储引擎研发,以及系统性能优化。一、为什么我们需要HTAP数据库?在互联网浪潮出现之前,企业的数据量普遍不大,特别是核心的业务数据,通常一个单机的数据库就可以保存。那时候的存储并不需要复杂的架构,所有的线上请求(OLTP,Online
TiDB 最佳实践系列(一)高并发写入常见热点问题及规避方法
本文通过阐述一个高并发批量写入数据到TiDB的典型场景中,TiDB中常见的问题,给出一个业务的最佳实践,避免业务在开发的时候陷入TiDB使用的“反模式”。面向的对象本文主要面向对TiDB有一定了解的读者,读者在阅读本文之前,推荐先阅读讲解TiDB原理的三篇文章(讲存储,说计算,谈调度),以及TiDB
十分钟成为 Contributor 系列 | 助力 TiDB 表达式计算性能提升 10 倍
最近我们扩展了TiDB表达式计算框架,增加了向量化计算接口,初期的性能测试显示,多数表达式计算性能可大幅提升,部分甚至可提升1~2个数量级。为了让所有的表达式都能受益,我们需要为所有内建函数实现向量化计算。TiDB的向量化计算是在经典Volcano模型上的进行改进,尽可能利用CPUCache,SIM
Hands-on! 如何给 TiDB 添加新系统表
“TiDB,你已经是一个成熟的数据库了,该学会用自己的SQL查自己的状态了。”对于一个成熟的数据库来说,通过SQL来查询系统本身的状态再正常不过,对于MySQL来说INFOMATION_SCHEMA和PERFORMANCE_SCHEMA里面有大量的信息,基本上通过查询些信息,DBA就能对整个系统的运
让数据库运行在浏览器里?TiDB + WebAssembly 告诉你答案
一直以来都有个梦想:希望有一个数据库能够弹性扩展(分布式)到成百上千节点的规模,易于学习和理解,可以运行在私有云、公有云、Multi-Cloud、Kubernetes,也能够跑在嵌入式设备(比如树莓派)上,更酷的是也能够直接运行在浏览器里,而且不需要任何浏览器扩展(Extension),变成「口袋数
TiDB 最佳实践系列(五)Java 数据库应用开发指南
Java是当前非常流行的开发语言,很多TiDB用户的业务层都是使用Java开发的,本文将从Java数据库交互组件开发的角度出发,介绍各组件的推荐配置和推荐使用方式,希望能帮助Java开发者在使用TiDB时能更好的发挥数据库性能。Java应用中的数据库相关组件通常Java应用中和数据库相关的常用组件有
TiDB 最佳实践系列(六)HAProxy 的使用
HAProxy是一个使用C语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理。GitHub、Bitbucket、StackOverflow、Reddit、Tumblr、Twitter和Tuenti在内的知名网站,及亚马逊网络服务系统都在使用HAProxy