When TiDB Meets Spark
本文整理自TiSpark项目发起人马晓宇在StrataDataConference上分享的《WhenTiDBMeetsSpark》演讲实录。先介绍我自己,我是PingCAP的马晓宇,是TiDBOLAP方向的负责人,也是TiSpark项目的发起人,主要是做OLAP方面的Feature和Product相
TiDB 1.1 Alpha Release
2018年1月19日,TiDB发布1.1Alpha版。该版本对MySQL兼容性、SQL优化器、系统稳定性、性能做了大量的工作。TiDBSQLparser兼容更多语法SQL查询优化器统计信息减小内存占用优化统计信息启动时载入的时间更精确的代价估算使用Count-MinSketch更精确的估算点查的代价
刘寅:TiDB 工具链和生态
本文为今年年初PingCAP商业产品团队负责人刘寅在TiDBDevCon2018上分享的《TiDB工具链和生态》实录内容,文内详细介绍了TiDB的周边工具以及生态系统。enjoy~大家下午好,我叫刘寅。在PingCAP主要负责TiDB商业工具产品开发,也在做公司SRE方面的事情。今天下午我分享的主题
TiDB 1.1 Beta Release
2018年2月24日,TiDB发布1.1Beta版。该版本在1.1Alpha版的基础上,对MySQL兼容性、系统稳定性做了很多改进。TiDB添加更多监控项,优化日志兼容更多MySQL语法。在information_schema中支持显示建表时间提速包含MaxOneRow算子的查询控制Join产生的中
十问 TiDB :关于架构设计的一些思考
“我希望能够把TiDB的设计的一些理念能够更好的传达给大家,相信大家理解了背后原因后,就能够把TiDB用的更好。”做TiDB的缘起是从思考一个问题开始的:为什么在数据库领域有这么多永远也躲不开的坑?从2015年我们写下第一行代码,3年以来我们迎面遇到无数个问题,一边思考一边做,尽量用最小的代价来快速
TiDB 源码阅读系列文章(二十二)Hash Aggregation
聚合算法执行原理在SQL中,聚合操作对一组值执行计算,并返回单个值。TiDB实现了2种聚合算法:HashAggregation和StreamAggregation。我们首先以AVG函数为例(案例参考StackOverflow),简述这两种算法的执行原理。假设表t如下:列a列b191-82-72615
势高,则围广:TiDB 的架构演进哲学
大家可能知道我是PingCAPCEO,但是不知道的是,我也是PingCAP的产品经理,应该也是最大的产品经理,是对于产品重大特性具有一票否决权的人。中国有一类产品经理是这样的,别人有的功能我们统统都要有,别人没有的功能,我们也统统都要有,所以大家看到传统的国内好多产品就是一个超级巨无霸,功能巨多、巨
TiDB 3.0 GA,稳定性和性能大幅提升
TiDB是PingCAP自主研发的开源分布式关系型数据库,具备商业级数据库的数据可靠性,可用性,安全性等特性,支持在线弹性水平扩展,兼容MySQL协议及生态,创新性实现OLTP及OLAP融合。TiDB3.0版本显著提升了大规模集群的稳定性,集群支持150+存储节点,300+TB存储容量长期稳定运行。
三十分钟成为 Contributor | 提升 TiDB Parser 对 MySQL 8.0 语法
TiDB的一大特性就是和MySQL高度兼容,目标是让用户能够无需修改代码即可从MySQL迁移至TiDB。要达成这个目标,需要完成两个提升兼容性的任务,分别是「语法兼容」和「功能行为兼容」。本次活动聚焦于语法兼容,提升TiDBSQLParser对MySQL8.0的语法支持。对于新的贡献者而言,除了能将
TiDB + TiFlash : 朝着真 HTAP 平台演进
作者介绍:韦万,PingCAP数据库研发工程师,主要领域是数据库的存储引擎研发,以及系统性能优化。一、为什么我们需要HTAP数据库?在互联网浪潮出现之前,企业的数据量普遍不大,特别是核心的业务数据,通常一个单机的数据库就可以保存。那时候的存储并不需要复杂的架构,所有的线上请求(OLTP,Online
TiDB 最佳实践系列(一)高并发写入常见热点问题及规避方法
本文通过阐述一个高并发批量写入数据到TiDB的典型场景中,TiDB中常见的问题,给出一个业务的最佳实践,避免业务在开发的时候陷入TiDB使用的“反模式”。面向的对象本文主要面向对TiDB有一定了解的读者,读者在阅读本文之前,推荐先阅读讲解TiDB原理的三篇文章(讲存储,说计算,谈调度),以及TiDB
十分钟成为 Contributor 系列 | 助力 TiDB 表达式计算性能提升 10 倍
最近我们扩展了TiDB表达式计算框架,增加了向量化计算接口,初期的性能测试显示,多数表达式计算性能可大幅提升,部分甚至可提升1~2个数量级。为了让所有的表达式都能受益,我们需要为所有内建函数实现向量化计算。TiDB的向量化计算是在经典Volcano模型上的进行改进,尽可能利用CPUCache,SIM
Hands-on! 如何给 TiDB 添加新系统表
“TiDB,你已经是一个成熟的数据库了,该学会用自己的SQL查自己的状态了。”对于一个成熟的数据库来说,通过SQL来查询系统本身的状态再正常不过,对于MySQL来说INFOMATION_SCHEMA和PERFORMANCE_SCHEMA里面有大量的信息,基本上通过查询些信息,DBA就能对整个系统的运
让数据库运行在浏览器里?TiDB + WebAssembly 告诉你答案
一直以来都有个梦想:希望有一个数据库能够弹性扩展(分布式)到成百上千节点的规模,易于学习和理解,可以运行在私有云、公有云、Multi-Cloud、Kubernetes,也能够跑在嵌入式设备(比如树莓派)上,更酷的是也能够直接运行在浏览器里,而且不需要任何浏览器扩展(Extension),变成「口袋数
TiDB 最佳实践系列(五)Java 数据库应用开发指南
Java是当前非常流行的开发语言,很多TiDB用户的业务层都是使用Java开发的,本文将从Java数据库交互组件开发的角度出发,介绍各组件的推荐配置和推荐使用方式,希望能帮助Java开发者在使用TiDB时能更好的发挥数据库性能。Java应用中的数据库相关组件通常Java应用中和数据库相关的常用组件有
TiDB 最佳实践系列(六)HAProxy 的使用
HAProxy是一个使用C语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理。GitHub、Bitbucket、StackOverflow、Reddit、Tumblr、Twitter和Tuenti在内的知名网站,及亚马逊网络服务系统都在使用HAProxy
十分钟成为 Contributor 系列 | 为 Cascades Planner 添加优化规则
到今天为止,“成为Contributor系列”已经推出了“支持AST还原为SQL”,“为TiKV添加built-in函数”,“向量化表达式”等一列活动。这一次借着TiDB优化器重构的契机,我们将这个系列再向着数据库的核心前进一步,挑战一下「为TiDB的优化器增加优化规则」,带大家初步体验一下可以对查
揭秘 TiDB 新优化器:Cascades Planner 原理解析
在《十分钟成为Contributor系列|为CascadesPlanner添加优化规则》中,我们简单介绍了Cascades的相关背景知识,本文将为大家深入介绍TiDB新的优化器——CascadesPlanner的框架及原理。TiDB当前优化器简介关系型数据库中查询优化器的作用是为一个SQL在合理的开
拥抱 Elasticsearch:给 TiDB 插上全文检索的翅膀
作者介绍:孙晓光,知乎技术平台负责人,与薛宁(@Inke)、黄梦龙(@PingCAP)、冯博(@知乎)组队参加了TiDBHackathon2019,他们的项目TiSearch获得了CTO特别奖。“搜索”是大家在使用各种APP中非常重要的一个行为,对于知乎这样以海量优质内容为特色的产品来说,借助搜索帮
效率 10x!打造运维 TiDB 的瑞士军刀
作者介绍:陈霜,做个人吧队成员,PingCAPTiDB研发工程师,做个人吧队参加了TiDBHackathon2019,其项目「ManagemanyasonewithSQL」获得了三等奖。极致的易用性一直是PingCAP追寻的目标。在这之前,TiDB通过兼容MySQL,将分布式的复杂度隐藏在TiDB之