TiEye:Region 信息变迁历史可视化工具 | TiDB Hackathon 优秀项目分享
本文作者是矛盾螺旋队的成员刘玮,他们的项目TiEye在TiDBHackathon2018中获得了三等奖。TiEye是Region信息变迁历史可视化工具,通过PD记录Region的Split、Merge、ConfChange、LeaderChange等信息,可以方便的回溯Region某个时间的具体状态
从使用者到开发者,知乎参与 TiDB 社区背后的故事
作者介绍:孙晓光,知乎技术平台团队负责人,负责建设知乎在线和离线的基础设施平台,为业务开发提供统一的基础设施。曾多年从事私有云相关产品开发工作,关注云原生技术,TiKV项目Committer。关注TiDB的朋友们可能发现继FollowerRead在TiKV端的PR合并后,TiDB端相关的PR也于近期
让 TiDB 访问多种数据源 | TiDB Hackathon 优秀项目分享
本文作者是来自CC组的兰海同学,他们的项目《让TiDB访问多种数据源》在本届TiDBHackathon2018中获得了二等奖。该项目可以让TiDB支持多种外部数据源的访问,针对不同数据源的特点会不同的下推工作,使TiDB成为一个更加通用的数据库查询优化和计算平台。我们队伍是由武汉大学在校学生组成。我
从 pingcap tidb 学习使用静态检查工具提升代码质量
大家好,我是Rustin。今天想跟大家简单介绍一下如何使用一些golang的静态代码检查工具来提升代码质量!此博客在GitHub上公开发布.如果您有任何问题或疑问,请在此处打开一个issue。简介从去年接触到TiDB就开始尝试在社区帮忙修复一些简单的Bug。最近,我在阅读代码的过程中发现TiDB的代
【开源访谈】黄东旭:“无人区”的探索者,TiDB 的前行之路
>日前,我司联合创始人兼CTO黄东旭接受了开源中国的【开源访谈】,公开解读了TiDB的探索之路及未来方向。本文为专访实录~:)记者:王练口述:黄东旭首先请老师介绍一下自己黄东旭,PingCAP的联合创始人和CTO,TiDB的设计者和工程师,一直以来从事的基础软件和分布式系统的研发,很小就开始接
社区 | 如何优雅降落到 TiDB 星球?
提到「开源项目TiDB」人们总是习惯性反应:它在GitHub上Star数已经超过17000,并拥有260+位全球各地的Contributors。但数据总归是冷冰冰的,不能生动的展现TiDB社区的魅力。所以今天推送一篇TiDBcontributor杜川同学加入TiDB社区前后的「心路历程」,他从亲历者
雷神 Thor —— TiDB 自动化运维平台
作者:瞿锴,同程艺龙资深DBA背景介绍随着互联网的飞速发展,业务量可能在短短的时间内爆发式地增长,对应的数据量可能快速地从几百GB涨到几百个TB,传统的单机数据库提供的服务,在系统的可扩展性、性价比方面已经不再适用。为了应对大数据量下业务服务访问的性能问题,MySQL数据库常用的分库、分表方案会随着
Qunar 高速发展下数据库的创新与发展 - TiDB 篇
作者|蒲聪首发平台|Qunar技术沙龙作者介绍:蒲聪,平台事业部DBA,拥有近6年的MySQL和HBase数据库运维管理经验,2014年6月加入去哪儿网,工作期间负责支付平台事业部的MySQL和HBase整体运维工作,从无到有建立去哪儿网HBase运维体系,在MySQL和Hbase数据库上有丰富的架
迁移 MySQL 集群到 TiDB 相关问题整理
上半年我们将一个在12台物理服务器上运行的16主16从MySQL集群成功的迁移到了TiDB上。由于原始记录达万亿行整体数据量非常庞大,整个迁移过程充满了各种挑战。在PingCAP伙伴们的热心帮助下整个迁移最终顺利完成,本文将整个迁移过程中遇到的问题整理出来,希望能帮助到更多希望将业务从MySQL迁移
TiDB,为SQL注入分布式可扩展性
时下,一大批新型数据库急剧涌现,诸如GoogleSpanner、FaunaDB、Cockroach以及TimeScaleDB等等,这些数据库都在专注解决影响标准SQL的规模问题。现在,另一位来自中国北京的竞争者——PingCAP开源的TiDB项目,旨在维持ACID事务的同时,使SQL也具备NoSQL
TiDB Binlog 组件正式开源,前排开“坑”走起!
TiDBBinlog组件用于收集TiDB的binlog,并准实时同步给下游,如:TiDB/MySQL等。该组件在功能上类似于MySQL的主从复制,会收集各个TiDB实例产生的binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用TiDBBinlog可以实现数据准实时同步到其他数据库,
TiDB Operator 开源技术细节详解
原标题:TiDBOperator,让TiDB成为真正的Cloud-Native数据库TiDBOperator是TiDB在Kubernetes平台上的自动化部署运维工具。目前,TiDBOperator已正式开源(pingcap/tidb-operator)。借助TiDBOperator,TiDB可以无
HBase 2.0 协处理器实现 ES 数据同步
在正式进行讲述实现之前,我觉得有必要说一下出发点。团队期初数据都是基于HBase+Phoenix这样架构进行持久化。随着业务的复杂性增加,对部分表的查询效率和查询条件多样性,提出了更高的要求。HBase+Phoenix就会出现索引滥用。变更索引变的特别的频繁,同时一些数据客观的表,变更索引的代价是非
TiDB稳定性的一些问题
最近听同事说TiDB,溜得飞起。我始终坚信,这个世界上没有什么银弹,任何事物有好的一面,肯定存在不好的一面。TiDB的优点就不说了,随便Google一把就有很多。今天我们就来说说TiDB不够理想的一面(我们得到的测试结果)。在开始之前,这里介绍一下参与本次测试以及出谋划策的人员有:本人[流浪小行]、
TiDB + TiFlash : 朝着真 HTAP 平台演进
TiDB+TiFlash:朝着真HTAP平台演进PingCAP科技大数据raft数据库系统tidb2019-08-3018:03:55收藏作者介绍韦万,PingCAP数据库研发工程师,主要领域是数据库的存储引擎研发,以及系统性能优化。一、为什么我们需要HTAP数据库?在互联网浪潮出现之前,企业的数据
10分钟理解Hbase架构
物理上,Hbase是由三种类型的server组成的的主从式(master-slave)架构:RegionServer,负责处理数据的读写请求,客户端请求数据时直接和RegionServer交互。HBaseMaster,负责Region的分配,DDL(创建,删除table)等操作。Zookeeper,
分布式数据库TiDB 的异步 schema 变更实现
转自https://github.com/ngaut/builddatabase/blob/master/f1/schema-change-implement.mdgithub.com背景现在一般数据库在进行DDL操作时都会锁表,导致线上对此表的DML操作全部进入等待状态(有些数据支持读操作,但是
以TiDB为例介绍分布式数据库如何新增函数支持
转自ngaut/builddatabasegithub.com本文档用于描述如何为TiDB新增builtin函数。首先介绍一些必需的背景知识,然后介绍增加builtin函数的流程,最后会以一个函数作为示例。背景知识SQL语句在TiDB中是如何执行的?SQL语句首先会经过parser,从文本pars
TiDB关键架构图
TiDB关键架构图
HBase RowKey与索引设计技巧
本文转自:如何合理的设计HBaseRowKey?www.nosqlnotes.com本文由DataFun社区依据HBaseMeetup演讲内容整理演讲PPT请从下文链接中下载:今天分享的内容主要是HBaseRowKey与索引设计相关的一些技巧、原则和相关案例。内容包含四个部分:HBase基础原理速