银行核心背后的落地工程体系丨Oracle - TiDB 数据迁移详解
本文作者: 张显华,孟凡辉,庄培培系列导读:徐戟(白鳝)数据库技术专家,Oracle ACE,PostgreSQL ACE Director当前,国内大量的关键行业的核心系统正在实现国产化替代,而与此同时,这些行业的数字化转型也正在进入深水区。在信息系统的升级换代过程中,夯实 IT 基础设施是极其关键的。从服务器、操作系统、中间件、数据库等基础软硬件选型到系统架构、应用架构的重新设计,再到数据迁移
为什么公共事业机构会偏爱 TiDB :TiDB 数据库在某省妇幼健康管理系统的应用
导读本文阐述了某商业银行如何利用 TiCDC Syncpoint 功能,在 TiDB 平台上构建一个既能处理实时交易又能进行准实时计算的一体化架构,用以优化其零售资格业务系统的实践。通过迁移到 TiDB 并巧妙应用 Syncpoint,该银行成功解决了原有多个 MySQL 集群所面临的数据分布复杂性和跨库关联查询的挑战,实现了数据处理效率和应用性能的显著提升,确保了实时交易的快速响应和数据分析处理
TiDB 组件 GC 原理及常见问题
导读本文详细介绍了 TiDB 的 Garbage Collection(GC)机制及其在 TiDB 组件中的实现原理和常见问题排查方法。 TiDB 底层使用单机存储引擎 RocksDB,并通过 MVCC 机制,基于 RocksDB 实现了分布式存储引擎 TiKV,以支持高可用分布式事务。 GC 过程旨在清理旧数据,减少其对性能的影响,主要包括四个步骤: 计算 GC safepoint、解析锁(Re
TiDB 慢查询日志分析
导读TiDB 中的慢查询日志是一项 关键的性能监控工具,其主要作用在于协助数据库管理员追踪执行时间较长的 SQL 查询语句。 通过记录那些超过设定阈值的查询,慢查询日志为性能优化提供了关键的线索,有助于发现潜在的性能瓶颈,优化索引以及重构查询语句,从而提升数据库的整体性能。 本文将主要介绍 TiDB 中慢查询日志的功能,并探讨常用的慢查询日志分析方法 。本文作者 :王勇,中金公司信息技术部高 级架
TiDB MVCC 版本堆积相关原理及排查手段
导读本文介绍了 TiDB 中 MVCC(多版本并发控制)机制的原理和相关排查手段。 TiDB 使用 MVCC 机制实现事务,在写入新数据时不会直接替换旧数据,而是保留旧数据的同时以时间戳区分版本。 当历史版本堆积过多时,会导致读写性能下降。 为了解决这个问题,TiDB 使用 Garbage Collection(GC)定期清理不再需要的旧数据。 文章从 TiDB 中 MVCC 版本的生成原理、数据
唐刘:关于产品质量的思考 - 如何评估质量
在上一篇文章《 关于产品质量的思考 - 我的基本认知 》中,作者通过亲身经历分享了对产品质量的思考和认知:高质量的产品不仅仅是通过测试来保证的,更是通过在真实场景中不断打磨和改进得来的。本文为“关于产品质量的思考”系列的第二篇,将以 TiDB 产品发版为例,探讨如何评估产品的质量。文章指出了仅仅根据漏出的 bug 数量来评估质量的误区,并介绍了一些有效的评估方法,强调了深入了解客户业务场景的重要性
「知乎」是如何在超大规模 TiDB 集群上玩转多云多活的?来听听知乎代晓磊的答案!
导读代晓磊,知乎数据库负责人,同时也是 TiDB 社区北京地区组织者,一位有着 13 年数据库从业经验的数据库老兵,对数据库运维及 TiDB 有着丰富的实践经验。在“2024 新年围炉茶会”中,他分享了《TiDB 在知乎实践的那些事》话题,回顾了最近两年知乎 TiDB 实践的最新进展 ,以及对数据库未来发 展方向的个人观点,本文根据代晓磊老师的演讲实录进行整理。视频链接: https://www.
金融企业区域集中库的设计构想和测试验证
导读本文探讨了金融企业区域集中库的设计构想和测试验证,包括架构设想、数据库整合场景测试及优势和使用设想。作者提出利用 TiDB 数据库产品集中建设区域集中库,解决 MySQL 存量节点的整合问题,实现部署的标准化、按需扩展和统一运维管理。文章详细介绍了测试内容和结果,强调了区域集中库在建设和运行成本、服务质量等方面的优势,并提出了相应的管理措施,为金融企业数据库架构提供了有价值的参考 。本文作者
以一当十丨TiDB 在东吴证券秀财 APP 的应用实践
本文介绍了东吴证券旗下东吴秀财 APP 在数据库转型中选择 TiDB 的思考与实践。 原有架构使用 MySQL 分库分表和 MongoDB,但面临着架构复杂、业务扩展性不足、性能问题、开发和运维负担重等挑战。为了有效应对这些问题, 东 吴证券选择 将 MySQL 分库分表和 MongoDB 替换为 TiDB。这一举措极大简化了架构,实现了兼容 MySQL 生态、性能飞跃、金融数据强一致性的 HTA
夯实智慧新能源数据底座,TiDB Serverless 在 Sandisolar+ 的应用实践
本文介绍了 SandiSolar+通过 TiDB Serverless 构建智慧新能源数据底座的思路与实践。作为一家致力于为全球提供清洁电力解决方案的新能源企业,SandiSolar+面临着处理大量实时数据的挑战。为了应对这一问题,SandiSolar+选择了 TiDB Serverless 作为他们的数据底座。TiDB Serverless 具有灵活扩展、按实际使用量付费、自动伸缩等特点,能够满
数据库性能优化入门:数据库分片初探
导读数据库分片是一种用于提升数据库性能的架构模式,选择正确的分片策略和实施方式对于提高数据库性能和应对大规模数据挑战至关重要。本文介绍了数据库分片的定义、原理和实施方法。文章解释了数据库分片是如何通过将数据切分、分散存储在多个服务器上来提升性能,并对数据库分片与传统数据库的区别进行了详细对比,探讨了何时应该考虑进行数据库分片。文章介绍了几种常见的分片策略,包括基于键、基于范围、垂直和基于目录的分片
TiDB 社区智慧合集丨解码 TiDB 性能谜题:让你的数据库发挥最强动力!
来自社区,回归社区。非常感谢各位 TiDBer 在之前 【TiDBer 唠嗑茶话会丨征集 TiDB 数据库性能优化大师,你是如何优化 TiDB 数据库性能的呐?】( https://asktug.com/t/topic/1005563 )里提供的各种性能优化方法。这篇帖子收集整理了大家推荐的各个方面的 TiDB 数据库性能优化方法,欢迎各位 TiDBer 持续补充更新~1 硬件和网络优化方法 1贡
TiDB 实战分享丨第三方支付企业的核心数据库升级之路
导读本文介绍了一家第三方支付企业在面对市场竞争和监管压力的态势下,通过升级核心数据库来提升业务能力的实践。该企业选择 TiDB 分布式数据库,成功将其应用于核心业务、计费、清结算和交易查询等关键系统。TiDB 的水平扩展能力、高可用性和简化数据栈等优势,使该企业在处理高并发交易和保障数据安全方面取得了显著进展,提升了业务处理的敏捷性,同时降低了运维复杂度 。在数字时代,网络购物已经成为人们生活的重
唐刘:关于产品质量的思考 - 我的基本认知
我在文章《 TiDB in 2023 - 一次简单的回顾 》 中提到了一个我一直以来面临的问题:每次 TiDB 发布新版本后,我如何能够非常自信地告诉客户,这个版本的质量很好,大家可以放心使用呢?坦白地说, 这个问题并不容易回答 。 我计划通过一系列文章来分享我对产品质量的思考,这是其中的第一篇,主要讲讲我对质量的基本理解。需要说明的是,这些都是我个人的理解,并不绝对正确。我会
AmzTrends x TiDB Serverless:通过云原生改造实现全局成本降低 80%
本文介绍了厦门笛卡尔数据(AmzTrends)在面临数据存储挑战时,选择将其数据分析服务迁移到 TiDB Serverless 的思路和实践。通过全托管的数据库服务,AmzTrends 实现了全局成本降低 80% 的效果,同时也充分展示了 TiDB Serverless 在简化架构、提升性能和降低成本方面的优势。未来,AmzTrends 计划继续利用 TiDB Serverless 的优势,扩展业
为什么说 TiDB 在线扩容对业务几乎没有影响
本文讨论了分布式数据库在在线扩容方面的挑战, 详细解释了一般分布式数据库和 TiDB 在扩容机制上的不同。 一般分布式数据库在进行在线扩容时,需要重新平衡数据分布,可能会影响系统的可用性和 IO 消耗。 相比之下,TiDB 的存算分离架构使得扩容对业务影响较小。作者:爱喝自来水的猫 来源公众号:数据源的技术后花园。昨天和别人交流 PingCAP TiDB 时,这位同学对“ TiDB 在线
内含资料下载丨黄东旭:2024 现代应用开发关键趋势——降低成本、简化架构
作为一名工程师和创业者,创办 PingCAP 是我进入创新世界的一次深潜。这段旅程既有令人振奋的发现,也充满令人生畏的不确定性。作为这次探险之旅见证的 TiDB ,现在已在全球服务超过 3000 家企业,其中有已经实现了商业成功的大公司,也有很多初创企业。无论是从我自己创业的经验来看,还是从 TiDB 用户的故事中总结,我发现公司发展初期技术决策远比我们想象得更加重要,对公司未来的发展成败的影响巨
数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验
本文介绍了企查查在数据中台建设中使用 TiDB 的经验和应用。通过从 MySQL 到 TiDB 的迁移,企查查构建了基于 TiDB+ Flink 的实时数仓框架 ,充分利用了 TiDB 的分布式架构、MySQL 兼容性和完善的周边工具等特性,实现了数据的在线化处理。2023 年 9 月,企查查的 TiDB 数据库已升级至 v7.1.1 版本。文章还分享了企查查在使用 TiDB 过程中的一些好用特性
Runaway Queries 管理:提升 TiDB 稳定性的智能引擎
在数字化系统扮演重要角色的今天,数据库稳定性成为企业关注的核心问题。对于重要计算机系统而言,突发的性能下降可能对业务造成不可估量的损失。为了稳定数据库性能,用户可以从管理流程入手规范变更的测试,或者利用产品手段减少预期外的变化。然而,这仍旧无法完全规避突发的SQL性能问题,其中的原因包括但不仅限于:数据量和数据分布剧烈变化,从前被验证过的执行计划可能变得效率更低。数据库中的查询变得越来越复杂,优化
TiDB 7.5.0 LTS 高性能数据批处理方案
过去,TiDB 由于不支持存储过程、大事务的使用也存在一些限制,使得在 TiDB 上进行一些复杂的数据批量处理变得比较复杂。TiDB 在面向这种超大规模数据的批处理场景,其能力也一直在演进,其复杂度也变得越来越低:○ 从 TiDB 5.0 开始,TiFlash 支持 MPP 并行计算能力,在大批量数据上进行聚合、关联的查询性能有了极大的提升○ 到了 TiDB 6.1 版本,引入了 BATCH DM