PingCAP 唐刘:一个咨询顾问对 TiDB Chat2Query Demo 提出的脑洞
导读 近日,TiDB Cloud 发布了 Chat2Query 功能,在 TiDB Cloud 上通过自然语言提问,即可生成相应的 SQL,通过 TiDB Cloud 对上传的任意数据集进行分析。Gartner 也在一份有关 ChatGPT 对数据分析影响研究的报告中提及了 PingCAP 的 Chat2Query 产品。 本文分享了唐刘在展示 Chat2Query demo 过程中的一些思考
NFTScan x TiDB丨一栈式 HTAP 数据库为 Web3 数据服务提供毫秒级多维查询
导读 NFTScan 是一家多链 NFT 数据基础设施服务商,为 Web3 用户提供高效简洁的 NFT 资产搜索查询服务,为 Web3 开发者和新一代金融科技公司提供专业的 NFT API 数据服务。 TiDB 作为一种分布式 HTAP 数据库,可以同时满足海量数据存储和高并发读写的需求, 在高可用性、分布式架构、ACID 事务支持和实时多维查询等方面,都具备优势,适配 Web3 行业的场景需
TiDB Serverless 和技术生态全景
数据库不是单一软件,而是一个生态体系。成为一款好用的数据库,除了产品自身的能力外,繁荣的技术生态体系也至关重要,既可以提升使用体验,又可以降低使用门槛。PingCAP 在 2022 年 11 月 1 日正式发布了 TiDB Cloud Serverless Tier,本次分享在介绍 Serverless Tier 的技术细节之余,全面解析 TiDB 的技术生态全景和在生态构建中所做的努力。阅读本文
vivo x TiDB丨解决云服务海量数据挑战
vivo 是一家全球性的移动互联网智能终端公司,品牌产品包括智能手机、平板电脑、智能手表等 ,截至 2022 年 8 月,已进驻 60 多个国家和地区,全球用户覆盖 4 亿多人。 vivo 为用户提供了在手机上备份联系人、短信、便签、书签等数据的能力,底层存储采用 MySQL 数据库进行数据存储。 随着 vivo 业务发展,用户量增长迅速,存储在云端的数据量越来越大,海量数据给后端存储和数据库
建设 TiDB 自动化平台:转转 DBA 团队实践
转转技术 转转研发中心及业界小伙伴们的技术学习交流平台,定期分享一线的实战经验及业界前沿的技术话题。 各种干货实践,欢迎交流分享,如有问题可随时联系 waterystone ~ 莫善 转转 DBA。 负责 TiDB,MongoDB,MySQL 运维及转转数据库平台开发。 转转是 PingCAP 最早的一批用户之一,见证了 TiDB 的发展,自身也沉淀了不少经验。 从 1.0 GA 开始
促进关键软件高层次人才培养:平凯星辰与华东师范大学签订联合博士培养合作协议
2022 年年初,平凯星辰入选首批工信部教育部支持联合培养国家关键软件高层次人才计划 。该计划旨在探索关键软件产教融合育人模式,超常规加快培养一批急需高层次人才,以及探索关键软件联合技术攻关新模式。2022 年年底,在该计划下 平凯星辰与华东师范大学达成 4 年联合博士培养合作。 日前,华东师范大学数据科学与工程学院院长钱卫宁教授、周烜副院长、研究生院招生办陈佳主任一行 10 人到访平凯星辰上海
网易游戏实时 HTAP 计费风控平台建设
本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳,在 FFA 实时风控专场的分享。本篇内容主要分为五个部分: 实时风控业务会话会话关联的 Flink 实现HTAP 风控平台建设提升风控结果数据能效发展历程与展望未来 众所周知,网易互娱的核心业务之一是线上互动娱乐应用服务,比如大家耳熟能详的梦幻西游、阴阳师等都是网易互娱的产品。不
TiDB 在安信证券资产中心与极速交易场景的实践
本文根据安信证券资深数据库架构师李轲在 DevCon 2022 上的分享整理,主要讲述了 TiDB 在安信证券的资产中心与极速交易场景的实践经验。主要包括三部分内容:第一是国产化信创改造总体情况,第二是 TiDB 在安信证券的一些实践情况,第三是实践过程中我们遇到一些问题的反馈和建议。 安信证券股份有限公司(以下简称“安信证券”)成立于 2006 年 8 月,并先后于 2006 年 9 月、
TiCDC 源码阅读(四)TiCDC Scheduler 工作原理解析
本文是 TiCDC 源码解读的第四篇,主要内容是讲述 TiCDC 中 Scheduler 模块的工作原理。主要内容如下: Scheduler 模块的工作机制两阶段调度原理 Scheduler 模块介绍Scheduler 是 Changefeed 内的一个重要模块,它主要负责两件事情: 将一个 Changefeed 所有需要被同步的表,分发到不同的 TiCDC 节点上进行同步工作,以达
微众银行 TiDB HTAP 和自动化运维实践
本文根据微众银行资深数据库架构师黄蔚在 DevCon 2022 上的分享整理,主要讲述了微众银行对于 HTAP 架构的探索和实践情况,以及提升大规模分布式数据库运维效率的经验。 内容将从四个方面展开:HTAP 技术的演进历程、微众银行在 HTAP 技术的选型以及实践、在大规模分布式数据库自动化运维的优化实践、TiDB 在微众银行的未来规划。 TiDB HTAP 架构的演进我们知道一项新技术的出
TiDB x 阿里云丨最长 30 天,最高节省 ¥33,000,免费试用云数据库 TiDB 的机会来啦!
2022 年 6 月,云数据库 TiDB 上线阿里云云市场(适用于阿里云中国区域),为中国企业用户带来新一代 HTAP 数据库的云端体验。
PingCAP 黄东旭万字长文剖析数据库发展新趋势:脱离应用开发者的数据库,不会成功
本文由 PingCAP 联合创始人兼 CTO 黄东旭撰写,基于亲身经历的数据库行业,深度总结过去一年数据库发展的重要趋势,以及展望 2023 年数据库新方向,希望对更多的行业从业者有所启发。 在他看来,数据库未来的发展趋势必然是以「省人、省时、省事、省钱」为主要目标,在云原生趋势下,其不单单是作为一种软件,而是一种服务来成为加快科技发展的重要引擎。 2022 年,我们被太多的技术热词所围绕,也
TiDB 6.5 新特性解析丨过去一年,我们是如何让 TiFlash 高效又稳定地榨干 CPU?
TiDB 6.5 LTS 版本已经发布了。这是 TiDB V6 的第二个长期支持版,携带了诸多备受期待的新特性:产品易用性进一步提升、内核不断打磨,更加成熟、多样化的灾备能力、加强应用开发者生态构建…… TiDB 6.5 新特性解析系列文章由 PingCAP 产研团队重磅打造,从原理分析、技术实现、和产品体验几个层面展示了 6.5 版本的多项功能优化,旨在帮助读者更简单、更全面的体验 6.5 版
TiCDC 源码阅读(三)TiCDC 集群工作过程解析
内容概要TiCDC 是一款 TiDB 增量数据同步工具,通过拉取上游 TiKV 的数据变更日志,TiCDC 可以将数据解析为有序的行级变更数据输出到下游。 本文是 TiCDC 源码解读的第三篇,主要内容是讲述 TiCDC 集群的启动及基本工作过程,将从如下几个方面展开: TiCDC Server 启动过程,以及 Server / Capture / Owner / Processor Ma
同盾科技 x TiDB丨实时数据架构为风控智能决策保驾护航
同盾科技是中国领先的人工智能科技企业。为了确保服务的低延迟和高可用性,同盾的技术团队不断寻找最佳的技术架构。经过长时间调研,他们最终选择了新一代分布式数据库 TiDB 作为离线层的核心数据库,基于 TiDB 打造的实时数据架构为风控智能决策保驾护航。 同盾科技是中国领先的人工智能科技企业,专注决策智能领域,致力于帮助政企客户防范风险、提升决策效率。同盾科技坚持自主科技创新,多项算法和软件系统已达
TiDB 6.5 LTS 发版
在 2023 伊始,我们很高兴向大家宣布,TiDB 6.5 LTS 版本已经发布了。这是 TiDB V6 的第二个长期支持版(上一个是 TiDB 6.1),除了携带了诸多备受期待的新特性,同时也将得到 TiDB 开发社区的长期维护,是推荐企业级用户采用的最新版本。 在这个版本中,TiDB 专注于如下几个主题: 产品易用性进一步提升内核不断打磨,更加成熟多样化的灾备能力应用开发者生态构建
属于 PingCAP 用户和开发者的 2022 年度记忆
2022 年,我们一起穿越了许多荆棘时刻,面对着前所未有的不确定性。在这些挑战面前,我们发现技术和开发者扮演了重要角色。 技术为我们提供了穿越周期的桥梁,开发者帮助我们更好地应对挑战,解决问题并赋予这个世界更多创造力 。 PingCAP 也在过去一年迎来了新的进化,岁末年初,我们想邀请你共同回顾属于 PingCAP 用户和开发者的 2022 年度记忆。 #1用户信任这一年中,用户的信任对
LiveMe x TiDB丨单表数据量 39 亿条,简化架构新体验
近些年,由于互联网的快速发展以及线上需求的爆发,直播在国内已经成为一个非常成熟的商业模式。在娱乐、教育、办公等场景中涌现出许多优秀的视频直播产品。随着国内市场竞争日益白热化,加之企业出海渐成趋势,越来越多的直播公司选择走出去,寻找新的海外直播市场,借鉴国内成熟的产品、运营以及商业模式,让全球的用户都用上中国人创造的产品,LiveMe 便是成功的出海直播产品之一。 LiveMe 是一个全球直播和社
TiCDC 在大单表场景下的性能优化:我们如何将吞吐量提升 7 倍?
在2023 伊始,我们很高兴向大家宣布,TiDB 6.5 LTS 版本已经发布了。这是 TiDB V6 的第二个长期支持版(上一个是 TiDB 6.1),除了携带了诸多备受期待的新特性,同时也将得到 TiDB 开发社区的长期维护,是推荐企业级用户采用的最新版本。 在这个版本中,TiDB 专注于如下几个主题: 产品易用性进一步提升内核不断打磨,更加成熟多样化的灾备能力应用开发者生态构建 相
TiCDC 源码阅读(二)TiKV CDC 模块介绍
内容概要TiCDC 是一款 TiDB 增量数据同步工具,通过拉取上游 TiKV 的数据变更日志,TiCDC 可以将数据解析为有序的行级变更数据输出到下游。 本文是 TiCDC 源码解读的第二篇,将于大家介绍 TiCDC 的重要组成部分,TiKV 中的 CDC 模块。我们会围绕 4 个问题和 2 个目标展开。 TiKV 中的 CDC 模块是什么?TiKV 如何输出数据变更事件流?数据变更事件