InnoDB 外存数据结构浅析
作者:陈俊熹,腾讯云数据库研发工程师,主要负责腾讯云MySQL数据库研发工作。外存数据结构,或者说磁盘数据结构 ( On-Disk Structures ),记录的是需要进行持久化存储的元数据和数据。在存储体系中,访问外存数据带来的系统问题很多,比如如何快速找到数据,如何加速对元数据的频繁访问,如何进行数据一致性存储和灾难恢复等。本文介绍了 InnoDB 主要的外存数据结构,包括表和表空间 ( T
如何在云开发中使用 Redis?
默认情况下,云开发的函数部署在公共网络中,只可以访问公网。如果开发者需要访问腾讯云的 Redis、TencentDB、CVM、Kafka 等资源,需要建立私有网络来确保数据安全及连接安全。本文会演示如何在云开发的函数中使用 Redis,如需访问其他数据库资源,也可以参考本文的思路。Redis 介绍及应用场景Redis 是一个开源的 In-Memory 的 NoSQL 数据库,可以用作数据库、缓存和
迪B课堂 | 深入浅出解读MySQL数据行溢出
【迪B课堂】为腾讯云数据库高级产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程,旨在帮助大家从入门到精通学习和使用数据库。本期为迪B课堂特刊【MySQL经典案例解析系列】第二期。搜索关注“腾讯云数据库”官方微信,回复“迪B课堂”,即可查看历史十期迪B课堂教程~一、从常见的报错说起故事的开头我们先来看一个常见的sql报错信息:相信对于这类报错大家一定遇到过很多次,“数
前沿观察 | 分布式SQL性能对比
YugabyteDB 2.0版本的核心功能之一是与PostgreSQL兼容的YugabyteDB SQL(YSQL)API。在这篇文章中,我们将从性能和可扩展性两个方面,比较YSQL与其他两个兼容PostgreSQL的分布式SQL数据库——Amazon Aurora PostgreSQL和CockroachDB。SQL基准测试表明,YSQL的可扩展性是Amazon Aurora能达到的最大吞吐量的
迪B课堂 | 匪夷所思的“too many connections”案例解析
【迪B课堂】为腾讯云数据库高级产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程,旨在帮助大家从入门到精通学习和使用数据库。《我说》为迪B课堂的答疑系列,3分钟帮您解决数据库日常运维过程中的小难题。本期为迪B课堂特刊【MySQL经典案例解析系列】第一期。搜索关注“腾讯云数据库”官方微信,回复“迪B课堂”,即可查看历史十期迪B课堂教程~一、故障情况迪B哥在某个惬意的周末
微信支付用的数据库开源了
腾讯TBase是一款腾讯自研高性能HTAP数据库,提供高性能的OLTP和OLAP能力,同时保证可扩展全局一致性分布式事务(ACID),为用户提供高一致性的分布式数据库服务和高性能的数据仓库服务。一方面解决了传统数据库扩展不足、数据sharding之后数据库事务的严格一致性难题、数据安全、跨地域容灾等问题,同时具备了高性能事务处理、数据治理、混合负载支持等能力。在OLTP方面,TBase采用MVCC
DB诊断日 | 99%的DBA都想深入了解的MySQL故障
为更好的帮助DBA运维数据库,腾讯云将在每月12日开展DBbrain诊断日,腾讯云高级产品经理迪B哥直播解析经典数据库运维难题,结合腾讯云数据库智能管家DBbrain的能力,为大家提供问题优化思路和方法,玩转数据库!工作中遇到棘手故障不知道怎么办?欢迎投稿到诊断日,被选中的案例将由腾讯云资深专家“会诊”,并在DB诊断日在线分析教学,帮您提供解决方案。投稿即有机会获得企鹅公仔,问题被选中即得腾讯云数
说真的,这个主从延迟你还真处理不了
本文作者:张松坡,腾讯云数据库架构师,主要负责腾讯云数据库MySQL、Redis等数据库架构设计、数据库运维、运营开发等工作。曾就职于腾讯新闻、腾讯视频。写在前面,感谢腾讯云数据库架构师团队祝海强、杜川、刘志祥在排障思路、源码分析上面提供的帮助,让我学习到了很多,不敢居功,特此鸣谢!本文将以数据库实际使用中的某典型案例来分析造成主从延迟的原因。主从延迟的原因1、某用户在使用数据库过程中,出现主从延
腾讯会议空中加油级的扩容,只需按一个按钮
受疫情影响,多数企业员工目前无法回到写字楼办公,学生推迟开学,稳定高效的进行远程办公和直播授课成为2020年的开年刚需。2月,腾讯宣布疫情期间免费开放可支持300人在线会议的腾讯会议,央视新闻联播对此也给予了报道。点击查看视频出生不久的腾讯会议瞬间成为了一款国民会议软件,海量用户呈几何级爆发涌入,1月29日开始到2月6日,腾讯会议每天都在进行资源扩容,日均扩容云主机接近1.5万台,8天总共扩容超过
首届腾讯云数据库王者挑战赛落幕,决赛选手无一超越AI
关注腾讯云数据库官方微信,回复“赛题复现”,即可进行比赛场景复现。11月6日,由腾讯云主办的首届“DB王者—数据库诊断大赛”决赛在腾讯Techo开发者大会活动现场圆满落幕,此前800多名选手经过初赛的激烈角逐后,共有30位进入本次决赛。经过腾讯云智能数据库管家DBbrain的智能打分,最终雷孝龙以78分的成绩摘得本次冠军奖杯,亚军和季军则分别由赵文新和王加雷获得。腾讯云数据库负责人林晓斌(丁奇)为
800人参赛只有1人全部答对,题目却是现实中发生过的故障?
喜大普奔,腾讯云首届数据库诊断赛初赛圆满结束啦~经过一个月紧锣密鼓的比赛,腾讯云智能数据库管家DBbrain对每个参赛用户的实例进行了健康巡检和打分,恭喜以下30名选手进入决赛!有朋友问了:虽然我没有进入决赛,但是重在参与,对于初赛的题目我还有很多疑惑,到底应该怎么调优呢?那么今天除了公布成绩,数据君也为大家带来了初赛的赛题解析和优秀选手的解题思路分享。一、赛题设置首先我们来回顾一下比赛规则:腾讯
MySQL内核大牛解密腾讯数据库关键技术点
本文嘉宾:赖铮,腾讯TEG基础架构部数据库团队专家工程师,负责腾讯TXSQL数据库内核的研发,数据库系统开发老将,专注数据库内核开发十余年,先后就职于达梦、Teradata、北大方正以及MySQL InnoDB存储引擎团队,是达梦数据库内核、方正XML数据库以及InnoDB的GIS支持,加密功能的主要开发者,并获得多项数据库领域的专利。本文是腾讯TEG基础架构部数据库团队专家工程师赖铮在腾讯云与3
3个DBA和1个不可能完成的任务
一、一个时代的崛起1. 腾讯新闻:资讯行业擎旗者的突破超越2012年9月,腾讯新闻客户端安卓版正式发布。彼时,几大传统门户衍生的移动端资讯类APP早已上线推广,新闻客户端领域的用户争夺战,一触即发。2014年底,腾讯新闻在移动端的日活跃用户已达2.5亿,仅在第三方应用商店,腾讯新闻的下载量就达5亿次,是第二名的两倍。不久后,腾讯新闻客户端日活跃用户量已超过行业第二名的两倍,牢固确立领军者地位。通过
深度 | 如何玩转PG查询处理与执行器算法
作者介绍孙旭,腾讯云高级工程师。10年数据库内核研发经验,熟悉PostgreSQL、Teradata数据库内核,熟悉数据库的查询优化、执行、事务并发以及存储等子系统;对分布式数据库有深入的研究和研发经验。目前在腾讯云从事CynosDB数据库研发工作。一、导语数据库查询处理(Query Processing)是数据库比较核心的技术,也是距离用户最近的子系统。数据库系统在除了实现事务的隔离界别外,还需
解码Redis最易被忽视的CPU和内存占用高问题
作者介绍张鹏义,腾讯云数据库高级工程师,曾参与华为Taurus分布式数据研发及腾讯CynosDB for PG研发工作,现从事腾讯云Redis数据库研发工作。我们在使用Redis时,总会碰到一些redis-server端CPU及内存占用比较高的问题。下面以几个实际案例为例,来讨论一下在使用Redis时容易忽视的几种情形。一、短连接导致CPU高某用户反映QPS不高,从监控看CPU确实偏高。既然QPS
深度 | 解析InnoDB引擎
一、综述innodb的物理文件包括系统表空间文件ibdata,用户表空间文件ibd,日志文件ib_logfile,临时表空间文件ibtmp,undo独立表空间等。系统表空间是innodb最重要的文件,它记录包括元数据信息,事务系统信息,ibuf信息,double write等关键信息。用户表空间文件通常分为两类,一类是当innodb_file_per_table打开时,一个用户表空间对应一个文件,
腾讯黑科技:删大表不抖动,自动补充虚拟隐藏主键
2019年9月,腾讯云数据库正式按地域发布TXSQL 5.7-201908版本,该版本主要实现写性能提升,新增功能特性和内核参数,为MySQL提供更稳定、高效的性能和服务能力。其中,新增特性包括DROP大表操作异步化、GTID复制功能扩展、隐藏主键功能、非 Super 权限用户 Kill 链接的功能等。另外,在最新的TXSQL内核版本中,可以通过内核参数来指定事务调度算法。下面将为大家详细解读。T
你和年薪百万的DBA差距在哪?
你半夜被电话叫醒起来救火时,小Q从来朝九晚五一夜好眠;你排查故障至少十五分钟起步,小Q总在故障发生那一刻就拿出了解决方案;你因为黑客攻击心力交瘁,小Q已经提前向老板汇报了风险预警和处理办法;……终于,小Q获得老板青睐年薪百万,你顶着残存的几根头发去了离职大厅。其实你和小Q只差了一个大宝宝——DBbrain。DBbrain究竟有何神奇之处?请看本期年度巨制《鹅说数据库》。最为酷炫的是,除了常规的PC
揭秘腾讯全时态数据库系统,又一论文被数据库顶会VLDB收录
2019年8月26日-30日,数据库领域顶尖学术会议 VLDB 2019在美国加利福尼亚召开,腾讯TDSQL数据库团队与中国人民大学最新联合研究成果被VLDB 2019接收并将通过长文形式发表。该论文提出了一种拓展的全时态数据模型,并提供了内建的全时态数据库解决方案,通过引入异步数据迁移、增量历史数据管理、原生全时态查询执行器等策略,使得该解决方案可实现轻量且高效的全时态数据管理计算,在保持全局一
最佳实践 | 腾讯HTAP数据库TBase助力某省核心IT架构升级
数据存储和处理是一个古老而重要的技术,从远古时期的结绳记事到古人的文本记事,再到计算机诞生后的各种系统,直到E.F.Codd提出关系模型,人类终于有了一种相对高效而统一的数据处理系统——关系数据库。在传统的关系数据处理系统中,习惯把系统按照业务特点分为在线事务处理系统(OLTP)和在线分析处理(OLAP),一般意义上OLTP关注实时在线业务,要求低延时,高吞吐量,总体数据量一般不会特别大;而OLA