ITPub博客

首页 > 数据库 > 国内数据库 > 再+1OceanBase 联合高校攻克并发查询预测难题 - 企业级数据库实践

再+1OceanBase 联合高校攻克并发查询预测难题 - 企业级数据库实践

原创 国内数据库 作者:OceanBase数据库 时间:2026-10-29 10:38:53 0 删除 编辑

近日,成都信息工程大学与 OceanBase 研发团队合作完成的研究《C³-Predictor: An Efficient Framework for Performance Prediction of Concurrent Queries》,被《IEEE Transactions on Knowledge and Data Engineering》(TKDE,CCF A类)录用。

研究聚焦复杂并发工作负载下数据库查询性能预测的准确性与实时性难以兼顾的问题,提出一种融合代价因子与图神经网络的高效预测框架。

研究通过创新的并发代价调整机制与动态置信度决策策略,有效缓解传统预测方法在并发干扰建模、预测误差与推理开销方面的瓶颈,为数据库性能优化和智能资源管理提供了兼具理论创新性与工程实用性的技术方案。

01

研究背景与挑战

随着云数据库及分布式计算技术的广泛应用,数据库系统需要处理的查询任务日益复杂。

从传统的单查询执行场景,到多用户访问的并发事务场景,再到高实时性的资源动态调度场景,不同场景对查询性能预测的准确性与响应速度提出了更高要求。

传统预测方式逐渐难以适应这些实际需求:

  • 基于代价的预测方法依赖数据库优化器预设的代价参数,虽然计算开销较低,但难以准确刻画并发查询之间的资源竞争与执行干扰,往往出现预测偏差较大的问题;

  • 基于神经网络的预测方法能够学习查询执行计划中的复杂结构信息,在预测精度方面表现较好,但需要耗费较多计算资源,模型推理时延较高,难以满足实时数据库管理的要求;

  • 现有图神经网络预测方法通常需要构建完整的查询执行计划图,虽然能够捕获算子之间的关联关系,但存在图结构冗余、计算开销较大等问题,预测效率与复杂并发场景下的适应能力受到限制。

如何实现并发查询性能预测的精准化、实时化与高效化,成为智能数据库研究中需要重点解决的问题。

图1 数据库查询性能预测示意图

02

核心理论创新:C³-Predictor高效并发查询性能预测框架

C³-Predictor 围绕“快速初始预测、可靠性判断、针对性校准”的技术思路,将传统数据库代价估计方法与图神经网络预测技术相结合,设计了由并发代价预测、动态置信度评估和图嵌入偏差校准构成的三级处理框架,既保障了简单查询场景下的预测效率,又实现了复杂并发工作负载下的精准预测。

框架中的三个模块相互衔接,形成逐步完善预测结果的处理过程:首先利用经过校准的代价因子快速估计查询执行时间,再通过置信度评估判断初始预测结果的可靠性,最后对置信度不足的查询组调用图神经网络进行偏差校准。

这种分层预测方式充分发挥了不同模型的优势,使框架能够在预测准确性和计算成本之间取得合理平衡。

图2 C³-Predictor整体预测框架

在具体方法上,C³-Predictor 将传统数据库代价模型与图神经网络相结合,采用基于加权 Jaccard 相似度的置信度估计算法与图嵌入预测方法构建核心算法架构,通过动态阈值机制实现不同预测路径的自适应选择。

框架首先利用代价因子模型生成查询执行时间的初始预测结果,再根据数据库运行状态与查询特征评估预测可靠性,仅对置信度不足的查询调用图神经网络进行偏差校准,从而在保障预测精度的同时降低不必要的推理开销。

图3 基于置信度估计的预测路径决策机制

在第一阶段,构建基于代价因子的并发查询预测模型。

框架首先利用数据库执行计划中的页面访问、元组处理、算子计算及索引访问等信息,结合模板查询的实际执行时间,对代价因子进行回归校准。目的是建立查询执行特征与实际性能之间的映射关系,使初始预测结果能够适应不同数据库运行环境。

这一过程无需构建复杂神经网络,能够快速获得并发查询的基础性能估计。

这一阶段对于建立可靠的预测基准和降低整体计算开销至关重要。通过引入并发影响因子,综合考虑并发程度、查询执行时间差异及资源干扰,模型能够对初始预测结果进行进一步调整,为后续更加复杂的图神经网络校准奠定基础,从而提高整体预测效率。

在第二阶段,设计基于置信度的动态预测决策机制。

在初始预测完成后,框架利用加权 Jaccard 相似度计算目标并发查询与模板查询之间的特征相似性,并结合数据库 CPU、内存、磁盘 I/O 利用率及查询复杂度等状态信息,动态调整置信度阈值,以此判断当前预测结果是否需要进一步校准。

这种自适应方法不仅减少了复杂神经网络的调用次数,还增强了模型对不同运行负载的适应能力。

该阶段通过动态决策机制,使预测置信度较高的查询能够直接输出代价模型的估计结果,而置信度不足的查询则进一步接受图神经网络校准,从而实现预测精度与响应速度之间的协同优化。

在第三阶段,提出基于图嵌入的预测偏差校准方法。

在代价预测与置信度评估之后,对可靠性不足的查询进行图神经网络校准。框架通过关键算子筛选机制,重点保留对并发查询性能具有显著影响的算子节点及其重要关联信息,并依据查询内部的算子依赖关系和跨查询之间的资源竞争等关系构建简化的并发查询图。然后,利用图神经网络学习关键节点之间的结构关联与跨查询交互特征,对代价模型产生的预测偏差进行校准。

这一机制有效减少了完整查询图中的冗余计算,降低了图构建与模型推理过程中的时间开销,同时保留了影响并发执行性能的重要结构信息,缓解了传统图预测方法在复杂工作负载下效率不足的问题。

基于上述三种机制,C³-Predictor 将代价估计与深层图结构学习结合起来,通过置信度机制协调两类预测方法的使用范围。

  • 对于相对简单且易于估计的工作负载,框架能够以较低成本完成预测;

  • 面对并发关系复杂、资源干扰明显的查询任务,则通过图嵌入模型进一步修正偏差。

  • 这种按需校准的处理方式有效减少了重复计算,为复杂并发环境下实现快速、准确的查询性能预测提供了可行方案。

03

关键验证成果

相关研究成果已在 PostgreSQL 数据库环境下,基于 TPC-H、TPC-DS、JOB 等典型数据库工作负载,与主流查询性能预测方法进行了全面对比验证,核心性能指标表现出优秀的准确性与效率优势。

在预测精度方面,C³-Predictor 展现出显著优势。

在复杂并发查询场景中,该框架能够结合代价因子模型的稳定估计能力与图神经网络的结构学习能力,更充分地捕获查询算子之间的关联特征及并发执行带来的性能偏差。

与 RBF、DL、GRA 等主流预测方法相比,C³-Predictor 在实验评估中取得了更低的预测误差,尤其能够针对复杂查询中的资源竞争与执行干扰进行有效校准,提升数据库查询性能预测的准确性与可靠性。

在预测效率方面,C³-Predictor 通过动态置信度评估实现预测路径的自适应选择。

在 TPC-H、TPC-DS 和 JOB 三种工作负载上,C³-Predictor 相较于相应的主流预测方法均展现出明显的时延优势。对置信度较高的查询采用代价因子模型进行预测,对可靠性不足的结果调用图神经网络校准,从而减少不必要的复杂模型计算,提升预测效率。

在适应能力方面,C³-Predictor 展现出良好的跨工作负载适应性。

分别以 TPC-H 和 TPC-DS 为训练工作负载,并考察不同并发程度下的预测表现,验证了框架对不同查询分布的适应能力。针对新工作负载可能带来的过拟合问题,研究还通过调整偏差预测网络的特征编码方式,增强模型的泛化能力,体现了该方法在不同查询场景中的应用潜力。

04

总结与展望

面向复杂并发环境下数据库性能预测的实际需求,C³-Predictor 通过融合代价因子、动态置信度估计与图神经网络,构建了一套兼顾预测准确性和计算效率的技术框架。

该研究将传统数据库优化方法与数据驱动的图结构学习相结合,为解决并发查询预测误差较大、神经网络推理开销较高等问题提供了新的方法。

该框架的核心优势在于,不仅实现了复杂并发查询性能的精准预测,而且能够根据预测可靠性动态选择计算路径,减少不必要的神经网络推理开销,在提高预测效率的同时兼顾模型的准确性与适应能力,为数据库智能化管理提供了具有应用潜力的技术方案。

未来,研究将进一步探索框架在复杂数据库环境下的适用能力,重点关注分布式混合事务与分析处理场景中的资源竞争问题,并尝试将查询性能预测与实际数据库调度机制相结合,构建“预测—反馈—调度”的协同优化闭环,为数据库系统的智能优化与资源管理提供更加高效、可靠的技术支持。

大会预告

图片

OB Cloud 企业新用户提供专享,点击免费申请 >>

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69909943/viewspace-3187015/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论
欢迎来 OceanBase 开源官网技术切磋 https://open.oceanbase.com/answer

注册时间:2019-02-13

  • 博文量
    589
  • 访问量
    606589