Kepler 参数化查询优化方法
本文主要介绍了发布于 2023 年 SIGMOD 的论文《Kepler: Robust Learning for Faster Parametric Query Optimization》,该文章针对参数化查询,将参数化查询优化与查询优化结合,旨在减少查询规划时间的同时提高查询性能。
ThreadPool 模式设计与流程演示
ThreadPool 模式能够提高系统资源的使用效率,通过重复利用已创建线程避免频繁创建和销毁线程对系统资源的消耗,可保持系统执行大量高并发任务时的性能稳定,通过 ThreadPool 模式可实现统一资源管理,简化编程接口。
【线上直播】Paper Reading | 基于学习的参数化查询优化方法
参数化查询优化旨在大幅减少优化时间并尽可能减少查询计划执行的次优性,那究竟如何实现参数化查询的有效优化?本期嘉宾将围绕发布于 VLDB2022 和 SIGMOD2023 的两篇论文展开详细介绍>>
数据集成时表模型同步方法解析
数据集成可实现多种异构数据库间的数据同步,想要提升数据中台的易用高效性,自动表模型同步则显得至关重要。
KaiwuDB × 风电企业 | 高性能、低成本、释放数据价值
随着平台接入风场数量日益增长,数据量激增,数据库存储、计算和管理成本负担也愈发沉重,急需一套行之有效的数据库改造与升级方案,用以加快 AI 智能化风电业务发展建设。
SQL 解析与执行流程
本期博客我们将以新增语法为例,重点介绍一条 SQL 语句需要历经的流程,以及如何自定义 SQL 语句和功能。
基于图神经网络的动态物化视图管理
本期 Paper Reading 主要介绍了发布于 2023 年 ICDE 的论文《Dynamic Materialized View Management using Graph Neural Network》,该文研究了动态物化视图管理问题,提出了一个基于 GNN 的模型。在真实的数据集上的实验结果表明,取得了更高的质量。一、背景物化视图(Materialized Views,下文简称 MVs
SQL 解析 — 如何轻松实现新增语句
KaiwuDB 支持多种不同类型的 SQL 语句,例如 create、insert 等。本文将介绍在 KaiwuDB SQL Parser(下文统称解析器)中添加新语句的过程及其实现。我们将了解如何使用 goyacc 工具更新解析器,以及执行器和查询计划器(planner)如何协同执行这条语句。一、语法和关键字添加新的 SQL 语句需要从向 SQL 解析器添加必要的语法开始。解析器是通过 goya
KaiwuDB 时序引擎数据去重功能详解
一、背景介绍随着物联网领域的快速发展,时序数据的产生和处理需求不断增长。时序数据是按照时间顺序收集和记录的数据,其特点在于数据具有时间戳,并且时间是数据分析和查询的一个重要维度。在实际场景中,可能存在多条相同时间戳的数据写入数据库中。数据去重功能可以更好地纠正数据的准确性,同时能够节省存储空间,降低存储成本。本次直播介绍了 KaiwuDB 数据去重功能开发背景、整行去重功能和部分列去重功
KaiwuDB 连续三年荣获开源中国“优秀开源技术团队”
近日,国内知名开源技术社区开源中国(OSCHINA)面向其平台上各大认证官方技术团队、开源社区帐号,结合年度发表的内容深度及广度、开展各种活动运营影响力等多方表现层层筛选,最终 KaiwuDB 获颁 OSCHINA “2023年度优秀开源技术团队” 奖项。开源中国(OSCHINA)成立于2008年8月,是国内的开源技术社区。社区建立了全面的开源软件分类数据库,收录了近 10 万
KaiwuDB × 国网山东综能 | 分布式储能云边端一体化项目建设
项目背景济南韩家峪村高光伏渗透率台区示范项目因其所处地理位置拥有丰富的光照资源,该区域住户 80% 以上的屋顶都安装了光伏板。仅 2022 年全年,光伏发电总量达到了百万千瓦时。大量分布式光伏并网,在输出清洁电力的同时,也给台区配电系统带来了低压用户过电压、配变上送重过载等问题,影响电网的安全稳定运行,同时也制约该区域光伏容量进一步增长。三大挑战缺少有效的数据库管理方
2023 ACDU 中国行 · 西安站 | 数据库技术发展及实践
ACDU 中国行·西安站由中国数据库联盟联合浪潮数据库等单位共同主办,特邀中国计算机学会(CCF)为本次活动的指导单位。作为中国数据库联盟的品牌活动之一,【ACDU 中国行】在线下汇集数据库领域的行业知名人士,共同探讨数据库前沿技术及其应用,促进行业发展和创新,同时也为开发者们提供一个友好交流的平台。KaiwuDB 架构师赵衎衎受邀亮相本次活动,为大家带来《看见未来——AI 技术在 IoT 数据上
KaiwuDB 获评信通院 2023 大数据“星河”标杆案例
12月6日,由中国信息通信研究院、中国通信标准化协会大数据技术标准推进委员会(CCSA TC601) 共同组织的 2023 大数据“星河(Galaxy)”案例评选结果正式公示,“基于 KaiwuDB 的台区云储能示范项目”历经多环节严苛评审,从累计 706 份申报项目中脱颖而出,获评数据库方向“标杆案例”。在国家大数据战略指导下
深度解读 Cascades 查询优化器
数据库中查询优化器是数据库的核心组件,其决定着 SQL 查询的性能。Cascades 优化器是 Goetz 在 volcano optimizer generator 的基础上优化之后诞生的一个搜索框架。本期技术贴将带大家了解 Cascades 查询优化器。首先介绍 SQL 查询优化器,接着分析查询优化基本原理,最后对 Cascades 查询优化器进行重点介绍。一、SQL 查询优化器用户与数据库交
KaiwuDB 通过中国信通院“可信数据库”性能与稳定性评测
11月29日,中国信通院 2023 年下半年“可信数据库”评估评测结果正式发布,由 KaiwuDB研发的开务数据库系统 KaiwuDB V2.0 达到信通院时序数据库性能、稳定性测试标准。至此,KaiwuDB已完成时序数据库基础能力、性能、稳定性全项评测,能够满足海量时序数据存储、处理、应用等各类场景数据管理需求。KaiwuDB 分布式多模数据库系
KaiwuDB 亮相中国国际供应链促进博览会
11月28日,全球第一个以供应链为主题的展会——2023 中国国际供应链促进博览会(简称“链博会”)在北京盛大召开。KaiwuDB 受邀亮相大会,向与会者展示现代数据库技术在数字科技链条中的根基作用,其中分布式多模数据库备受关注。大会以“链接世界、共创未来”为主题,邀请来自 50 余个国家和地区的 500 余家知名企业到场,集中展示各链条上、中、下游关键环节的新技术、新产品和新服务,旨在促进全球产
KaiwuDB 多模数据库-时序性能优化
随着物联网领域的快速发展,时序数据的产生和处理需求不断增长。为了满足实时性、高效性和准确性的要求,数据库需要进行时序性能优化,以提供快速的数据写入、实时查询和高效的数据存储与处理能力。本期直播介绍了时序数据和时序数据库特征以及基于 TSBS 时序测试标准分析,并基于此解析了 KaiwuDB 的时序模型架构和优化设计。一、时序基础概念1. 时序基础概念时间序列数据是指带时间标签的数据,主要由电力、化
KaiwuDB 亮相中国 5G+工业互联网大会,助力新型工业化
11月19-21日,由各相关政府部门共同主办的“2023 中国 5G+工业互联网大会”在湖北武汉盛大举行。作为我国“5G+工业互联网”领域的顶会,本届大会以“数实融合,大力推进新型工业化”为主题,聚焦新型基础设施、产业转型升级、技术创新能力、产业发展生态等热门领域。KaiwuDB 受邀亮相大会,展示现代数据库技术在工业互联网领域的融合创新及业务实践,旗下产品分布式多模
KaiwuDB 监控组件及辅助 SQL 调优介绍
一、介绍KaiwuDB 具备完善的行为数据采集功能,此功能要求 KaiwuDB 数据库系统 C/E/T 端不同进程的不同维度的指标采集功能十分完善;在不同进程完成指标采集后,会通过 Opentelemetry 和 Collector 将指标存入 Prometheus,以便查找展示。Opentelemetry 是一个用于跨多个服务和系统进行分布式跟踪和性能监测的工具,可以帮助收集、记录和
KaiwuDB 监控组件及辅助 SQL 调优介绍
KaiwuDB 具备完善的行为数据采集功能,此功能要求 KaiwuDB 数据库系统 C/E/T 端不同进程的不同维度的指标采集功能十分完善;在不同进程完成指标采集后,会通过 Opentelemetry 和 Collector 将指标存入 Prometheus,以便查找展示。