构建高效物理计划:从逻辑查询到算子实现
一、前言本文主要介绍内容一条查询语句如何实现由逻辑计划生成物理计划。查询语句要执行的操作、涉及的表信息等存放于逻辑计划的 PlanNode 中,物理计划的构建就是通过解析逻辑计划的 PlanNode,将对应的 PlanNode 转换为对应算子(Processor),算子之间再通过 Stream 连接。为了方便大家理解本文的内容
SQL 执行计划管理(SPM)
一、SPM 需求背景任何数据库应用程序的性能在很大程度上都依赖于查询执行,尽管优化器无需用户干预就可以评估最优计划,但是 SQL 语句的执行计划仍可能由于以下多种原因发生意外更改:版本升级、重新收集优化器统计信息、改变优化器参数或模式/元数据定义。由于无法保证计划始终向更好的情况改变,如果在环境变化时能够维持当前执行计划不变,或者只向更好的情况改变,将是最理想的解决方案。 二、SPM 重
数据库集群方案详解
本期直播我们邀请 KaiwuDB 解决方案专家周幸骏,为大家分享数据库集群方案详解。周老师毕业于复旦大学数学系,从业 20 余年,曾在 IBM 公司任技术专家,并为多家国有大型商业银行提供技术咨询和数据库业务连续方案设计等服务。欢迎大家点击观看本次直播回放,通过学习数据库集群技术,提供高性能和可扩展性的数据库解决方案,更好满足应用程序对高可用性和较高性能的需求↓↓↓>>点击观
KaiwuDB 解决方案专家周幸骏:打造核心时序引擎,释放数据新价值
以下为浪潮 KaiwuDB 解决方案专家周幸骏受邀于7月4日在京举行的可信数据库发展大会发表演讲的实录摘要,欢迎大家点赞、收藏、关注!>>点击观看01 聚焦“时序”据 IDC 等权威数据统计,预估 2025 年物联网设备产生的数据可达到 79.4ZB ;2023 年全球设备中将有 3/4 是物联网设备。如果将当下时代定义为“消费互联网”,那触手可见的未来也许即是"工业互联网&
KaiwuDB CTO 魏可伟:多模架构 —“化繁为简”加速器
以下为浪潮 KaiwuDB CTO 魏可伟受邀于7月4日在京举行的可信数据库发展大会发表演讲的实录,欢迎大家点赞、收藏、关注!现场回放视频>>https://www.bilibili.com/video/BV1bF411Q7Hr/?spm_id_from=333.788.recommend_more_video.0&vd_source=700806cd73b4ea3118fa9
数据库集群方案简介
线上沙龙技术流第 33 期 — 大咖专场07月18日(周二)19:30“数据库集群方案简介”KaiwuDB - B站直播间本期大咖KaiwuDB 解决方案专家 周幸骏周老师毕业于复旦大学数学系,在金融科技行业服务超过 20 年,有丰富的客户项目实施、解决方案设计方面的经验。曾参与多家大型国有商业银行的核心业务数据库系统生产环境的设计与运维。近 10 年来重点关注业务
SUFS: 存储资源使用量预测服务
本期将由 KaiwuDB 研发工程师孙路明博士为大家介绍《SUFS: 存储资源使用量预测服务》,本文将发布于 ICDE 2023。一、背景介绍1.存储资源使用量预测的意义在典型的 IT 服务或应用中,计算、网络、存储是支撑上层应用服务的三个基础,保证存储系统的可用性对服务和应用的稳定运行有重要意义。存储系统可用性的一个重要方面就是有足够的容量,可以满足写入、存储的需求,所以合理规划存储系统的空间资
我们搬家啦!新家园,新征程,新篇章
7月10日KaiwuDB 上海新总部开业典礼暨“浪潮数据库产业联合实验室”揭牌仪式于上海市浦东新区顺利举行新起点,新征程,新篇章🎉🎉剪彩仪式7月10日,上海浦东新区科技和经济委员会副主任夏玉忠,上海市经济和信息化委员会软件处副处长何炜,张江高科技园区开发股份有限公司副董事长、总经理何大军,浪潮副总裁、山东浪潮数据库技术有限公司党支部书记、董事长刘伟华,浪潮院士、山东浪潮数据库技术有限公司总经理、浪
KaiwuDB 亮相 2023 可信数据库发展大会
一图带你回顾本次 KaiwuDB 在 2023 可信数据库发展大会的五大亮眼表现。KaiwuDB 将持续引领中国数据库产业发展。
KaiwuDB 获 2023 可信数据库发展大会“双料”荣誉
7月4日,由中国信息通信研究院(以下简称“中国信通院”)、中国通信标准化协会指导,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)、InfoQ 极客传媒联合主办的“2023 可信数据库发展大会”在京召开,大会发布多项中国信通院及相关机构在数据库领域的研究成果,助力我国数据库产业高质量发展。中国信通院云计算与大数据研究所所长何宝宏正式发布《数据库发展研究报告(2
深入了解 KaiwuDB 负载行为数据采集
KAP 基于数据库系统内部反馈的各项数据指标,可帮助用户全面掌握 KaiwuDB 集群的整体运行情况,实时监测集群相关性能,可提供整体资源和集群状态角度的系统监控。除此之外,KaiwuDB 数据库内部开发实现基于负载业务的行为数据采集功能,为 KAP 提供更加全面的数据支持,为用户提供更为多元化的信息,方便用户监控 KaiwuDB 内部的业务负载处理情况,指导用户进行 SQL 调优等。一、技术架构
Go 语言中 Context 的作用和使用方法详解
KDP(数据服务平台)是一款由 KaiwuDB 独立自主研发的数据服务产品,以 KaiwuDB 为核心,面向 AIoT 场景打造的一站式数据服务平台,满足工业物联网、数字能源、车联网、智慧产业等行业核心业务场景下数据采集、处理、计算、分析、应用的综合业务需求,实现“业务即数据,数据即服务”,助力企业从数据中挖掘更大的商业价值。在开发数据服务平台的实时计算组件时,可能会遇到这样
SUFS: 存储资源使用量预测服务
线上沙龙-Paper Reading 第 6 期营业啦06月27日(周二)19:30KaiwuDB-B站直播间本期论文>>《SUFS: A Generic Storage Usage Forecasting Service Through Adaptive Ensemble Learning》论文提出了一个增强的 LSTM 神经网络和自适应的模型集成算法,为不同的存储系统提供统一的存储
KaiwuDB 受邀出席大型企业数字化转型峰会暨工赋山东济南峰会并发表演讲
6月16日,由山东省相关政府机构指导,浪潮主办的“2023 大型企业数字化转型峰会暨‘工赋山东’济南峰会”在济南成功举办。政府有关单位负责人、社会各界专家学者、省内数字化龙头企业及浪潮旗下服务数字化转型的优秀产业单位代表等 500 余人到场参会,共同探讨当前宏观经济形势与产业转型升级大趋势下,如何搭乘“数字化转型”东风,助力企业获得高质量发展。KaiwuDB CTO 魏可伟受邀出席峰会并做《浪潮
TBB 开源库及并发 Hashmap 的使用
线上沙龙 - 技术流第 32 期回放来啦本期直播我们邀请 KaiwuDB 研发工程师康俊,为大家分享 TBB 开源库及并发 Hashmap 的使用。康俊老师在 Raft 一致性协议优化、分布式存储与调度、高可用双活容灾、多 Region 地理分区等分布式处理模块研发领域具备丰富经验,现负责 KaiwuDB 基础数据结构研发与设计。欢迎大家点击观看本次直播回放,通过了解
魏可伟受邀参加 2023 开放原子全球开源峰会
6月11日-13日,2023 开放原子全球开源峰会在京举行。作为开源行业年度盛事,本次峰会以“开源赋能,普惠未来”为主题,聚集政、产、学、研等各领域优势,汇聚顶尖大咖,共话开源未来。KaiwuDB CTO 魏可伟受邀出席峰会并做《构建“快人一步”的 AIoT 数据库》主题分享,结合数据库技术中的分布式、HTAP、多模、AI4DB 等关键技术潮流及物联网时代的创新数据场景,与在场行业专家、
2023 可信数据库发展大会:近百位行业大咖将出席演讲
当前,全球数字经济加速发展,以信息技术和数据作为关键要素的数字经济成为全球新一轮科技革命和产业变革的重要引擎,作为数字经济的数据底座和基础软件的重要一员,数据库产业正经历前所未有之大变局。伴随政策规划有力指导、技术不断演化融合以及应用需求日益丰富,数据库向着更高效、更稳定和更安全方向发展。近年来,全球范围内创新型数据库企业和产品不断涌现,市场格局悄然发生变革;我国数据库产业和生态日益繁荣,人才供给
PostgreSQL 中的虚拟文件描述符
由于每个操作系统限制了一个进程能打开的文件数(例如:ubuntu 为1024),因此进程能获得的文件描述符是有限的。对于经常需要打开许多文件的数据库进程来说,很容易会超过操作系统对于文件描述符数量的限制。为解决这个问题,PostgreSQL 中使用了虚拟文件描述符 (VFD) 机制,通过 VFD 管理真实的文件描述符,帮助进程摆脱操作系统的限制。typedef struct v
深度解读 KaiwuDB 的排序操作
一、单节点执行在单节点环境执行一条简单的 SQL 语句 SELECT * FROM NATION ORDER BY N_NAME。NATION 是一张小表,只有 25 条记录;对第 2 列 N_NAME 进行升序排列。1. 抽象语法树上述示例中的 SQL 语句经过分析器解析后得到 AST,如下图所示:2. 逻辑计划将 AST 转换成一个树状结构的 Plan,称之为逻辑查询计划。抽象语法
KaiwuDB 数据库高可用方案及落地实现
数据库停机将会带来诸如客户流失、声誉受损、经济损失等严重后果,对于终端用户而言,不论是计划内或是计划外的停机,都是难以接受的。因此,用户逐渐意识到选择生产数据库除了考虑功能、性能、易用性等维度,高可用性也成为一项至关重要的评估标准。欢迎大家点击观看本次直播回放,一起学习数据库的高可用技术方案 ↓↓↓一、什么是数据库的高可用高可用,英文翻译为”High Availability”。从字面上