软硬件结合,分布式数据库 ZNBase 存储架构优化实践
ZNBase是开放原子开源基金会旗下的首个分布式数据库项目,由浪潮大数据团队开源并捐赠。本文将介绍ZNBase的存储架构,以及ZNBase技术团队在其KV存储引擎基础上所做的优化实践。ZNBase整体存储架构云溪数据库ZNBase采用分层架构,分为计算层与存储层,其总体架构如下图所示:在OLTP场景
ZNBase 时钟同步技术解析:原子钟实现 Ture-time 机制
导读在分布式数据库系统中,为了解决不同集群、节点事件发生的先后顺序问题,时钟同步至关重要。本文将为大家介绍业界现有的几种主流的时钟同步解决方案,以及分布式数据库ZNBase基于原子钟技术实现的Ture-time机制。业内的时钟方案目前业内主流的分布式数据库系统中,采用的时钟同步方案各不相同。国内比较
深入解析 Raft 模块在 ZNBase 中的优化改造(下)
云溪数据库 ZNBase 是由浪潮开源的一款 NewSQL 分布式数据库,具备 HTAP 特性,拥有强一致、高可用的分布式架构。其中,ZNBase 各方面的强一致性都依靠 Raft 算法实现。我们在上一篇文章中介绍了 Raft 一致性算法在分布式数据库中发挥的重要作用,以及 ZNBase 根据自身需求对 Raft 算法进行了优化改造,为其新增了三种角色设计。本文将继续介绍 ZNBase 研发团队在
深入解析Raft模块在ZNBase中的优化改造(上)
云溪数据库 ZNBase 是由浪潮开源的一款 NewSQL 分布式数据库,具备 HTAP 特性,拥有强一致、高可用的分布式架构。对于一个高可用的分布式系统来说,为了保障不同集群不同节点的数据一致,一致性算法尤为重要。Raft 是一种管理日志复制的分布式一致性算法,包括 ZNBase 在内的很多分布式系统都采用 Raft 作为底层的一致性协议。本系列文章将为大家介绍 Raft 一致性算法在 ZNBa
基于 WAL 实现ZNBase分布式数据库恢复至任意时间点
数据库通常采用数据备份来进行数据库恢复和还原,保证数据安全可靠,数据备份是容灾的基础,传统的数据备份主要是采用内置或外置的存储设备进行冷备份。这样的备份方式能较大程度上保证数据完整性,但由于其一般为每天定时备份一次,会导致数据库系统故障发生在两次定时备份之间时数据部分丢失。而利用WAL日志进行数据库集群任意时间点恢复的方法能最大程度上恢复数据库系统已落盘数据,且在合理配置后能够实现恢复数据库至任意
HTAP 数据库如何实现?浅析 ZNBase 中的列存引擎
TP 与 AP 融合的 HTAP 数据库正成为业内的发展趋势。但由于大规模数据场景下 TP 与 AP 系统本身的复杂性,要在一套数据库系统中融合两种使用场景的功能并不容易。浪潮推出的 HTAP 数据库 ZNBase 采用多模存储引擎的方案实现 HTAP 特性,在 OLTP 的基础上引入列存引擎支撑 OLAP 场景。本文将着重介绍列存引擎技术在 HTAP 数据库 ZNBase 中扮演的重要角色。
云溪数据库ZNBase持续集成
一、Devops介绍DevOps是一个完整的面向IT运维的工作流,以IT自动化以及持续集成(CI)、持续部署(CD)为基础,来优化程式开发、测试、系统运维等所有环节。可以把DevOps看作开发(软件工程)、技术运营和质量保障(QA)三者的交集。CIContinuousIntegration持续集成:
ZNBase-列存引擎架构设计
功能架构基于ZNBase数据库当前架构及HTAP的总体需求,列存引擎架构设计如下:在存储格式上libckdb采用ClickHouseMergeTree存储核心,其优点是:LSM-Tree思想、数据有序、数据去重能力。这些特性比较贴合我们DRDB的架构需求,在技术实现上会容易一些。在业务表数据存储时,
HTAP 数据库如何实现?浅析 ZNBase 中的列存引擎
TP 与 AP 融合的 HTAP 数据库正成为业内的发展趋势。但由于大规模数据场景下 TP 与 AP 系统本身的复杂性,要在一套数据库系统中融合两种使用场景的功能并不容易。浪潮推出的 HTAP 数据库 ZNBase 采用多模存储引擎的方案实现 HTAP 特性,在 OLTP 的基础上引入列存引擎支撑 OLAP 场景。本文将着重介绍列存引擎技术在 HTAP 数据库 ZNBase 中扮演的重要角色。
深入解析 Raft 模块在 ZNBase 中的优化改造
云溪数据库 ZNBase 是由浪潮开源的一款 NewSQL 分布式数据库,具备 HTAP 特性,拥有强一致、高可用的分布式架构。对于一个高可用的分布式系统来说,为了保障不同集群不同节点的数据一致,一致性算法尤为重要。Raft 是一种管理日志复制的分布式一致性算法,包括 ZNBase 在内的很多分布式系统都采用 Raft 作为底层的一致性协议。本系列文章将为大家介绍 Raft 一致性算法在 ZNBa
ZNBase分布式存储的负载均衡
ZNBase 是浪潮开源的 NewSQL 分布式数据库,拥有强一致、高可用的分布式架构。在高负载的情况下,分布式数据库能够将负载压力平衡到不同的物理机节点上,充分利用不同节点的资源。本文将介绍 ZNBase 在面对高负载存储过程中采用的负载均衡策略。
ZNBase 分布式 SQL 引擎与优化(下)
前文提到,ZNBase 是由浪潮开源的一款 NewSQL 分布式数据库,基于谷歌 Spanner+F1 的论文设计,完美继承了 Spanner 的设计理念,实现了基于对等架构的分布式 SQL 引擎。ZNBase 的 SQL 引擎包含连接、编译、缓存、分布式日志和分布式执行五大服务组件,实现了多集群多节点协同的高效计算,大大提升了用户的查询效率。
ZNBase 分布式 SQL 引擎与优化(上)
与传统关系型数据库相比,分布式数据库系统具有多集群、多节点、高并发等特性,这就需要分布式数据库的 SQL 引擎能够在满足用户常规的 SQL 请求以外,提供多集群、多节点协同计算的能力,从而提高查询效率。本文将介绍分布式数据库 ZNBase 的 SQL 引擎架构特点,以及其中各大服务组件的技术原理与工作流程。
gossip在ZNBase中的运用
浪潮数据库ZNBase作为新一代分布式数据库,采用无中心对等网络架构。因此使用对等网络协议gossip作为处理集群各个节点间元数据同步的方案。
MegaWise技术初探:面向异构计算的查询优化与编译
近两年,我们团队在研发基于异构计算的新型OLAP数据库系统--MegaWise,这是一个处于“异构计算”与“大数据分析”交叉领域的工作。当前该系统已经完成0.5.0版,希望借此文介绍我们现有的一些技术探索。
KingDB 控制台使用手册
概览页通过概览页,可以查看当前账号下的实例个数、运行状态、实例分区等相关信息。查看PDF集群列表页通过集群列表页,可以查看集群的一些基本信息,比如名称,运行状态,内存,存储空间等,提供了一些操作按钮,如新建集群,删除集群,续费,导出集群列表等。查看PDF集群总览页通过集群总览页,可以查看主节点与只读
KingDB 管理安全组
安全组管理页面进入管理页面有两种方式。第一种方式:在安全组页面,点击列表中某安全组或点击管理,进入到该安全组管理页第二种方式:与实例关联的安全组,可以点击实例安全组中的“管理”查看PDF安全组-IP管理进入管理页面之后,默认进入“安全组管理页-IP管理”页面1.安全组添加主机IP第一步:点击添加主机
KingDB 克隆安全组
KingDB 克隆安全组
KingDB 删除安全组
KingDB 删除安全组
KingDB 新建安全组
KingDB 新建安全组