ITPub博客

首页 > 数据库 > 数据库开发技术 > YMatrix v5.0 发布:138 项深度优化,重塑集群架构,实现性能及高可用性全方位提升!

YMatrix v5.0 发布:138 项深度优化,重塑集群架构,实现性能及高可用性全方位提升!

原创 数据库开发技术 作者:YMatrix 时间:2023-02-14 16:15:40 0 删除 编辑

10月26日,YMatrix 正式发布全新  5.0  版本,这是 YMatrix 之旅的新里程碑!


在 5.0 版本中,我们关注 全场景性能表现,包括写入能力、时序查询能力、单表 OLAP 分析、多表关联 OLAP 分析、Machine Learning 性能以及 OLTP 能力等方面,在生产场景下的写入速度实现了 1.52 亿数据点/秒。哪怕是对写入能力要求最高的时序场景,也可以轻松满足高并发、低延迟的写入需求。


图片


同时,YMatrix 对比时序数据库独角兽 TimescaleDB,查询耗时是 YMatrix 的 5.1 倍;对比知名 OLAP 数据库产品 Clickhouse,YMatrix 在 SSB 基础测试上快 27%;对比 MPP 数据库主流厂商 Greenplum,YMatrix 在多表关联分析场景上实现了数倍的性能提升;对比全球流行的开源大数据平台 Spark,YMatrix 在机器学习场景上的性能是其 8 倍;在 Intel 实验室的TPC-B 国际标准测试中,YMatrix 主键查询 tps 高达 160 万,数十倍于绝大多数产品。


图片


这一次  YMatrix 5.0 在性能上得到重大突破, 有  7   个值得重点关注的特性:

  • 全新数据库架构
  • 新增向量化执行引擎
  • MARS2 存储引擎性能大幅优化
  • 新增编码链压缩算法
  • 新增平滑扩容功能
  • 新增数据迁移工具 mxshift
  • 图形化界面升级


💡下载地址: ymatrix.cn/download


下面我们详细介绍 YMatrix 5.0 版本新特性,欢迎大家升级使用!

1. 全新数据库架构

YMatrix 5 引入了  etcd  集群来管理数据库集群状态,实现了数据库集群主节点(Master)和主节点备用节点(Standby)的自动故障切换,同时加强了数据节点(Segment)的主(Primary)从(Mirror)副本自动故障切换。


同时,YMatrix 5 引入了面向服务的架构,使得数据库集群的安装、运行和维护更加简单方便。


图片

YMatrix 面向服务的新架构图

新增集群管理工具:mxstart(启动一个 YMatrix 集群)、mxstop(停止一个 YMatrix 集群)、mxstate(查看一个 YMatrix 集群的状态)、mxrecover(恢复一个 YMatrix 集群)。


2. 新增向量化执行引擎


向量化执行引擎是专门为面向列的存储引擎(如 MARS2,AOCO)打造的高性能执行引擎。对于常见查询,相比面向行处理的传统执行引擎有一到两个数量级的性能提升。


  • 支持批处理:利用批处理的方式,可以有效减少函数调用等执行开销
  • 充分利用硬件及编译器能力:使用 CPU 缓存友好的算法,从而充分利用硬件以及编译器的优化能力,如生成 SIMD(Single Instruction, Multiple Data)指令
  • 支持多种算子:实现了 Scan、Sort、Aggregate 等算子,对于同一算子也有不同的算法实现,有效覆盖绝大部分查询场景,提升查询性能


基于以上三点核心原理,相比面向行处理的传统执行引擎,向量化执行引擎可实现 1 到 2 个数量级的性能提升。

3.  MARS 2 存储性能大幅优化

  • 优化压缩策略,降低内存使用量
  • 优化分区表写入,降低内存使用量
  • 优化查询过滤效果,减少不必要的 I/O 消耗
  • 优化数据量估计,执行计划的选择更精准
  • 增强聚合能力,支持 uniquemode 和 IN 表达式
  • 修复 uniquemode 合并结果顺序问题
  • 修复并行扫描快照对齐问题
  • 修复一处内存泄漏

4.  新增编码链压缩算法

  • 支持多种编码、压缩算法:支持 lz4,zstd,simple8b,doubledelta,gorilla,deltazigzag,floatint 等编码、压缩算法,可灵活组合以上算法,以充分提升压缩率
  • 支持按列自定义编码、压缩算法组合
  • 配合向量化执行引擎使用提升数据压缩 / 解压速度:在 SSB 场景下解压速度是 LZ4 的 3 倍


编码链压缩方案可大幅减小空间占用,降低成本。在新能源汽车场景,压缩率是使用 LZ4 压缩算法方案的 3.9 倍,在 TSBS(Time Series Benchmark Suite)场景,是 LZ4 的 2.7 倍。


5.  新增平滑扩容功能


  • 支持不停机完成扩容任务

  • 支持自定义数据节点集合(Segment Set),实现对部分表的重分布

  • 支持并行执行表数据重分布

  • 支持连接未重分布表与已重分布表


6.  新增数据迁移工具 mxshift


  • 支持全量迁移:以数据库为单位,实现从 Greenplum 5 / Greenplum 6/ YMatrix 集群并行迁移数据到新的 YMatrix 集群

  • 支持反向迁移:从 YMatrix 到 Greenplum 5 / Greenplum 6 反向迁移

  • 支持增量迁移:通过 WHERE 条件实现增量数据迁移


7.  图形化界面升级


  • 增加查询监控页面,支持自定义管理页面展示的慢查询信息,可一键终止慢查询

  • 增加写入测试功能,一键体验 YMatrix 强大数据写入性能

  • 增加查询测试功能,支持按照业务场景自定义查询测试方案,一键体验高并发场景下 YMatrix 强劲查询性能


以上是 YMatrix 5.0 新特性介绍,全新集群架构,全方位提升高可用性, 业务零中断平滑扩容方案及数据迁移工具 mxshift 等多项易用性功能特性, 感受 YMatrix 5.0 带来的全新使用体验!


更多细节,可以查看 YMatrix 5.0 文档或点击 阅读原文 参阅:
https://ymatrix.cn/doc/5.0/latest。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70026708/viewspace-2935283/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
YMatrix 超融合 AI 数据库,面向 Agent 的一体化数据库底座。

注册时间:2023-02-13

  • 博文量
    34
  • 访问量
    30710