ITPub博客

首页 > 数据库 > 国内数据库 > 华为云PB级数据库GaussDB(for Redis)揭秘第一期:Redis与存算分离

华为云PB级数据库GaussDB(for Redis)揭秘第一期:Redis与存算分离

国内数据库 作者:GaussDB数据库 时间:2021-05-11 09:42:08 0 删除 编辑

作者:华为云高斯Redis团队

GaussDB(for Redis)(下文简称高斯Redis)是华为云数据库团队自主研发的兼容Redis协议的云原生数据库,该数据库采用计算存储分离架构,突破开源Redis的内存限制,可轻松扩展至PB级存储。
本文将从存储架构、四大特性、竞争力、应用场景等方面进行介绍。
1.存储架构
高斯Redis基于计算存储分离架构,计算层实现热数据缓存,存储层实现全量数据的落盘,中间通过RDMA高速网络互连,通过算法预测用户的访问规律,实现数据的自动冷热交换,最终达到极致的性能提升。

20210122105153eSpace.png

2.四大特性

image.png

该架构基于华为内部强大且广泛使用的自研分布式存储系统DFV,实现了一套Share Everything的云原生架构,充分发挥了云原生的弹性伸缩、资源共享的优势,使得高斯Redis具备强一致、秒扩容、低成本、超可用的四大特点,完美避开了开源Redis的主从堆积、主从不一致、fork抖动、内存利用率只有50%、大key阻塞、gossip集群管理等问题。

  • 强一致
    数据复制是存储的事情,因此专业的事情交给专业的团队来做。通过分布式存储DFV,高斯Redis轻松实现了3副本强一致,并可轻松支持6副本,为业界首创。
    在强一致架构下,用户再也不用担心开源Redis的主从堆积,带来的丢数据、不一致、OOM等极端问题,更不用担心业务出错,比如计数器、限流器、访问统计、hash字段等不一致。
  • 秒扩容
    数据规模膨胀之后,扩容是个高危且困难的操作。高斯Redis基于云原生架构,将扩容分成计算层和存储层。计算层扩容,无需任何数据搬迁,只需修改路由映射,即可秒级完成。存储层是个共建的超级数据湖,其容量巨大,而且扩容是切成细腻度的64MB数据分区,对上层数据库业务几乎无感。
    因此高斯Redis可以轻松支撑业务的大规模膨胀,并且真正做到计算/存储分层的按需扩容和购买。
  • 低成本
    高斯Redis相对于开源Redis,在存储介质上使用了磁盘替代内存。一方面,由于采用存算分离架构,计算资源少了一半,即没有从节点;另一方面,存储资源按需购买,无任何浪费,并且采用了逻辑/物理压缩。最终,每GB综合成本不到开源Redis的十分之一。
  • 超可用
    开源Redis或友商Redis不管单分片还是集群,其数据复制都采用主从架构,导致N个节点的集群,如果同时挂掉一对主从(即2个节点),整个集群就不可用。而高斯Redis采用存算分离之后,每个计算节点都可以看到并共享所有数据,因此N个节点,最多可以容忍挂掉N-1个节点,真正做到比高可用还高的可用性。
    1.jpg
    3.竞争力分析

4.场景推荐
高斯Redis不仅性能逼近缓存,而且其存储能力(扩展性、高性能、易用性)超越数据库。因此除了缓存场景可以选择高斯Redis以外,上至PB级别大规模数据存储都可以选择高斯Redis。场景参考如下:

image.png

5.选择建议

image.png

6.命令兼容
兼容5.0协议,包括string/hash/list/zset/set/stream/geo/ HyperLogLog/bitmap/pubsub等等,但出于性能和安全性考虑,禁用个别危险命令,详细参考:https://support.huaweicloud.com/usermanual-nosql/nosql_09_0076.html

7.容量参考
以往用户选择开源Redis的时候,需要购买内存,比如用户数据是100G,由于开源Redis内存使用率减半,需要购买200G内存,并且为了高可用,还得购买200G的从节点,那么加起来就是400G的内存。但是购买高斯Redis时,用户只需要根据真实存放的数据大小,按需选择购买存储空间即可,内存只是为了性能加速(内存/磁盘比越大,性能越好)。

附:资料参考

  1. 《华为云GaussDB(for Redis)与自建开源Redis的成本对比》
    https://www.modb.pro/db/42739
  2. 《一场由fork引发的超时,让我们重新探讨了Redis的抖动问题》https://bbs.huaweicloud.com/blogs/227525
  3. 《当Redis遇见计算存储分离》
    https://developer.huaweicloud.com/hero/forum/thread-83188-1-1.html
  4. 《GaussDB(for Redis)与原生Redis的性能对比》
    https://bbs.huaweicloud.com/blogs/236949

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69993261/viewspace-2771672/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
华为云数据库的小云宝

注册时间:2021-02-24

  • 博文量
    6
  • 访问量
    1508