ITPub博客

首页 > 数据库 > 数据库开发技术 > 存储和备份:数据缩减率为什么相差这么大?

存储和备份:数据缩减率为什么相差这么大?

原创 数据库开发技术 作者:了不起的云计算 时间:2024-04-12 07:15:51 0 删除 编辑

在上一篇文章《一文读懂:到底什么是重删和压缩?》中,我们了解到重删和压缩这两个技术是目前最有效节约存储空间的技术。

但很多企业级的小伙伴和我有一样的疑问:为什么备份存储动辄达到50:1、65:1的数据缩减比例,而主存储往往只有“可怜”的3:1,4:1?
难道是备份存储所使用的数据重删、压缩算法更先进,更高效?如果是算法导致,为什么不用在主存储上?这对于寸金寸“容量”的存储设备来说,所带来的经济效益实在太诱人了。
那么,同样是“存数据”为啥差别这么大?
要回答这个问题,我们得先简单回顾下上一篇文章介绍的内容,什么是重复数据删除技术和数据压缩技术(想详细了解的请移步到上一篇文章)?
重复数据删除技术是指仅在存储介质上保留数据的一个唯一实例,冗余数据被替换为指向唯一数据副本的一个指针。当两个或多个文件具有相同的内容时,重复数据删除会将文件分成多个段,仅存储每个唯一文件段的一个副本。
而数据压缩技术是指在不丢失有用信息的前提下,缩减数据量以减少存储空间,从而提高其传输、存储和处理效率,或按照一定的算法对数据进行重新组织,减少数据的冗余和存储的空间的一种技术方法。

了解了重删和压缩的区别,我们来看下影响数据缩减率的因素有哪些?
第一,这是因为虽然主存储和备份存储都以存储数据为目的,但两者对于数据缩减技术有着完全不同的考量。
首先,数据缩减是备份设备的核心功能,提供更高的数据缩减率,是这类产品的主要诉求。
而对主存储来说,数据缩减只是附加功能之一,而为了避免数据缩减产生大量的计算资源占用,影响到业务应用的读写,因此在数据缩减的使用上,往往有许多顾虑与限制。
另一方面,备份设备也因为自身的高比率数据缩减功能,使其也被局限在备份、归档这类静态的存储应用,而不适合需要频繁读取与写入的一般业务应用。原因有以下两点:
第一,高比例的数据缩减会占用大量的计算资源,从而影响其他业务应用,因此很难在运行数据缩减的同时,还能正常提供一般的读写服务。
其次,经过重复数据删除或数据压缩技术处理过的数据,必须先还原成原始数据,才能供前端主机读取与使用,而主存储中的数据,往往是那些需要频繁读取的活跃数据。
因此,以占用系统资源的方式频繁地缩减与还原数据,是无意义的,也是资源的浪费。
此外,影响数据缩减率的另一个因素是,它取决于你有多少相同或相似类型的数据:
●数据保存长短设置:数据保存的时间越长,重复数据删除引擎发现重复数据的可能性也越大。
●数据类型:一些数据天生比较容易出现重复。如果网络里存在大量的Windows服务器,或者VMware虚拟机,就有希望得到更高的数据缩减率。
●变化速率:数据变化的速率越低,发现重复的机会也就越高。
●数据备份策略:全备份(相对于增量备份和差异备份)的频率越高,数据缩减的潜力也就越大,因为每天的数据有大量的重复。
可以看到,由于归档和备份系统的数据,大部分都是冗余数据,因此天生就可以实现更高的数据缩减率。
最后,就是厂商的存储技术问题
比如戴尔PowerProtect DD备份存储拥有高达65:1的数据缩减率,放眼业界同类产品都是顶尖的存在,这就源于其独有的数据缩减专利技术。
而戴尔PowerStore虽然“只有”4:1的数据缩减率,但其数据缩减功能是“始终可用”。意味着PowerStore在数据缩减时不会额外占用控制器的CPU资源,几乎对性能不会产生影响。  
这也让企业用户不再陷入性能下降与节省成本的两难,而让数据缩减在主存储真正发挥了用武之地。
最后,总结一下。为什么备份存储与主存储的数据缩减率差别巨大?
答案是两种产品的设计思路不同,存储数据的类型不同,因而不能直接进行数据缩减率的比较。
END
➤  往期精彩回顾


◆一文读懂GPU通信互联技术
◆一文读懂:什么是数据库?
◆一文读懂:什么是磁带存储?
◆至强更“芯”,有啥不同?
◆详解IOPS、延迟等存储性能指标
◆为什么GPU比CPU更快?
◆一文读懂:什么是RISC-V?


看完就点赞,养成好习惯!

原文作者:了不起的云计算;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2020-10-20

  • 博文量
    83
  • 访问量
    38540