ITPub博客

首页 > 数据库 > 数据库开发技术 > MerkleTree在数据校验上的应用

MerkleTree在数据校验上的应用

原创 数据库开发技术 作者:oxoxooxx 时间:2011-07-05 23:42:21 0 删除 编辑

Anti-Entropy如何通过对比MerkleTree来发现节点数据的一致?
比较恢复的最细粒度是?

MerkleTree又称HashTree,因为它的节点保存的都是hash值,叶子节点保存的是文件块,分片,或者cassandra中row key的hash值等,非叶子节点保存的是子节点值的hash,即hash的hash。通过比较树根的hash可以快速的确认当前tree映射的数据有没有发生变化,并可以在log(N)时间内快速的定位是那部分发生了变化。

这样看来MerkleTree是很强大的,在cassandra中就是通过MerkleTree对比来进行多个节点上同一个range的多个副本数据的一致性检查,从而进行readrepair一致性修复操作。

也看到使用MerkleTree来进行大量小文件的同步,不知道SVN这样的版本控制工具是怎样进行文件版本比较,记录的,兴许底层也是基于MerkleTree来做的,同样最近非常火的云存储应用也是有此需求的,云存储中在本地和云端进行数据备份同步,如果能够快速标识文件的异同,不仅能够减少数据同步带来的网络开销,同时用户的感知也是非常好的,这方面dropbox做的就很好。

amazon的这篇论文对此有比较好的解释:

http://s3.amazonaws.com/AllThingsDistributed/sosp/amazon-dynamo-sosp2007.pdf

[@more@]

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/23937368/viewspace-1052015/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: response from oracle
请登录后发表评论 登录
全部评论
  • 博文量
    178
  • 访问量
    843645