全部博文
-
编辑 删除
XOR的黄色大象：Erasure Code为Hadoop节省数据恢复带宽
摘要：如何在尽可能少的成本下，保证数据安全，或在数据丢失后实现快速恢复？这的确是个不小的挑战。在Azure和Facebook中都使用了Erasure Code，这是一种替代Hadoop三副本和传统Reed Solomon Code的高效算法。 【CSDN报道】来自南加州大学和Facebook的7名作者共同完成了论文《 XORing Elephants: Novel Erasure Code for Big Data》。论文作者开发了Erasure Code家族的新成员——Locally Repairable Codes（即本地副本存储，以下简称LRC，它基于XOR。），明显减少修复数据时的I/O和网络流量。他们将这些编码应用在新的Hadoop组
