ITPub博客

哈喽大家好啊，我是Hydra。分布式系统共识算法Paxos相信大家都不陌生，它被称为难理解的算法不是没有道理的，首先，它的发表之路就充满了坎坷。1990年，莱斯利·兰伯特大佬写了一篇论文，举了一个城邦选举的例子来介绍Paxos算法，然而大佬的幽默感并未得到审稿人的认可，论文未发表成功…1998年，

FAST2020这周在美帝召开，主办单位也第一时间将FullProceedingsPDFs分享出来，当然不能闲着，抓紧时间大概浏览了下，挑几篇自己感兴趣且看得懂的在这里分享给大家（题外话，今年Alibaba填了些坑），4篇文章的内容概述：（1）AnEmpiricalGuidetotheBehavio

1.Introduce过去数十年，学术界对非易失性内存DIMM有大量的研究，但是在这期间，并没有真的DIMM设备，大家都是采用一些emulationtechniques，基于对DIMM的特性，仿真出来的；有的通过软件模拟，有的直接通过对DRAM做限速来仿真，等等。随着Intel3DXPoint技术的

FAST2020这周在美帝召开，主办单位也第一时间将Full Proceedings PDFs分享出来，当然不能闲着，抓紧时间大概浏览了下，挑几篇自己感兴趣且看得懂的在这里分享给大家（题外话，今年Alibaba填了些坑），4篇文章的内容概述：（1）An Empirical Guide to the Be…

1. Introduce过去数十年，学术界对非易失性内存DIMM有大量的研究，但是在这期间，并没有真的DIMM设备，大家都是采用一些emulation techniques，基于对DIMM的特性，仿真出来的；有的通过软件模拟，有的直接通过对DRAM做限速来仿真，等等。随着Intel 3D XPoin…

1.Introduce对于大规模分布式系统来说，故障异常是常态，如何确保系统在面对各种异常情况下，仍然可以满足对用户承诺的高可靠和高可用，是当前系统设计和开发者面临的挑战。随着ChaosEngineering[1]的普及，当前分布式系统的开发者开始通过faultinject的手段将故障异常常态化的引

1. Introduce 对于大规模分布式系统来说，故障异常是常态，如何确保系统在面对各种异常情况下，仍然可以满足对用户承诺的高可靠和高可用，是当前系统设计和开发者面临的挑战。随着Chaos Engineering[1]的普及，当前分布式系统的开发者开始通过fault inject…

1.背景今天刚开始接触paxos（basicpaxos）的时候，真的是觉得其超级晦涩，总感觉不解其意，其实主要还是对其核心解决的问题本身理解不够到位。也就是要很好的理解Paxos，首先需要理解Paxos解决的是什么问题。在描述之前，我们先统一一个词汇，那就是共识（consensus）和一致性（con

ClosingPerformanceGapBetweenVolatileandPersistentMemory

1.背景阅读USENIXATC2018《RedesigningLSMsforNonvolatileMemorywithNoveLSM》[1]笔记Non-volatilememories（NVM）特点（例如Intel的3DXPoint技术）随机read/writelatency很低throughput

1.背景以LevelDB和RocksDB为代表的LSM-treekey-value存储，被广泛的应用，所以当前针对其优化的研究非常多，在最近几年的顶会上都有，这里将介绍USENIXATC2018的一篇文章HashKV[2]，其是对FAST2016中WiscKey[1]的优化。那么首先来介绍下LSM-

1.背景在共识算法之Multi-Paxos（一）中翻译了multi-paxos详细算法流程和细节，本篇作为（二）篇将通过图文来分析multi-paxos其各个模块的细节，Leadelection，CommitIndexAdvance，LogReplication等。主要还是参考文献[1、2、3]。为

1.算法描述当前multi-paxos没有权威的文献参考，目前大多采用的参考文献[1]的描述，这里首先给出其翻译版，然后分析其各个模块的细节，Leadelection，CommitIndexAdvance，LogReplication等。（背景图片来自[2]）1.1.服务器状态所有acceptor上

1.背景以LevelDB和RocksDB为代表的LSM-treekey-value存储，被广泛的应用，所以当前针对其优化的研究非常多，在最近几年的顶会上也是常有的话题，这里将介绍USENIXFAST2016的一篇文章《WiscKey:SeparatingKeysfromValuesinSSD-Con

1.背景这是阅读微软在ICDE2013的论文《TheBw-Tree:AB-treeforNewHardwarePlatforms》的笔记。论文主要阐述了一个高性能的atomicrecordstores(ARSs)系统的实现，也就是提供原子key-value访问接口的系统。主要是提出了Bw-tree，

1.Background以LevelDB和RocksDB为代表的LSM-treekey-value存储引擎在生产环境中被广泛应用，所以当前针对其优化的研究也非常多，在最近几年的顶级会议上也是热门的话题，本篇就是阅读sosp2017《PebblesDB:buildingkey-valuestoresu

好久之前为解决一个LevelDB数据膨胀的问题（也就是垃圾数据得不到回收），梳理过一遍LevelDB的源码，探究其Compaction的机制，以便分析出LevelDB垃圾数据不能得以回收的原因，也参考过很多网上的资料，但是都不够系统，所以决定再抽点时间把LevelDBCompaction的机制单独梳

0.概述好久前读过@郁白老师写的Paxos三部曲[1]，当时也是似懂非懂的，其中描述了Paxos一个经典的问题就是幽灵复现。后来在实际接触了一些一致性协议的东西，又看到了文献[2]，@陈宗志重新梳理了这个问题，分析了raft解决“幽灵复现”其实就是解决分布式系统中常见的第三态问题。自己也打算“新瓶装

原题目：Write-OptimizedandHigh-PerformanceHashingIndexSchemeforPersistentMemory文章概况：这篇文章主要研究Persistentmemory上高性能的hashing索引技术这篇文章是来自华中科技大学，好像实现了零突破。上交IPADS

阅读OSDI2018《Fault-Tolerance,FastandSlow:ExploitingFailureAsynchronyinDistributedSystems》觉得有点意思，所以在这里分享给大家，可以加深自己对共识算法的理解。1.Introduce在分布式系统中，通常会将数据复制到2n