-
编辑 删除
etcd raft library设计原理和使用
早在2013年11月份，在raft论文还只能在网上下载到草稿版时，我曾经写过一篇blog对其进行简要分析。4年过去了，各种raft协议的讲解铺天盖地，raft也确实得到了广泛的应用。其中最知名的应用莫过于etcd。etcd将raft协议本身实现为一个library，位于https://github.
-
编辑 删除
etcd raft如何实现Linearizable Read
更新：经@我做分布式系统提醒，为了防止staleread，leader需要首先check自己是否在当前termcommit过entry，这也是raft小论文中5.4节Safety中明确提到的，需要注意的事，这一步既为了防止staleread，也为了防止脏读(没有commit的数据)。代码如下：ifr
-
编辑 删除
etcd raft如何实现leadership transfer
leadershiptransfer可以把raftgroup中的leader身份转给其中一个follower。这个功能可以用来做负载均衡，比如可以把leader放在性能更好的机器或者离客户端更近的机器上。对于一个大规模分布式系统来说，负载均衡非常重要。然而raft本身在选主方面必须要求新主包含所有的
-
编辑 删除
etcd raft如何实现成员变更
成员变更在一致性协议里稍复杂一些，由于不同的成员不可能在同一时刻从旧成员组切换至新成员组，所以可能出现两个不相交的majority，从而导致同一个term出现两个leader，进而导致同一个index的日志不一致，违反一致性协议。下图是个例子：raft作者提出了一种比较简单的方法，一次只增加或减少一
-
编辑 删除
字节跳动分布式KV/缓存系统研发工程师
分布式KV / 缓存系统研发工程师职位描述1、负责字节跳动的缓存服务、自研KV引擎等存储服务的基础研发工作，提供稳定可靠的存储服务2、深入理解业务场景的存储需求，负责中间件的改造优化； 职位要求经验3-5年学历本科及以上1、有kv缓存/存储相关项目经验；2…
-
编辑 删除
字节跳动分布式KV/缓存系统研发工程师
分布式KV / 缓存系统研发工程师职位描述1、负责字节跳动的缓存服务、自研KV引擎等存储服务的基础研发工作，提供稳定可靠的存储服务2、深入理解业务场景的存储需求，负责中间件的改造优化； 职位要求经验3-5年学历本科及以上1、有kv缓存/存储相关项目经验；2…
-
编辑 删除
今日头条招聘分布式存储系统工程师
职位描述 1、分布式KV系统的设计与研发职位要求 1、熟悉C/C++/Golang语言中的一种2、熟悉Linux I/O协议栈优先3、熟悉RocksDB/HBase/MongoDB/TiKV/Redis/Ceph/Beansdb任一系统源码优先4、深入理解Paxos算法, Raft算法者优先6、有过分布式文件系统/分布式块存…
-
编辑 删除
今日头条(北京)招聘基础架构工程师(社招)
职位描述1、为头条业务发展提供研发框架、监控、通用服务等基础设施 2、设计合理的业务和技术架构方案，并推进技术规范的落地 3、研发基础服务组件，解决共性需求，减少重复开发与运维 4、新技术研究和应用，并推动适合的技术应用于生产职位要求 经验3-5年…
-
编辑 删除
etcd raft如何实现成员变更
成员变更在一致性协议里稍复杂一些，由于不同的成员不可能在同一时刻从旧成员组切换至新成员组，所以可能出现两个不相交的majority，从而导致同一个term出现两个leader，进而导致同一个index的日志不一致，违反一致性协议。下图是个例子：raft作者提出了一种比较简单的方法，一次只增加或减少一
-
编辑 删除
etcd raft如何实现成员变更
成员变更在一致性协议里稍复杂一些，由于不同的成员不可能在同一时刻从旧成员组切换至新成员组，所以可能出现两个不相交的majority，从而导致同一个term出现两个leader，进而导致同一个index的日志不一致，违反一致性协议。下图是个例子： raft作者提出了一…
-
编辑 删除
etcd raft如何实现leadership transfer
leadershiptransfer可以把raftgroup中的leader身份转给其中一个follower。这个功能可以用来做负载均衡，比如可以把leader放在性能更好的机器或者离客户端更近的机器上。对于一个大规模分布式系统来说，负载均衡非常重要。然而raft本身在选主方面必须要求新主包含所有的
-
编辑 删除
etcd raft如何实现leadership transfer
leadership transfer可以把raft group中的leader身份转给其中一个follower。这个功能可以用来做负载均衡，比如可以把leader放在性能更好的机器或者离客户端更近的机器上。对于一个大规模分布式系统来说，负载均衡非常重要。然而raft本身在选主方面必须要求…
-
编辑 删除
etcd raft如何实现Linearizable Read
LinearizableRead通俗来讲，就是读请求需要读到最新的已经commit的数据，不会读到老数据。对于使用raft协议来保证多副本强一致的系统中，读写请求都可以通过走一次raft协议来满足。然后，现实系统中，读请求通常会占很大比重，如果每次读请求都要走一次raft落盘，性能可想而知。所以优化
-
编辑 删除
etcd raft如何实现Linearizable Read
更新：经 @我做分布式系统 提醒，为了防止stale read，leader需要首先check自己是否在当前term commit过entry，这也是raft小论文中 5.4节 Safety中明确提到的，需要注意的事，这一步既为了防止stale read，也为了防止脏读(没有commit的数据)。代码如下：if …
-
编辑 删除
etcd raft library设计原理和使用
早在2013年11月份，在raft论文还只能在网上下载到草稿版时，我曾经写过一篇blog对其进行简要分析。4年过去了，各种raft协议的讲解铺天盖地，raft也确实得到了广泛的应用。其中最知名的应用莫过于etcd。etcd将raft协议本身实现为一个library，位于https://github.
-
编辑 删除
etcd raft library设计原理和使用
早在2013年11月份，在raft论文还只能在网上下载到草稿版时，我曾经写过一篇blog对其进行简要分析。4年过去了，各种raft协议的讲解铺天盖地，raft也确实得到了广泛的应用。其中最知名的应用莫过于etcd。etcd将raft协议本身实现为一个library，位于…
-
编辑 删除
详解CockroachDB事务处理系统
本文提到的一些术语，比如Serializability和Linearizability，解释看Linearizability,SerializabilityandStrictSerializability。本文中观点大部分都是参考了CockroachDB多篇官方blog,设计文档，代码以及相关资料，
-
编辑 删除
详解CockroachDB事务处理系统
本文提到的一些术语，比如Serializability和Linearizability，解释看Linearizability, Serializability and Strict Serializability。本文中观点大部分都是参考了CockroachDB多篇官方blog,设计文档，代码以及相关资料，相对来说比较琐碎，而且有些地方没有…
-
编辑 删除
Linearizability, Serializability and Strict Serializability
这几个概念比较容易混淆，原因是Serializability是数据库领域的概念，而Linearizability是分布式系统，并发编程领域的东西，在这个分布式SQL时代，自然Linearizability和Serializability会经常一起出现。Serializability: 数据库领域的ACID中的I。 ANSI SQL…
-
编辑 删除
使用multi-paxos实现日志同步应用
paxos说multi-paxos之前先简要说一下paxospaxos是在多个成员之间对某个值(提议)达成一致的一致性协议。这个值可以是任何东西。比如多个成员之间进行选主，那么这个值就是主的身份。在把multi-paxos协议应用在日志同步中时，这个值就是一条日志。网上讲paxos的文章已经很多了，
