今日头条(北京)招聘基础架构工程师(社招)
职位描述1、为头条业务发展提供研发框架、监控、通用服务等基础设施 2、设计合理的业务和技术架构方案,并推进技术规范的落地 3、研发基础服务组件,解决共性需求,减少重复开发与运维 4、新技术研究和应用,并推动适合的技术应用于生产职位要求 经验3-5年…
etcd raft如何实现成员变更
成员变更在一致性协议里稍复杂一些,由于不同的成员不可能在同一时刻从旧成员组切换至新成员组,所以可能出现两个不相交的majority,从而导致同一个term出现两个leader,进而导致同一个index的日志不一致,违反一致性协议。下图是个例子:raft作者提出了一种比较简单的方法,一次只增加或减少一
etcd raft如何实现成员变更
成员变更在一致性协议里稍复杂一些,由于不同的成员不可能在同一时刻从旧成员组切换至新成员组,所以可能出现两个不相交的majority,从而导致同一个term出现两个leader,进而导致同一个index的日志不一致,违反一致性协议。下图是个例子: raft作者提出了一…
etcd raft如何实现leadership transfer
leadershiptransfer可以把raftgroup中的leader身份转给其中一个follower。这个功能可以用来做负载均衡,比如可以把leader放在性能更好的机器或者离客户端更近的机器上。对于一个大规模分布式系统来说,负载均衡非常重要。然而raft本身在选主方面必须要求新主包含所有的
etcd raft如何实现leadership transfer
leadership transfer可以把raft group中的leader身份转给其中一个follower。这个功能可以用来做负载均衡,比如可以把leader放在性能更好的机器或者离客户端更近的机器上。对于一个大规模分布式系统来说,负载均衡非常重要。然而raft本身在选主方面必须要求…
etcd raft如何实现Linearizable Read
LinearizableRead通俗来讲,就是读请求需要读到最新的已经commit的数据,不会读到老数据。对于使用raft协议来保证多副本强一致的系统中,读写请求都可以通过走一次raft协议来满足。然后,现实系统中,读请求通常会占很大比重,如果每次读请求都要走一次raft落盘,性能可想而知。所以优化
etcd raft如何实现Linearizable Read
更新:经 @我做分布式系统 提醒,为了防止stale read,leader需要首先check自己是否在当前term commit过entry,这也是raft小论文中 5.4节 Safety中明确提到的,需要注意的事,这一步既为了防止stale read,也为了防止脏读(没有commit的数据)。代码如下:if …
etcd raft library设计原理和使用
早在2013年11月份,在raft论文还只能在网上下载到草稿版时,我曾经写过一篇blog对其进行简要分析。4年过去了,各种raft协议的讲解铺天盖地,raft也确实得到了广泛的应用。其中最知名的应用莫过于etcd。etcd将raft协议本身实现为一个library,位于https://github.
etcd raft library设计原理和使用
早在2013年11月份,在raft论文还只能在网上下载到草稿版时,我曾经写过一篇blog对其进行简要分析。4年过去了,各种raft协议的讲解铺天盖地,raft也确实得到了广泛的应用。其中最知名的应用莫过于etcd。etcd将raft协议本身实现为一个library,位于…
详解CockroachDB事务处理系统
本文提到的一些术语,比如Serializability和Linearizability,解释看Linearizability,SerializabilityandStrictSerializability。本文中观点大部分都是参考了CockroachDB多篇官方blog,设计文档,代码以及相关资料,
详解CockroachDB事务处理系统
本文提到的一些术语,比如Serializability和Linearizability,解释看Linearizability, Serializability and Strict Serializability。本文中观点大部分都是参考了CockroachDB多篇官方blog,设计文档,代码以及相关资料,相对来说比较琐碎,而且有些地方没有…
Linearizability, Serializability and Strict Serializability
这几个概念比较容易混淆,原因是Serializability是数据库领域的概念,而Linearizability是分布式系统,并发编程领域的东西,在这个分布式SQL时代,自然Linearizability和Serializability会经常一起出现。Serializability: 数据库领域的ACID中的I。 ANSI SQL…