-
编辑 删除
HBase Scan流程分析
HBaseScan流程分析HBase的读流程目前看来比较复杂，主要由于：HBase的表数据分为多个层次,HRegion->HStore->[HFile,HFile,...,MemStore]RegionServer的LSM-Like存储引擎，不断flush产生新的HFile，同时产生新的
-
编辑 删除
HBase Snapshot原理和实现
HBase从0.95开始引入了Snapshot，可以对table进行Snapshot，也可以Restore到Snapshot。Snapshot可以在线做，也可以离线做。Snapshot的实现不涉及到table实际数据的拷贝，仅仅拷贝一些元数据，比如组成table的regioninfo，表的descr
-
编辑 删除
HBase 负载均衡
HBase可以根据当前集群的负载以region为单位进行rebalance。在HMaster中，后台会起一个线程定期检查是否需要进行rebalance，线程叫做BalancerChore。线程每隔hbase.balancer.period会定期执行master.balance()函数，配置项默认30
-
编辑 删除
HBase的写事务，MVCC及新的写线程模型
MVCC是实现高性能数据库的关键技术，主要为了读不影响写。几乎所有数据库系统都用这技术，比如Spanner，看这里。Percolator，看这里。当然还有mysql。本文说HBase的MVCC和0.98引入的新写线程模型。HBaseregionserver的存储模型类LSM，将随机写转换为顺序写，写
-
编辑 删除
HBase RegionServer宕机处理恢复
本文分析RegionServer宕机后这个regionserver上的region是如何在其他regionserver上恢复的。regionserver宕机后发生了什么HMaster有一个RegionServerTracker对象，监控zk上/hbase/rs目录下的结点，达到监控regionser
-
编辑 删除
分布式事务实现-Percolator
Google为了解决网页索引的增量处理，以及维护数据表和索引表的一致性问题，基于BigTable实现了一个支持分布式事务的存储系统。这里重点讨论这个系统的分布式事务实现，不讨论percolator中为了支持增量计算而实现的Notifications机制。该系统基于BigTable，支持snapsho
-
编辑 删除
分布式事务实现-Spanner
Spanner要满足的externalconsistency是指：后开始的事务一定可以看到先提交的事务的修改。所有事务的读写都加锁可以解决这个问题，缺点是性能较差。特别是对于一些workload中只读事务占比较大的系统来说不可接受。为了让只读事务不加任何锁，需要引入多版本。在单机系统中，维护一个递增
-
编辑 删除
Redis Cluster原理
RedisCluster是Redis的集群实现，内置数据自动分片机制，集群内部将所有的key映射到16384个Slot中，集群中的每个RedisInstance负责其中的一部分的Slot的读写。集群客户端连接集群中任一RedisInstance即可发送命令，当RedisInstance收到自己不负责
-
编辑 删除
twemproxy源码分析
twemproxy是twitter开源的redis/memcached代理，数据分片提供取模，一致性哈希等手段，维护和后端server的长连接，自动踢除server,恢复server，提供专门的状态监控端口供外部工具获取状态监控信息。代码写的比较漂亮，学习了一些Nginx的东西，比如每个请求的处理分
-
编辑 删除
Paxos可容错的一致性协议
一致性问题要求多个process对一个值达成一致。基于消息传递的分布式系统中，在不考虑消息篡改等拜占庭错误的情况下，Paxos可以解决在进程退出，消息延迟，丢失，重复等异常发生的环境中对某个值达成一致的问题。考虑Paxos最基本的形式：两个角色：Proposer和Acceptor，Proposer提
-
编辑 删除
UpdateServer事务实现机制
UpdateServer(UPS)是OceanBase的写入单点，一个集群中只有一台UPS服务器，所有的写都写入到这台机器。OceanBase采用基于静动态数据分离的机制，静态数据存储在静态数据服务器ChunkServer(CS)磁盘上，动态数据存储在UPS的内存中，导致一次读请求需要将静态和动态数
-
编辑 删除
Coroutine及其实现
线程是内核对外提供的服务，应用程序可以通过系统调用让内核启动线程，由内核来负责线程调度和切换。线程在等待IO操作时线程变为unrunnable状态会触发上下文切换。现代操作系统一般都采用抢占式调度，上下文切换一般发生在时钟中断和系统调用返回前，调度器计算当前线程的时间片，如果需要切换就从运行队列中选
-
编辑 删除
Btree并发内存回收
在并发写Btree原理剖析一文中提到，节点内存回收有可能导致内存突增以及影响写性能。本文将阐述最近对内存回收的改进，多线程可并行回收内存。回收策略采用基于版本的机制，Btree全局维护一个版本号V，一个全局数组A，每个线程一个槽位，每个线程读写操作之前获取全局版本号V，记作V0，并且记录到全局数组A
-
编辑 删除
无锁HashMap的原理与实现
转载自：http://coolshell.cn/articles/9703.html在《疫苗：JavaHashMap的死循环》中，我们看到，java.util.HashMap并不能直接应用于多线程环境。对于多线程环境中应用HashMap，主要有以下几种选择：使用线程安全的java.util.Hash
-
编辑 删除
lock free数据结构内存回收技术-hazard pointer
lockfree数据结构一般来说拥有比基于lock实现的数据结构更高的性能，但是其实现比基于lock的实现更为复杂，需要处理的难题包括预防ABA问题，内存如何重用和回收等。通常，最简单最有效的处理ABA问题的方法是在目标内存区域加入一个tag，每次目标内存区域被更新或者被重用时增加tag。线程最后一
-
编辑 删除
并发写Btree原理剖析
OceanBase0.4的UpdateServer存储引擎使用了一棵可以多线程并发修改的BTree，读写不冲突，由颜然开发。线上运行稳定。UpdateServer存储引擎采用类leveldb的方式，最近的更新操作都写入内存中的一个活跃memtable，当活跃memtable占用内存达到某个阈值时，即
-
编辑 删除
The Go scheduler
转载自：http://morsmachine.dk/go-schedulerIntroductionOneofthebigfeaturesforGo1.1isthenewscheduler,contributedbyDmitryVyukov.Thenewschedulerhasgivenadrama
-
编辑 删除
goroutine背后的系统知识
转载自：http://www.sizeofvoid.net/goroutine-under-the-hood/Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总
-
编辑 删除
Raft一致性协议
分布式存储系统通常通过维护多个副本来进行fault-tolerance，提高系统的availability，带来的代价就是分布式存储系统的核心问题之一：维护多个副本的一致性。一致性协议就是用来干这事的，即使在部分副本宕机的情况下。Raft是一种较容易理解的一致性协议。一致性协议通常基于replica
-
编辑 删除
The Secret To 10 Million Concurrent Connections -The Kernel Is The Problem, Not The Solution
转载自：http://highscalability.com/blog/2013/5/13/the-secret-to-10-million-concurrent-connections-the-kernel-i.htmlNowthatwehavetheC10Kconcurrentconnectio
