ITPub博客

首页 > 大数据 > Hadoop > LSM merge的过程

LSM merge的过程

原创 Hadoop 作者:caohongfeng666 时间:2019-05-17 17:23:38 0 删除 编辑
  1. merge过程对数据文件的写入


         变更首先写入memory table;

         达到一定大小后flush 到存储设备中,此时叫低级别sstable;

         之后,合并到高级别的sstable。


     2. merge过程对索引的写入


          索引的实现:每个SSTable有一个索引文件,索引支持二分,所以可以用红黑树或跳表




     3.   更新、删除操作

SSTable是不能修改的,因而update和delete的做法也跟传统方法有不同。Update时,只需要在memtable中存一个新版,删除时则保存一个“墓碑标记”,老版本的数据暂时不用管。在后续的read操作中,读到新版本或者“墓碑标记”时,就立即返回,而老版本数据由于读取顺序,根本就不会被读到!


那这些残留的数据如何清理呢?当SSTable文件过多时(通常数百个),会运行一个后台任务对其进行合并,此时残留的老版本数据、已删除数据就被覆盖、删除等等。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/25380026/viewspace-2644792/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
曹老道

注册时间:2013-07-31

  • 博文量
    14
  • 访问量
    9761