ITPub博客

首页 > 数据库 > Oracle > 大数据组件-Hive部署基于MySQL作为元数据存储

大数据组件-Hive部署基于MySQL作为元数据存储

原创 Oracle 作者:vjvj1101 时间:2022-04-16 15:44:51 0 删除 编辑

在讲解内部实现前,我们再回顾下dn持久化文件几个重要的点:


dn可以配置多个目录进行数据块的存储


每个这样的目录中,都会有一个或多个BP目录(BlockPool,后面均简称为BP)


每个BP下存放各自正在写的,已经写完的block文件,以及block的meta文件


block数据块在nn(namenode)中称为block,在dn中称为replica,叫法不同而已。


在dn的实现中,磁盘目录用卷(volume)的概念进行描述,与之对应的是FsVolumeSpi接口和FsVolumeImpl实现类。也就是说配置文件中每个指定的目录,都有一个对应的FsVolumeImpl实例对象。


FsVolume中包含一个BlockPoolSlice的字典,记录该目录下的所有BP信息,即一个BlockPoolSlice对应于一个BP。在BlockPoolSlice中,又以不同的字段分别记录了current、tmp、rbw、finalized等目录的位置。


所有的FsVolumeImpl组成一个列表,封装在FsVolumeList中。FsVolumeList内部还会根据磁盘目录的是否可用分别存放在不同的列表中。




到这里,所有的磁盘目录信息都已经串联起来了,那么关键的block信息存放在哪了呢?


所有replica的信息均由ReplicaMap进行维护,这里封装了一个map,以BlockPoolID为Key,保存该BlockPool下的所有replica数据,map表中的value也是一个map表,以BlockID为key,记录replica的详细信息。


另外,ReplicaInfo本身是一个抽象父类,不同的子类分别对应正在写的、已经写完的replica信息,这样就完整的记录了所有的block信息。




FsVolumeList与ReplicaMap封装在FsDataset中,这样就构成了DataNode中所有文件系统数据集的抽象。



来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70016760/viewspace-2887463/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2022-04-16

  • 博文量
    14
  • 访问量
    3878