ITPub博客

首页 > > > 走进架构新思维--分布式文件系统应如何设计

走进架构新思维--分布式文件系统应如何设计

作者:u_453e1a12781dea 时间:2015-07-29 17:45:53 0 删除 编辑
话题背景

从2003年Google公布自家分布式文件系统相关技术(论文The Google File System)后,便涌现出众多的开源实现,包括HDFS、Quantcast File System(QFS)、MooseFS等,都采用了类似GFS分块的架构,但确有各自的不同特性,如HDFS发展最快,但只支持append-only 写,不支持随机写,而QFS以支持erasure coding为主要特性,从而性价比最高,MooseFS其支持随机写特性最好,则在今年进入了快速发展时期,一年内十几个版本发布,企业版的多 Master方案更使得其可用性大大提高。

2006年Sage A. Weil设计的CEPH提出了无中心化的架构,其通过CRUSH算法而不是Master来找到数据,其可用性更高。此外,Glusterfs采用弹性哈希解除了对元数据服务器的需求,消除了单点故障和性能瓶颈。

2014年提出的RAMCloud更是激进的提出了全内存的存储架构。

此外,FaceBook提出了Haystack架构来应对大量的小文件存储,提出f4来解决温数据的问题。Microsoft提出了Pelican来解决大量冷数据存储问题。

对此,技术在不断的更新,架构的应用也在不断的变化,本期话题以IT架构新思维为主题,诚邀各位小伙伴们一起来探讨,针对于架构新思维,您有什么好的想法?届时10月22日-24日在北京新云南皇冠假日酒店盛大召开的SACC2015大会的分会场16,将与大家更深入的探讨关于IT架构新思维方面的内容,敬请期待您的参与。


讨论话题:

1、异构存储(磁盘、SSD、内存)以及冷温热数据存储架构您觉得如何设计?比如数据热度由热到温最后到冷,对应的存储如何自适应的将数据转换和保存?

2、有的应用读写并发并不大,而对元数据的操作确异常频繁,如何设计一个以读为主的元数据服务架构或者设计一个以写为主的元数据服务架构?

3、当前无论是CEPH还是GFS,都存在IO路径过长的问题,有什么方法能缓解这种情况?

4、使用分布式文件系统后,如何快速的检索数据?

5、云存储的数据分享、隔离和安全性怎么做?

6、你对IT架构的发展前景怎么看?有什么新的想法吗?


讨论时间:2015-7-14至2015-8-8


活动奖励:
活动结束后,我们将选取3名讨论精彩的童鞋,可获赠SACC2015大会纪念品一件。


奖品简介:
小米自拍神器1名


2015 SACC晴雨伞1名



中国系统架构师大会文化衫1件








一年一度的中国系统架构师大会震撼来袭了!SACC2015将于10月22日-24日在北京新云南皇冠假日酒店盛大召开,届时大会将云集来自五湖四海的2500名IT同胞们。

从2009年到现在,我们伴随着中国系统架构师大会走过了七个春秋,从最早的500人规模逐年升级到现在的2500人规模,这些年我们目睹了整个IT架构的变迁史,也见证了中国IT圈内一波又一波的架构师成长之路。

当天真遇到现实,会发生哪些趣闻轶事?当架构师遇到互联网+,又会擦出怎样的火花?2015中国系统架构师大会以“互联网+重塑IT架构”为主题,站在互联网+的风口上,诚邀百余名演讲嘉宾,打造一场架构师腾飞的技术盛会。

欢迎有兴趣的小伙伴们踊跃报名:http://sacc.it168.com/

关注大会官方微信,微信转发本条微信图文信息,晒截图即可赢得大会徽章一套:



⬇️ 点击 “阅读原文” 即可进入CU社区参与话题讨论哦


原文作者:;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2019-07-17

  • 博文量
    1982
  • 访问量
    18033