from:http://124.232.150.96/post/575/

当下流行的分布式文件系统大阅兵
   摘要: 　　本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。
—-
—-适合做通用文件系统的有 MooseFS，GlusterFS，Lustre。
—-
——————-
   Lustre（www.lustre.org）
—-
* 适合大型集群
+ 很高性能
+ 支持动态扩展
- 需要对内核打补丁，深度依赖 Linux 内核和 ext3 文件系统
—-
lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数量存储系统。
　　lustre是开放源代码的集群文件系统，采取GPL许可协议，目前在集群计算机里，计算机与磁盘间数据交换的提升无法跟上微处理器和内存增长的速度，从而也拖累了应用程序的性能，一种新兴的集群文件系统软件提高了I/O速度，可能降低企业购买存储设备的成本并改变企业购买存储的方式，集群文件系统已经在大学、实验室和超级计算机研究中心里使用，而且即将进入通用商业计算市场。新的集群文件系统采用了开源的lustre技术，由美国能源部(Department Of Energy）开发，惠普公司(HP）提供商业支持。它显著提高了输入输出（I/O)速度，目前已经在高校、国家实验室和超级计算研究中心产生了一定影响，未来几年中，它很有可能进入普通的商业计算机领域。
　　运行在linux下,开发语言c/c++
——————-
　　Hadoop（hadoop.apache.com）
—-
* 本地写缓存，够一定大小 (64 MB) 时传给服务器
- 不适合通用文件系统
—-
　　hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。
　　如下图是hadoop的体系结构：
授权协议apache,开发语言java，资源耗费有点大。
——————-
MogileFs（）
—-
—-用mysql做元数据的保存
—-不适合做通用文件系统，适合存储静态只读小文件，比如图片.对于 Web 2.0 应用存储图片啥的很好。
—-
　　Mogile Fs是一个开源的分布式文件系统，主要特征包括
　　1、应用层的组件
　　2、无单点故障
　　3、自动文件复制
　　4、具有比RAID更好的可靠性
　　5、无需RAID nigukefs支持 ，运行在linux下。
——————-
FreeNAS（）
　　FreeNAS是网络附加存储(NAS)服务专用操作系统(FreeBSD的简化版 )。基于m0n0wall防火墙，该系统通过提供磁盘管理及RAID软件，可让用户home将PC转换为NAS服务器，支持FTP/NFS/RSYNC/CIFS/AFP/UNISON/SSH sourceforge.net/pro协议，旨在让人们重新使用旧硬件.
——————-
　　FastDFS（code.google.com/p/fastdfs）
—-
- 只能通过 API 使用，不支持 fuse
—-
　　FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站，视频网站等等。FastDFS服务端有两个角色：跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度的工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：
　　存储、同步、和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对(key value pair)方式表示，如：width=1024,其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值树。
　　开发语言c/c++，运行在linux系统下。
——————-
　　NFS（www.tldp.org/HOWTO/NFS-HOWTO/index.html）
　　网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS。
　　NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件。它的好处是：
　　1、本地工作站使用更少的磁盘空间，因为通常的数据可以存放在一台机器上而且可以通过网络访问到。
　　2、用户不必在每个网络上机器里面都有一个home目录。home目录可以被放在NFS服务器上并且在网络上处处可用。
　　3、诸如软驱、CDROM、和ZIP之类的存储设备可以在网络上面被别的机器使用。可以减少整个网络上的可移动介质设备的数量。
　　开发语言c/c++,可跨平台运行。
——————-
　　OpenAFS（）
　　OpenAFS是一套开放源代码的分布式文件系统，允许系统之间通过局域网和广域网来分享档案和资源。OpenAFS是围绕一组叫做cell的文件服务器组织的，每个服务器的标识通常是隐藏在文件系统中，从AFS客户机登陆的用户将分辨不出他们在那个服务器上运行，因为从用户的角度上看，他们想在有识别的Unix文件系统语义的单个系统上运行。
　　文件系统内容通常都是跨cell复制，一便一个硬盘的失效不会损害OpenAFS客户机上的运行。OpenAFS需要高达1GB的大容量客户机缓存，以允许访问经常使用的文件。它是一个十分安全的基于kerbero的系统，它使用访问控制列表(ACL）以便可以进行细粒度的访问，这不是基于通常的Linux和Unix安全模型。开发协议IBM Public，运行在linux下。
——————-
　　MooseFs（derf.homelinux.org）
+ 支持文件元信息
+ mfsmount 很好用
+ 编译依赖少，文档全，默认配置很好
+ mfshdd.cfg 加 * 的条目会被转移到其它 chunk server，以便此 chunk server 安全退出
+ 不要求 chunk server 使用的文件系统格式以及容量一致
+ 开发很活跃
+ 可以以非 root 用户身份运行
+ 可以在线扩容
+ 支持回收站
+ 支持快照
- master server 存在单点故障
- master server 很耗内存
　　Moose File System是一个具备容错功能的网路分布式文件统，它将数据分布在网络中的不同服务器上，MooseFs通过FUSE使之看起来就是一个Unix的文件系统。但有一点问题，它还是不能解决单点故障的问题。开发语言perl,可跨平台操作。
——————-
　　pNFS（）
　　网络文件系统(Network FileSystem,NFS)是大多数局域网(LAN）的重要的组成部分。但NFS不适用于高性能计算中苛刻的输入书橱密集型程序，至少以前是这样。NFS标准的罪行修改纳入了Parallel NFS(pNFS），它是文件共享的并行实现，将传输速率提高了几个数量级。
开发语言c/c++,运行在linu下。
——————-
　　googleFs
　　据说是一个比较不错的一个可扩展分布式文件系统，用于大型的，分布式的，对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能，它可以给大量的用户提供性能较高的服务。google自己开发的。
——————-
GlusterFS
+ 无单点故障问题
+ 支持回收站
+ 模块化堆叠式架构
- 对文件系统格式有要求，ext3/ext4/zfs 被正式支持，xfs/jfs 可能可以，reiserfs 经测试可以http://gluster.com/community/documentation/index.php/Storage_Server_Installation_and_Configuration#Operating_System_Requirements
- 需要以 root 用户身份运行（用了 trusted xattr，mount 时加 user_xattr 选项是没用的，官方说法是
glusterfsd 需要创建不同属主的文件，所以必需 root 权限)
- 不能在线扩容(不 umount 时增加存储节点)，计划在 3.1 里实现
- 分布存储以文件为单位，条带化分布存储不成熟
——————-
GFS2
* 并不是 distributed file system, 而是 shared disk cluster file system，需要某种机制在机器
之间共享磁盘，以及加锁机制，因此需要 drbd/iscsi/clvm/ddraid/gnbd 做磁盘共享，以及 dlm 做锁管理)
- 依赖 Red Hat Cluster Suite (Debian: aptitude install redhat-cluster-suite， 图形配置工具包
system-config-cluster, system-config-lvm)
- 适合不超过约 30 个节点左右的小型集群，规模越大，dlm 的开销越大，默认配置 8 个节点
——————-
OCFS2
* GFS 的 Oracle 翻版，据说性能比 GFS2 好 (Debian: aptitude install ocfs2-tools, 图形配置工具包 ocfs2console)
- 不支持 ACL、flock，只是为了 Oracle database 设计