ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 淘宝分布式框架 Fourinone 2.0

淘宝分布式框架 Fourinone 2.0

原创 Linux操作系统 作者:jieforest 时间:2012-06-05 08:46:57 0 删除 编辑
[i=s] 本帖最后由 jieforest 于 2012-6-5 05:27 编辑

淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程API,实现对多台计算机CPU、内存、硬盘的统一利用,从而获取到强大计算能力去解决复杂问题:  

Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核CPU的计算能力;

1)提供完整的分布式缓存和小型缓存用于利用多机内存能力;

2)提供像操作本地文件一样操作远程文件(访问、并行读写、拆分、排他、复制、解析、事务等)用于利用多机硬盘存储能力;

3)由于多计算机物理上独立,Fourinone框架也提供完整的分布式协同和锁以及简化MQ功能,用于实现多机的协作和通讯。



Fourinone 2.0新增功能


1. 提供了对分布式文件的便利操作

将集群中所有机器的硬盘资源利用起来,通过统一的fttp文件路径访问,如:

Windows:fttp://v020138.sqa.cm4/d:/data/a.log
Linux:fttp://v020138.sqa.cm4/home/user/a.log

比如以这样的方式读取远程文件:

CODE:

FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log");  
fa.getFttpReader().readAll();  

2.  提供对集群文件的操作支持

包括:
1)元数据访问,添加删除,按块拆分, 高性能并行读写,排他读写(按文件部分内容锁定),随机读写,集群复制等。

2)对集群文件的解析支持(包括按行,按分割符,按最后标识读取)

3)对整形数据的高性能读写支持(ArrayInt比ArrayList存的更多更快)

4)两阶段提交和事务补偿处理

5)自带一个集群文件浏览器,可以查看集群所有硬盘上的文件(不同于hadoop的namenode,没有单点问题和容量限制)

总的来说,将集群看做一个操作系统,像操作本地文件一样操作远程文件。

但是fourinone并不提供一个分布式存储系统,比如文件数据的导入导出、拆分存储、负载均衡,备份容灾等存储功能,不过开发人员可以利用这些API去设计和实现这些功能,用来满足自己的特定需求。

更多介绍请看使用指南:

一、如何搭建配置FttpAdapter环境
二、如何访问集群文件根目录
三、如何访问和操作远程文件
四、如何进行集群内文件复制和并行复制
五、如何读写远程文件
六、如何解析远程文件
七、如何并行读写远程文件
八、如何批量并行读写远程文件和事务补偿处理



3.  自动化class和jar包部署

class和jar包只需放在工头机器上, 各工人机器会自动获取并执行,兼容操作系统,不需要进行安全密钥复杂配置。



4.  网络波动状况下的策略处理

设置抢救期,抢救期内网络稳定下来不判定结点死亡

下载地址:http://www.skycn.com/soft/68321.html




来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/301743/viewspace-731898/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2008-04-23

  • 博文量
    441
  • 访问量
    602332