ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 浅析实时ETL的架构选择

浅析实时ETL的架构选择

原创 Linux操作系统 作者:ceo_lxy 时间:2011-03-21 16:16:07 0 删除 编辑

http://www.chinabi.net/blog/user1/lastwood/cmd.html?do=blogs&id=142&uid=631

 

 

简述在架构实时ETL时的可以选择的架构部件。

答:在建立数据仓库时,ETL通常都采用批处理的方式,一般来说是每天的夜间进行跑批。

随着数据仓库技术的逐步成熟,企业对数据仓库的时间延迟有了更高的要求,也就出现了目前常说的实时ETLReal-Time ETL)。实时ETL是数据仓库领域里比较新的一部分内容。

在构建实时ETL架构的数据仓库时,有几种技术可供选择。

1.微批处理(microbatch ETLMB-ETL

微批处理的方式和我们通常的ETL处理方式很相似,但是处理的时间间隔要短,例如间隔一个小时处理一次。

2.企业应用集成(Enterprise Application IntegrationEAI

EAI也称为功能整合,通常由中间件来完成数据的交互。而通常的ETL称为数据整合。

对实时性要求非常高的系统,可以考虑使用EAI作为ETL的一个工具,可以提供快捷的数据交互。不过在数据量大时采用EAI工具效率比较差,而且实现起来相对复杂。

3CTFCapture, Transform. and Flow

CTF是一类比较新的数据整合工具。它采用的是直接的数据库对数据库的连接方式,可以提供秒级的数据。CTF的缺点是只能进行轻量级的数据整合。通常的处理方式是建立数据准备区,采用CTF工具在源数据库和数据准备区的数据库之间相连接。数据进入数据准备区后再经过其他处理后迁移入数据仓库。

4EIIEnterprise Information Integration

EII是另一类比较新的数据整合软件,可以给企业提供实时报表。EII的处理方式和CTF很相似,但是它不将数据迁移入数据准备区或者数据仓库,而是在抽取转换后直接加载到报表中。

在实际建立实时ETL架构的数据仓库时,可以在MB-ETL, EAI, CTF, EII及通常的ETL中作出选择或者进行组合。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/12122734/viewspace-690077/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2008-06-02

  • 博文量
    519
  • 访问量
    495272