ITPub博客

首页 > 数据库 > 数据库开发技术 > 论银行的调度系统和ETL

论银行的调度系统和ETL

原创 数据库开发技术 作者:mcxiaoracle 时间:2022-06-11 23:39:14 0 删除 编辑

批量调度功能:

2.批量调度现状分析

2.1.目前主要实现方式

目前,由于银行内部缺乏一款专业批量产品支撑,缺乏一定的批量调度规范与标准,使银行内部几十上百个系统相关批量调度实时混乱。这种现象不仅体现在银行不同系统之间,甚至体现在同一系统的不同建设周期之间。

2.1.1.应用系统内置,手工调度调度

目前,在银行内有很多系统的后台批量处理,无论从后台调度层面,还是前台应用层面,都与业务系统本身高度耦合,而且调度触发启动主要是靠人工发起。造成这种局面的原因一方面是银行缺乏统一的调度规范体系,另一方面,站在整个应用系统的角度,批量调度本身比重不大。

这种方案带来的直接后果体现在两个方面:一是因高度耦合,扩展不易;二是主要靠人工调度,相对较耗人力资源,而且因人工操作,可能会引入更多人为误操作的风险。

2.1.2.采用操作系统Crontab方式调度

这种方式主要是依靠操作系统的定时机制,实现作业运行的自动化。这种方式容易引起依赖关系错误对业务构成威胁。同时,无法实现作业容错机制,在运行过程,一旦发生作业错误,需大量的人工介入处理。

2.1.3.项目组自行开发调度软件

该方案主要根据项目具体的需求以及结合调度的规模,设计并实施不同程度的调度。对于小规模的系统,通常编写简单的shell即可实时调度,弱化调度的管理性、监控性等潜在需求;对于规模较大的系统,实施者通常站在整个项目的高度,综合分析项目的各种调度需求,通过一系列分析设计,构建一个相对规模的调度系统,并建立与之匹配的监控管理等应用系统。

此方案可由项目自由实施,可客户化一些具有项目特色调度管理系统,与项目现有情况结合比较密切。但是,这种方案容易受项目的局限,系统扩展也非常困难。

2.1.4.利用现有ETL工具的调度功能

随着银行信息化发展,特别是数据仓库的建立,并以此为基础建立的更多数据类、管理类系统,或多或少都在采用一些专业的ETL工具来实现批量处理,并结合工具本身的调度组件完成相应批量调度处理工作。

工具举例如下:






ETL 调度:

ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从源端经过**抽取(extract)、转换(transform)、加载(load)**至目的端的过程。ETL是将业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的过程,目的是将企业中散乱、零乱、标准不同意的数据整个在一起。


ETL是数据仓库的流水线,也可以认为是数据仓库的血液,它维系着数据仓库中数据的新陈代谢,而数据仓库日常的管理和维护工作大部分精力就是保持ETL的正常和稳定。




ETL,extract-transform-load

对应中文为抽取-清洗转换-加载。
目的为将分布的异构的数据源的数据进行处理,最后加载到数据仓库或数据集市中,成为后续分析的基础。
ETL工具有OWB,DTS,informatic等。

数据抽取

数据拙取部分是将数据从各个不同的数据源抽取到ODS(Operational Data Store,操作型数据存储)中,在抽取的过程中需要挑选不同的抽取方法,尽可能地提高数据预处理的远行效率。
如果已经并清楚了数据是从几个业务系统中来,各个业务系统的数据库服务器远行什么DBMS,是否存在手工数据,手工数据量有多大,是否存在非结构化的数据等相关的信息,就可以根据这些信息开始进行数据抽取部分的设计。

数据转换

数据转换部分实际就是利用有关技术,如数理统计、数据挖掘或预定义的数据转换规则将源数据转化成满足数据质量要求的数据。
数据预处理中,花费时间最长的就是数据的转换部分,一般情况下这部分的上作量要占整个数据预处理的2/3。
在大多数情况下,数据转换是将数据汇总,以位它更布意义。在转换结构中,确保能找出一种最好的方法保证数据从传统的数据存储器到数据仓库的同步。

数据加载

数据加载部分是将转换后的数据加载到数据仓库DW中。
数据加载策略包括加载周期和数据追加策略,数据加载周期要综合考虑经营分析需求和系统训载的代价,对不同业务系统的数据采用不同的加载周期,但必须保持间一时间业务数据的完整件和一致性。

ODS操作数据存储,operational data store

存储的是当前的数据情况,给使用者提供当前的状态,提供即时性的、操作性的、集成的全体信息的需求。

DW数据仓库,data warehousing

数据仓库是一个过程而不是一个项目,数据仓库是一个环境,而不是一件产品。
数据仓库提供用户用于决策支持的当前和历史数据,这些数据在传统的操作型数据库中很难或不能得到。
数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问,的各种技术和模块的总称。
所做的一切都是为了让用户更快更方便查询所需要的信息,提供决策支持。

DM数据集市,data mart

DM是DW的一部门,只是DM面向部门,DW面向整体。
数据集市是企业级数据仓库的一个子集,他主要面向部门级业务,并且只面向某个特定的主题。
为了解决灵活性和性能之间的矛盾,数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。
数据集市存储为特定用户预先计算好的数据,从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。






推荐阅读:

1.

2.https://www.jianshu.com/p/15550c64be45

3.:https://blog.csdn.net/qq_43528451/article/details/120416601

4. https://blog.csdn.net/universsky2015/article/details/119965866?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-119965866-blog-106837202.pc_relevant_paycolumn_v3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-119965866-blog-106837202.pc_relevant_paycolumn_v3&utm_relevant_index=1



来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69949806/viewspace-2900086/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 数据库
请登录后发表评论 登录
全部评论
数据方向,了解oracle ,IBM DB2 730

注册时间:2019-09-30

  • 博文量
    286
  • 访问量
    226599