ITPub博客

首页 > 数据库 > Oracle > ETL 开发流程和交付物

ETL 开发流程和交付物

原创 Oracle 作者:RockJack 时间:2007-12-03 10:39:25 0 删除 编辑
  • ETL 开发流程和交付物

    • 1.0确定需求这个过程要理解从用收集来的业务需求,如果数据源确定,对这个过程有很大的裨益。.
      • 交付物
        • 对数据抽取,转换,加载的逻辑描述。
      • 标准
        • ETL业务需求进行文档化,可以使用ETL业务需求模板,也可以使用自定的规范化模板模板。
      • 模板
        • ETL业务需求规格说明模板

    • 2.0 物理化设计这个过程要确定输入和输出并且文档华数据的规格。同时,要确定源和目标的位置,记录文件/表的存储信息,数据量的信息,描述数据如何转化。
      • 交付物
        • 输入和输出字段的设计
        • 源和目标的位置
        • 文件/表的存储信息
        • 文件/表的数据量信息
        • 描述数据如何转化的文档
      • 标准
        • 完成上一步中ETL业务需求规格说明书.
        • 创建ETL Mapping 规格说明书
      • 模板
        • ETL业务需求规格说明模板
        • ETL Mapping 规格说明模板
    • 3.0 制定测试计划 理解数据整合后的预期结果,并考虑错误的检测,决定使用多少测试用例,清楚风险,安全问题及测试的业务需求。
      • 交付物
        • ETL 测试计划
        • ETL 性能测试计划
      • 标准
        • 使用以下两个模板制定ETL的测试计划和性能测试计划或使用自定义模板。
      • 模板
        • ETL 测试计划模板
        • ETL 性能测试计划模板
    • 4.0 创建ETL处理工作流创建实际的Informatica ETL 处理过程。开发人员要在这个过程中要进行一些测试的工作。
      • 交付物
        • Mapping 规格说明
        • Mapping
        • Workflow
        • Session
      • Standards
        • 创建ETL对象移植表格
        • 创建数据库对象移植表格(if applicable)
        • 完成ETL Mapping规格说明书
        • 完成对日志和坏文件的清理过程– Refer to Standard_ETL_File_Cleanup.doc
        • 遵循 Informatica 命名规范
      • Templates
        • ETL对象移植表格
        • ETL Mapping 规格说明模板
        • 数据库对象移植表格 (if applicable)
    • 5.0 测试过程这个过程中,开发人员要做单元,压力和性能测试。
      • 交付物
        • ETL测试计划
        • ETL 性能测试计划
      • 标准
        • 完成ETL测试计划
        • 完成ETL性能测试计划
      • 模板
        • ETL测试计划模板
        • ETL 性能测试计划模板
    • 6.0 对ETL流程进行全面的走查要注意以下几点:鉴别公用模块,ETL代码的性能检查,业务逻辑的准确性和标准化验证。
      • 交付物
        • ETL流程进行全面的检查
      • 标准
        • 引导ETL流程的走查Conduct ETL Process Walkthrough
      • 模板
        • ETL Mapping 走查检验项模板
    • 7.0 移交QA – ETL管理员把ETL流程提交给QA。
      • 交付物
        • ETL流程提交QA
      • 标准
        • 完成ETL对象移植表格
        • 完成Unix 工作流安装请求表格
        • 数据库对象移植表格(if applicable)
      • 模板
        • ETL对象移植表格模板
        • Unix 工作流安装请求表格模板
        • 数据库对象移植表格模板(if applicable)
    • 8.0 测试过程这个过程中开发人员再一次对提交给QAETL流程进行测试。
      • 交付物
        • 测试ETL流程
      • 标准Standards
        • 开发人员验证ETL测试计划和性能测试计划的有效性。
      • 模板Templates
        • ETL测试计划模板
        • ETL 性能测试计划模板
    • 9.0 用户验证数据的有效性用户测试数据的有效性以确定数据是否满足了业务需求。
      • 交付物
        • 验证ETL流程的有效性
      • 标准
        • 通过数据验证业务流程的有效性
      • 模板
        • ETL业务需求规格说明模板
    • 10.0提交生产系统-ETL管理员将ETL的流程移植到生产系统。
      • 交付物
        • 正确有效的ETL处理过程移植到生产系统
      • 标准
        • 完成ETL对象移植表格
        • 完成Unix 工作流安装请求表格
        • 数据库对象移植表格(if applicable)
      • 模板
        • ETL对象移植表格模板
        • Unix 工作流安装请求表格模板
        • 数据库对象移植表格模板(if applicable)
    • 11.0 ETL处理维护–有两种情况要对ETL处理的维护:ETL处理的流程中断和ETL处理的流程需要升级。
      • 交付物
        • 准确和有效的ETL处理流程
      • 标准
        • 更新ETL业务需求规格说明(if needed)
        • 更新ETL Mapping规格说明(if needed)
        • 在适当的文件夹对mapping修改
        • 更新ETL对象移植表格
        • 开发人员要对生产系统的最终的结果验证
        • 所有检测的问题,所有人员都要负责
      • 模板
        • ETL业务需求规格说明模板
        • ETL Mapping 规格说明模板
        • ETL对象移植表格模板
        • Unix 工作流安装请求表格模板
        • 数据库对象移植表格模板(if applicable)

    ~

[@more@]

ETL业务需求模板

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/7724693/viewspace-987592/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 业务规格说明书
请登录后发表评论 登录
全部评论

注册时间:2010-08-14

  • 博文量
    30
  • 访问量
    62013