-
编辑 删除
提高ETL数据加载效率
提高数据加载效率1. 先让约束条件无效，数据加载完后，让其有效Ø Disable 外键约束 SELECT 'ALTER TABLE ' || OWNER || '.' || TABLE_NAME || ' DISABLE CONSTRAINT ' || CONSTRAINT_NAME || ' ;'FROM USER_CONSTRAINTSWHERE (TABLE_NAME LIKE '%DIM' OR TABLE_NAME LIKE '%FACT')AND CONSTRAINT_TYPE = 'R'输出的结果是：ALTER TABLE MDDB_DEV.AGREEMENT_DIM DISABLE CONSTRAINT SYS_C0011077 ; ALTER TABLE MDDB_DEV.AGREEMENT_DIM DISABLE CONSTR
-
编辑 删除
PowerCenter 7.1.3 ETL UNIX Shell 脚本书写规范
PowerCenter 7.1.3 ETL UNIX Shell 脚本书写规范 脚本规范 (适用于 PowerCenter version 7.1.3):标准脚本中，由两部分组成：Ø UNIX Shell 脚本调度工具通过运行此脚本以实现对PowerCenter工作流的调度。Ø 独立文件这个文件里包含了调度脚本中所需要的参数，用户名，用户密码下面是脚本的模板，脚本名称是etl_unix_shell_script.sh。 # Program: etl_unix_shell_script.sh # Author: Kevin Gillenwater
-
编辑 删除
ETL Mapping 走查检验项
对ETL 进行全面的预览所应该检查的选项。ETL Mapping Walkthrough template.doc[@more@]
-
编辑 删除
Unix 工作流安装请求表格
Unix 下调用工作流的shell脚本的说明。Unix_job_setup_template_explained.doc[@more@]
-
编辑 删除
自我介绍
王亮亮，数据仓库工程师msn：halfwood88@sohu.com欢迎各位交流，祝大家每天好心情啊[@more@]
-
编辑 删除
ETL 测试计划
描述了如何写ETL测试用例 ETL_Test_Plan_Template_completed.doc[@more@]
-
编辑 删除
ETL Mapping规格说明书
描述了输入和输出，数据的规格，源和目标的位置，记录文件/表的存储信息，数据量的信息，描述数据如何转化。 Mapping_Specifications_Completed.doc[@more@]
-
编辑 删除
业务规格说明书
系统名称: Name of system名称: Name of business function1.1 业务概述Overview of business function1.2 业务需求矩阵BusinessRequirementFunctional RequirementDetail1High-level description of each business requirement. 1aIdentification of the actions and/or tasks necessary to meet the business requirement. Detailed information concerning the action and/or tasks to meet the business requirement, such as constraints, inputs, outputs, dependencies, and hardware-software requirements.1b1c1d[@more@]
-
编辑 删除
ETL 开发流程和交付物
ETL 开发流程和交付物1.0确定需求 –这个过程要理解从用收集来的业务需求，如果数据源确定，对这个过程有很大的裨益。.交付物对数据抽取，转换，加载的逻辑描述。标准对ETL业务需求进行文档化，可以使用ETL业务需求模板，也可以使用自定的规范化模板模板。模板ETL业务需求规格说明模板2.0 物理化设计 – 这个过程要确定输入和输出并且文档华数据的规格。同时，要确定源和目标的位置，记录文件/表的存储信息，数据量的信息，描述数据如何转化。 交付物输入和输出字段的设计源和目标的位置文件/表的存储信息文件/表的数据量信息描述数据如何
-
编辑 删除
informatica 面试题大全（持续更新）
1 What is the difference between a data warehouse and a data mart?Ø Dataware house: It is a collection of data marts. Represents historical data. a data warehouse is a relational database which is specially designed for analysis purpose rather then for transactional purpose.Ø Data mart:It is a sub set of data ware housing.It can provide the data to analyze query reporting& analysis. a datmart is subject oriented database which gives the data about each
-
编辑 删除
data partition 介绍
1.1 Partition 的种类Ø Data partitioning 的好处1) 对数据的维护可以在partition 的层次2) 提高查询效率3) 可以提高数据仓库的可用性，比如，一个磁盘里的数据坏了，另一个可以接着用Ø 什么时候使用Partition Data1) 大表(2GB)时考虑使用partition2) 用来做为partition的字段，像numberic，date，character都可以；long 和Lob字段不可以3) 所有的表和索引的partition逻辑上的属性相同，像字段和约束，但是物理上的属性就不同，像所存在的表空间1.1.1 Rang
-
编辑 删除
informatica性能优化功能点
1) informatica的性能调优 Ø 判断性能瓶颈a) 判断目标数据库的性能瓶颈b) 判断源数据库的性能瓶颈c) 判断mapping的性能瓶颈d) 判断Session的性能瓶颈e) 判断系统的性能瓶颈Ø 优化目标数据库a) 删除索引和约束b) 增加提交点的值c) Bulk loadingd) External loadinge) 提高数据库的network packet 的大小f) 优化目标数据库Ø 优化源数据库a) 优化查询b) 使用tempdb来连接Sybase 和
-
编辑 删除
提高数据的加载效率之约束
提高数据加载效率1. 先让约束条件无效，数据加载完后，让其有效Ø Drop or Disable 外键约束会提高加载效率 SELECT 'ALTER TABLE ' || OWNER || '.' || TABLE_NAME || ' DISABLE CONSTRAINT ' || CONSTRAINT_NAME || ' ;'FROM USER_CONSTRAINTSWHERE (TABLE_NAME LIKE '%DIM' OR TABLE_NAME LIKE '%FACT')AND CONSTRAINT_TYPE = 'R'输出的结果是：ALTER TABLE MDDB_DEV.AGREEMENT_DIM DISABLE CONSTRAINT SYS_C0011077 ; ALTER TABLE MDDB_DEV.AGREEM
-
编辑 删除
修改nls_date_format的步骤
SQL> show parameter nls_date_formatNAME TYPE------------------------------------ ----------------------VALUE------------------------------nls_date_format stringSQL> alter system set NLS_DATE_FORMAT='YYYY-MM-DD HH24:MI:SS' scope =spfile 2 ;System altered.SQL> show parameter nls_date_formatNAME TYPE------------------------------------ ----------------------VALUE------------------------------nls_date_fo
-
编辑 删除
oracle 参数的说明
说明Oracle表中的存储参数initial, next, pctfree, pctused的含义。针对只做批量装载，没有update的数据仓库事实表，这些参数的设置原则。 initial, 建立这个表的时候初始化分配的空间 next, 空间不够的话，下一次扩展的空间大小 pctfree, 给这个表分配空间的时候对于初始分配的空间至少要预留的百分数，（对仓库来说，需要的空闲不用很多） pctused, 给这个表分配空间的时候对于初始分配的空间最多可以使用的百分数， 可用于：表空间、回滚段、表、索引、分区、快照、快照日志 建议PCTINCREASE参数设置为0，可使碎片最小化
-
编辑 删除
mount和nomount状态
nomount也就是打开实例的状态，SGA分配了，后台进程启动了，数据库还没有挂装，该状态下可以创建数据库，重建控制文件 mount时就是把实例和数据库挂接起来，定位和打开控制文件，获得数据文件和日志文件的名称和状态，但并不检查这些文件是否存在，mount状态下可以重命名数据文件，可以改变归档模式，可以执行全数据库恢复等特殊的数据库维护[@more@]mount和nomount状态
-
编辑 删除
商业智能常见名词浅释(zhuan)
商业智能常见名词浅释 Ad hoc query 即席查询，数据库应用最普遍的一种查询，利用数据仓库技术，可以让用户随时可以面对数据库，获取所希望的数据。 BI 商业智能（Business Intelligence），指数据仓库相关技术与应用的通称。指利用各种智能技术，来提升企业的商业竞争力。 BPR 业务流程重整（Business Process Reengineering），指利用数据仓库技术，发现并纠正企业业务流程中的弊端的一项工作，数据仓库的重要作用之一。 Client OLAP 相对于Server OLAP而言。部分分析工具厂家建议把部分数据下载到本地，为用户提供本地的多维分析。代表
-
编辑 删除
SQLserver锁和事务隔离级别的比较与使用(转)
对象① 锁：每条SQL语句② 隔离：事务锁①并发问题丢失更新未确认的读取（脏读）不一致的分析（非重复读）：多次读取相同的数据（行）不一致（其他用户更改update）幻像读：多次读取有不存在和新增的数据（其他用户插入insert或删除delete）隔离级别隔离级别脏读不可重复读取幻像说明未提交读(read uncommitted)是是是如果其他事务更新，不管是否提交，立即执行提交读(read committed默认)否是是读取提交过的数据。如果其他事务更新没提交，则等待可重复读(repeatable read)否否是查询期间，不允许其他事务update可串行读(seriali
-
编辑 删除
Oracle体系结构：内存结构和进程结构
（一） 内存结构和进程结构 Oracle数据库的总体结构如下图： 1：Oracle实例（Instance） 在一个服务器中，每一个运行的Oracle数据库都与一个数据库实例相联系，实例是我们 访问数据库的手段。 实例在操作系统中用ORACLE_SID来标识，在Oracle中用参数INSTANCE_NAME来标识，它们两个的值是相同的。数据库启动时，系统首先在服务器内存中分配系统全局区（SGA）， 构成了Oracle的内存结构，然后启动若干个常驻内存的操作系统进程，即组成了Oracle的 进程结构，内存区域和后台进程合称为一个Oracle实例。
-
编辑 删除
DBMS_JOB 自动作业调度
能不能写一个存储过程 每隔一定时间自动运行(定时器) dbms_job.submit() 提交作业到系统 指定它什么时候运行 --DBMS_JOB 作业调度包(指定PL/SQL过程定时自动执行)--初始化参数init.ora job_queue_processes = 1 --作业队列进程的个数(最大36个) job_queue_interval = 60 --进程每隔多少时间扫描作业队列(60s) processes=150 --并发用户的数量 open_cursors =300 --存储过程中使用游标的数量 --DBMS_JOB包中的方法 procedure submit(job out binary_integer, what in varchar2, next_date in date default sysdate, interv
