-
编辑 删除
数仓体会之（分区与索引）
--------------------有些坑，我早已跳过，但，槽跳了，坑也要继续跳 ，在此记录些工作的杂七八的事此内容限于oracle数据库进行讨论。针对目前个人在实施数据仓库中，发现索引及分区基本上没有套路，基本是想怎么玩就怎么玩，而且基本是由于后期查询速度慢，然后是随意的添加索引，一个表十多二十个索引都随处可见...
-
编辑 删除
瘦化拉链表
由于前期分析不到位，导致缓慢变化维表增长速度过快，影响查询性能，分析发现只是由于一些无关紧要的字段变化产生此类数据，因此，要实现拉链表的瘦化，例如，有一个表tb_aa(pk_id,a,b,c,d,e,start_date,end_date),pk_id是源表主键，原先是根据a,b,c,d,e这些字段做的拉链，导致数据量过大，目前通过分析，只需要a,b,c进...
-
编辑 删除
数据抽取程序
由于工作中经常要清库、导数据，且还要两数据库同时对比进行，因此，花点小时间写了个数据库与数据库，数据与文件之间迁移的工具，配件简单，以excel为模板，个人感觉还是比较方便的，oracle及sql server测...
-
编辑 删除
彩票数据分析
目标：（官话）彩票分析目标只是想健康有效的长期发展彩票事业，希望参与的人广而平均投入的金额少，不影响社会的和谐发展。说白了，就是国家以一种方式收钱，但让大家别因为此跳楼抱怨之类的，自愿方式手段：1，...
-
编辑 删除
维度建模培训随笔
数据仓库是从大的数据中获取一些宏观指标，为决策提供支持报表，一个报表的作用是确定后期的工作， 明白事，分析事，数据仓库是对系统建设的一种推动，可以发现原系统问题，规范各系统之间的数据定义及内容。举例：...
-
编辑 删除
数据仓库杂谈
http://tech.it168.com/oldarticle/2007-05-22/200705220939875.shtml
-
编辑 删除
数据仓库处理工作随笔
原项目型数据仓库的一些随笔。。。。一,简化业务需求的复杂度。 1，粒度尽量粗（特别是时间维），能月统计尽量别精确到时间。 2，同一展现分析中，时间维尽量单一，多个时间角度统一将难使数据聚合，查...
-
编辑 删除
kettle之------ 多表数据复制
原地址 kettle之------ 多表数据复制 › 需求：把A库中N个表抽取至B库中，表结构相同或只是增加统一的一些字段， 过滤条件基本类似。解决方法：我们把以上内容在解决问题上拆分为二步，1，从一配制表中读出相...
-
编辑 删除
数据仓库工作记录1
具体需求当确定或审核一个具体需求时，我们应考虑以下几个问题 确定需求中各指标的口径统计及大致数据来源考虑以怎样的粒度模型来支撑此需求估算此需求展现时所涉及要获取的数据量及最终展现的数据...
-
编辑 删除
数据仓库之基础数据层建模杂记
（个人意见：）1，有可对应原系统数据的标识（最好确定与业务无关的唯一主键）。2，有数据的生成时间字段（确定增量的有效方法）。3，尽量采用第三范式（尽量清除数据的二异性）。4，有能够确定分区的字段。5，原系...
-
编辑 删除
个人工作_kettle之插件开发
KETTLE插件介绍注：此部分插件为kettle中的job插件GoldenGate命令插件GoldenGate此插件命令主要包括启动与停止，由于是job插件，因此，返回内容只有成功与失败标志，此插件中涉及的GoldenGate主机及端口、进程组...
-
编辑 删除
物化视图归档结合goldengate增量抽取测试用例
物化视图归档结合goldengate增量抽取测试用例测试表：DJ_YZCWSBQC简称表 td环境介绍 ：分为三个库 A 生产环境，字符集，西文 B 物化视图区（归档） 字符集，西文 C 抽取...
-
编辑 删除
初用informatica
这几天在忙着弄informatica，对于一些基本用法到是感觉容易上手，但写惯了sql总感觉很多时候不方便，字段过多有时候找一个都不易，昨天又碰到下面这个问题，其实就是一个lag的用法 select t.*,rowid from tt_test1 t...
