ETL的可扩展性和可维护性
:[@more@]ETL的过程我想很多人都谈过了,最近我在比较SSIS,OWB和infomatica,结合以前的项目,加深了我对ETL过程的理解和认识。其实这三种工具,除去应用平台以为,大同小异,各有利弊。今天我想分享一下我的经验,主要在扩展和维护方面。1:数据落地和ELT 很多人谈到数据落地的概念,说白了,就是ODS或者DWH中,有数据input或者output的,都先把要操作的数据放到临时表里面,而数据传输的两端的表的结构都是一样的,这样的操作比较便捷,几乎不用考虑转换的问题。 同时我们还要提到的就是ELT,ELT和ETL其实各有好处,一个是用工具来
BI项目的价值评估
:[@more@]很多的项目,很多的成功了,也有很多的失败了记得一次我去拜见一个客户的时候,他问了我一个问题“既然你说得BI这样好,那么如何去评估它”。其实是投资回报率的问题。很多的公司不是制造业,不是零售业,也许就是简简单单的服务业,能和电脑或者间接和电脑打交到的企业不多,比如民航,餐饮,酒店等等。其实我们知道BI能减轻很多企业现有的压力,能做很多的报表和分析数据,但是又能怎么样了,涉及到钱的问题,很多人心里都会算一算的,如果一个项目,软硬件超过100万,对于一个餐饮行业而言,你觉得老板上BI好还是不上的好。当
数据质量之矫正引擎
:[@more@]我们经常会遇到这样的情况:客户希望我们实施DW/BI,等我们调研完了之后发现问题如下1:全部有8个国家(A1,A2,A3,A4,A5A,A6,A7,A8),有5中系统(S1,S2,S3,S4,S5),每个国家的每种系统不完全一样。2:系统是按照业务来划分的,只有销售体系和财务体系是每个地区都可以提供一些基本数据的。而销售和财务数据,每个地方都存在一些差异,这些差异又是允许存在的,而且是一定存在的。3:未来2-4年内,可能所有地区和系统都会整合进入DW中。4:企业没有将地区业务系统统一的计划5:现在迫切需要上销售模块的BI,而韩国需要上HR方面的B
一点被忽视的模型使用方法
:[@more@]现在每个公司,每个技术人员再谈到BI/DW的时候都谈到模型,不管是关系模型还是多维模型,甚至是二者的混合模型,我们很多人都在考虑表(table)的设计,数据的存储等等问题,这些的确使我们需要考虑的,但是我们却忽视了一点,我们前台展现的只是需要的浏览数据,而不是你有没有数据存储在database中。当然我这样说,大家都要问了,不存储数据怎么展现数据了?是的,我们需要存储,但是不是任何展现的数据都需要在数据库中记录,有的是我们使用case语句转化过来的,这些转化后的数据存储在数据库中最好。言归正传,我接触到的很
论数据仓库架构前需要考虑的问题
:[@more@]论数据仓库架构前需要考虑的问题除掉满足需求以外,一个好的数据仓库需要考虑的是使用(应用)是否方便,维护是否方便,扩展是否方便,开发是否方便。使用: 好的系统首先解决的是使用问题,如果最好的操作人员不满意的话,通常应用效果都会比较差的,所以很多公司很注重用户场景的设计,我曾经和微软的同事有过一段时间的接触,发现他们很注重一般企业不注重的问题,比如我们在查询时,选择条件,有的是大于,有的是小于,有的是大于等于等等,通常这样的情况,在事先没有统一的要求和规定,但是他们对于每一个用户场景的描述
DW中的数据校验
DW中的数据校验[@more@]数据,数据,数据! 数据很重要,离开了数据就什么都玩不转,这就是BI! 中国有一个现象就是居住证或者暂住证的制度,去了别的城市,有了时候你有户口还是非法的。 数据就是你,系统就是城市。DW,ODS,ERP,MIS等等都是城市,所以你原来数据ERP的,现在到了DW,你就要去公安局或者其他的部门登记,验 证身份,(户口,住址,身高体重,工作单位,有无不良记录),然后才合法。(上海就是这样的,所以上海的治安,相对来说比较好)。所以登记和验证的工作 是必不可少的,DW的流程中,数据校验(data validation)就显得
管理理论
--[@more@]产品生命周期理论是美国哈佛大学教授雷蒙德·弗农(Raymond Vernon)1966年在其《产品周期中的国际投资与国际贸易》一文中首次提出的。 产品生命周期(product life cycle),简称PLC,是产品的市场寿命,即一种新产品从开始进入市场到被市场淘汰的整个过程。费农认为:产品生命是指市上的的营销生命,产中和人的生命一样,要经历形成、成长、成熟、衰退这样的周期。就产品而言,也就是要经历一个开发、引进、成长、成熟、衰退的阶段。 典型的产品生命周期一般可以分成四个阶段,即介绍期(或引入期)、成长期、成熟期和衰
常见的企业流程再造模式
---[@more@]迈克尔·哈默的四阶段模式 尽管迈克尔·哈默并没有系统地总结归纳流程再造的方法步骤问题,但是有学者通过对他著作的研读,基于对迈克尔·哈默观念的深入理解,替他总结出了一个四阶段模式。 第一阶段,确定再造队伍:产生再造领导人,任命流程主持人,任命再造总管,必要时组建指导委员会,组织再造小组。 第二阶段,寻求再造机会:选择要再造的业务流程,确定再造流程的顺序,了解客户需求和分析流程。 第三阶段,重新设计流程:召开重新设计会议,运用各种思路和方法重构流程。 第四阶段,着手再造
SharePoint Designer 2007,强大的工作流设计器
--[@more@]SharePoint Designer不仅仅可以用来对SharePoint站点的界面进行定制,它同时还内置了一个强大的工作流设计器。使用这个工作流设计器,我们可以通过一系列的配置工作,将指定的步骤、条件、操作组合起来,组合成一个完整的工作流模板。Denny Zhang有三篇很好的介绍性文章,演示了如何利用SharePoint Designer来创建一个完整的工作流模板:在SharePoint中实现Workflow(1)在SharePoint中实现Workflow(2)在SharePoint中实现Workflow(3)为了帮助大家对SharePoint Designer 2007有更深入了解,在这篇文章里向介绍几个最基本的概念。基
工作流反思系列:什么样的工作流会受到欢迎
---[@more@]工作流作为近几年以来热门的话题,已经在诸多信息化系统中得到了应用,但使用的结果不尽人意。上两篇文章分别总结了用不起来的原因及目前业内的工作流需求分类,本文将结合上篇工作流分类探讨什么样的工作流会受到欢迎?真正好用的工作流需要具备什么样的特征?一、 管理类流程管理类流程是目前信息化建设大潮中最常见的工作流类型,存在与大家常见的电子政务、企业信息化等各种类型的项目之中。 功能要求: 完善的流程模型:除了要支持工作流领域常见的各类典型模型之外,还需要很多与国情有关的复杂工作流模型。例如有条件的
[推荐] 怎么才算是“卓越流程”?
--[@more@]“卓越流程”对一个企业管理者或从事企业管理的人来讲并不陌生,企业发展到一定阶段,需要一些行为转化成固化的模式或体系,其目的就是大家在从事一件事情的时候,能够遵循一定的行为准则去做,这些准则就是企业内部的统一操作平台,而流程就是这个平台的重要表象。 有人说这个年代是战略的年代,也有人说这个年代是流程的年代,但是不管怎么认为,流程已经逐渐成为企业管理者一项重要管理方法。然而在笔者进行操作时,同样发现不同的人对企业流程的理解也不同。到底怎么样的流程才是好的流程,才是卓越的流程呢?我在此作简
工作流管理系统需求
--[@more@]整理的工作流管理系统的需求列表,想要做一个好东西真的很难。 工作流定义 1.1 工作流定义语法检查 1.2 工作流定义有效性检查 1.3 流程可视化建模 1.4 组织机构数据的引用 1.5 支持离线过程定义 1.6 工作流数据定义 1.7 图形打印工作流过程定义图形 1.8 以xml格式保存过程定义文件 1.9 直接对模板库访问操作 1.10 xml过程定义文件打开编辑 工作流模板库 2.1 工作流模板的导入和导出 2.2 工作流模板版本控制 2.3 工作流模板复制 2.4 工作流模板所有者定义 2.5 工作流模板状态(草稿、发布、过时)
工作流系统功能特性描述
--[@more@]1. 流程操作 流程在流转过程中需要确定的为下一环节以及该环节的相应的参与者 ( 人或应用程序 ) ,所有的流程操作均是围绕这两方面进行。 1.1. 签收 对事项进行签收表明该流程步骤进行生效阶段,说明当前人员已将事项从待办状态切换为了在办状态。 1.2. 直送 ( 直流 ) 直流为流程操作中最为简单的一种操作,直流为当前环节往下仅有一个环节,不存在分支的流转,在直流过程中可确定的是流程下一环节,不可确定的是执行此环节的人员 ( 需要系统根据流程设计时配置的环节参与角色获取具有相关权限的人员,根据配置的是否
工作流技术
--[@more@]什么是工作流技术工作流(Workflow)就是工作流程的计算模型,即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。工作流要解决的主要问题是:为实现某个业务目标,在多个参与者之间,利用计算机,按某种预定规则自动传递文档、信息或者任务。 工作流管理系统(Workflow Management System, WfMS)的主要功能是通过计算机技术的支持去定义、执行和管理工作流,协调工作流执行过程中工作之间以及群体成员之间的信息交互。工作流需要依靠工作流管理系统来实现。工作流属于计算机支
The State of workflow
--[@more@]May 2004 Discuss this Article IntroductionIf database systems are like a respected, wise man telling a clear story, then workflow must be a buch of spoiled brats shouting their own truth at each other. With this statement I would like to point out that workflow management systems are at the very initial phase of the technology hype curve. We are heading for some exciting times in this area. To illustrate this, we can make the comparison with relational database management systems (RDBM
工作流
--[@more@]工作流(Workflow)就是“业务过程的部分或整体在计算机应用环境下的自动化”,它主要解决的是“使在多个参与者之间按照某种预定义的规则传递文档、信息或任务的过程自动进行,从而实现某个预期的业务目标,或者促使此目标的实现”。 简单地说,工作流就是一系列相互衔接、自动进行的业务活动或任务。一个工作流包括一组任务(或活动)及它们的相互顺序关系,还包括流程及任务(或活动)的启动和终止条件,以及对每个任务(或活动)的描述。 工作流在大多数的实际应用中的情况可以这样来简单地描述:在网络、服务器和