ITPub博客

--[@more@]昨天装了MOSS，试着跟SSRS整合，弄了一个下午，把安转碰到的麻烦写出来跟大家分享一下。按照MSDN(1 February 2007)上的说法，SPS(microsoft office 2007 sharepoint server & windows sharepoint server 3.0)和SSRS(sql server 2005 reporting services)的整合级别有两种：1. 通过Web Parts，这是在SPS 2.0中就有了的东东，SPS 3.0中使用的还是2.0的那两个Web Part。2. 通过SPS的整合模式。这种模式下，SPS的数据库需要保存报表内容，SPS和SSRS数据库之间有一个同步的过程。要使用这种模式必须安装有SQL Server 2005 SP2和S

--[@more@]微软以往的BI产品，尽管有Report Builder这类ad-hoc工具，但是作为客户端开发工具仍然太麻烦，而且也无法提供灵活的分析功能。在微软新的SQL Server加Office战略布局中，Excel被提升到了非常重要的地位，除了OLAP前端外，Excel还充当起SSAS中的DM和未来PPS的客户端软件。再加上MOSS，Excel成为了集分析、报表、发布为一体的BI客户端工具。SSAS、Excel和MOSS的关系如下：我这里在同一台机器上安装SQL Server 2005和MOSS 07，情况如下：机器名：ESESTT所在域：myhome.cheneySQL Server 2005实例名：MSSQLSERVER登录身份：myhomead

--[@more@]统计学和数据挖掘有着共同的目标：发现数据中的结构。事实上，由于它们的目标相似，一些人（尤其是统计学家）认为数据挖掘是统计学的分支。这是一个不切合实际的看法。因为数据挖掘还应用了其它领域的思想、工具和方法，尤其是计算机学科，例如数据库技术和机器学习，而且它所关注的某些领域和统计学家所关注的有很大不同。 统计学和数据挖掘研究目标的重迭自然导致了迷惑。事实上，有时候还导致了反感。统计学有着正统的理论基础（尤其是经过本世纪的发展），而现在又出现了一个新的学科，有新的主人，而且声称要解决统计学

--[@more@]一、数据归约基本知识： 对于小型或中型数据集，一般的数据预处理步骤已经足够。但对真正大型数据集来讲，在应用数据挖掘技术以前，更可能采取一个中间的、额外的步骤-数据归约。本步骤中简化数据的主题是维归约，主要问题是是否可在没有牺牲成果质量的前提下，丢弃这些已准备和预处理的数据，能否在适量的时间和空间里检查已准备的数据和已建立的子集。对数据的描述，特征的挑选，归约或转换是决定数据挖掘方案质量的最重要问题。在实践中，特征的数量可达到数百，如果我们只需要上百条样本用于分析，就需要进行维归约，以挖掘

-- 原文下载 http://www.chinabi.net/blog/UploadFiles/2007-6/69838799.rar[@more@]（本文由数据挖掘研究院www.dmresearch.net整理转摘，原作者不祥）第一课 数据挖掘技术的由来 　　　1.1 网络之后的下一个技术热点　　　1.2 数据爆炸但知识贫乏　　　1.3 支持数据挖掘技术的基础　　　1.4 从商业数据到商业信息的进化　　　1.5 数据挖掘逐渐演变的过程 　　1.1网络之后的下一个技术热点　　我们现在已经生活在一个网络化的时代，通信、计算机和网络技术正改变着整个人类和社会。如果用芯片集成度来衡量微电子技术，用CPU处理速度来衡量

--[@more@]一、时间序列数据挖掘 时间序列是数据存在的特殊形式,序列的过去值会影响到将来值,这种影响的大小以及影响的方式可由时间序列中的趋势周期及非平稳等行为来刻画。一般来讲，时间序列数据都具有躁声、不稳定、随机性等特点,对于这类数据的预测方法目前主要有自动回归滑动平均(ARMA)和神经网络等，但这些方法有一些缺点是很难克服的,ARMA包含的是线性行为,对于非线性的因素没有包含;而神经网络的结构需要事先指定或应用启发式算法在训练过程中修正;同时神经网络得到的解是局部最优而非全局最优。比较而言支持向量机( SVM)能较好

--[@more@] 前段时间在做一个挖掘模型时，模型的特征决定了选择的数据是严重有偏的，怎样在这样的数据上进行抽样，得到能比较好地反映真实情况的数据样本是很关键的。自己对统计学仅仅限于大学课程的学习，很少做过实验，在做数据预处理走了一些弯路。下面对数据挖掘中的抽样发表一点浅见。谢谢苦瓜兄弟解答，希望和大家多多交流：） 在数据挖掘的数据预处理过程中，宽表数据往往是几十万，上百万级记录的。要对所有数据进行训练，时间上很难满足要求，因此对数据进行抽样就很必要了，不同的数据抽样方法对训练结果模型的精度有很大影响

--[@more@]几年前的一场讨论，现在看来对实际DM应用仍然有很好的参考价值，推荐给朋友们！一、引子1999 年 Data Miner 专栏首次出现在 DB2 杂志上。4 年以后，数据挖掘仍然是个热点话题。最近，一个 Gartner 报告中（2002 年 12 月"技术采用和价值：调查结果"）将数据挖掘排在了所有行业里对组织有战略性影响的 37 项新兴技术中的第三位。数据挖掘已经被人们接受、应用并且普遍存在。最近，我与我在 IBM Thomas J. Watson 研究室的同事们共同探讨了关于数据挖掘未来的发展趋势。其中包括数据分析主管 Chid Apte ，他的团队在数据

--[@more@]商业智能（BI)在国内电信业的应用已经有三四年的发展历史了，为我国电信运营商的业务发展提供了有力的支撑。作为一种通用的商业解决方案，BI在多个领域都具有广阔的应用前景，而其在电信业的应用，无疑为电信运营商在市场竞争中获得更大的优势提供了一把“利剑”。 　　基于目前的应用，BI在电信运营支撑方面的作用主要表现在以下几个方面。 　　精细化营销 　　以前的电信运营商定位是以卖服务为核心的粗放交易型营销，客户上门做完一笔交易，把一个服务开通以后，就和用户没有关系了。但随着市场竞争的加剧，这样的营销模式已

--[@more@]业务需求某家位列国内五大电信运营商之列的通信公司（以下简称“通信公司”）在多年的运营过程中，积累了大量的业务数据，分散在各个运营系统中（计费系统、九七工程、网管系统等）。这些系统主要是面向公司的日常运行和维护，虽拥有最全面详细的内容，但是却无法满足公司如市场分析、客户分析的需求。也就是说，这些数据库系统像一个个孤岛，很难得到综合利用。而这些数据分析对于公司的发展来说却是至关重要的。互联网技术的发展，为电信的企业信息、客户信息、服务信息在企业内部、企业和客户间畅通传递奠定了技术基础。在数

--[@more@]数据仓库，简单地说，就是为了保证数据查询和分析的效率，按照主题将所有的数据分门别类进行存储，需要的时候，按主题提取数据并做进一步的分析处理。 　　国外应用情况 　　 　　为了实现从产品导向往客户导向的转变，目前电信企业纷纷建立自己的客户关系管理系统，以实现企业营销、销售和客户服务等职能的组织架构和流程的一整套管理体系。从全球来看，美国几乎每一个较大的电信运营商都正在建立或已经在利用数据仓库实现其客户关系管理。 　　例如，以数据仓库为核心的客户关系管理系统提供的客户信息以及营销分析，已成为AT

--[@more@]1．KPI分析KPI分析按照管理层次和时间纬度对指标进行汇总统计及分析展示，以适应各级领导的管理需求。在四川移动，KPI不仅只是一个数据展示，而且已经成为一个内部考核指标的监控平台。各级领导每天上班的第一件事就是打开系统，查看自己的业务指标。每个领导只需要点击相关指标就可以做进一步的分析。领导最关心的图表放在最前面，日指标、周指标、月指标一目了然，而且还提供趋势走向，升降曲线直观明了。2．离网挽留分析应用 四川移动设计了流失模型的应用流程，分流失状况认知（历史流失状况分析、流失预测目标用户群选择

--[@more@]维度建模的数据仓库中，有一个概念叫Conformed Dimension，中文一般翻译为“一致性维度”。一致性维度是Kimball的多维体系结构（MD）中的三个关键性概念之一，另两个是总线架构（Bus Architecture）和一致性事实（Conformed Fact）。在多维体系结构中，没有物理上的数据仓库，由物理上的数据集市组合成逻辑上的数据仓库。而且数据集市的建立是可以逐步完成的，最终组合在一起，成为一个数据仓库。如果分步建立数据集市的过程出现了问题，数据集市就会变成孤立的集市，不能组合成数据仓库，而一致性维度的提出正式为了解决这个问

--[@more@]在维度建模的数据仓库中，有一种维度表叫multivalue dimension，中文一般翻译为“多值维度”。多值维度有两种情况，第一种情况是指维度表中的某个属性字段同时有多个值。举例来说，一个帐户维度表中，帐户持有人姓名，可能会有多个顾客。这样，一个帐户对应多个顾客姓名，一个顾客也可以有多个帐户，它们之间是多对多的关系。正因为一个帐户可能会有多个对应的顾客，所以不能直接将顾客ID放入帐户维度表中。而帐户维度表中的这种情况就叫做多值维度。多值维度的第二种情况是事实表在某个维度表中有多条对应记录。举例来说，对于

--[@more@]《数据仓库工具箱—维度建模的完全指南》是数据仓库建模方面的经典著作， 1996年第一版出版被认为是数据仓库方面具有里程碑意义的事件。作者kimballl是数据仓库方面的权威，他将多年的数据仓库建模实战经验、技巧融入本书。他提出的许多维度建模概念被广泛应用于数据仓库的设计和开发中。2002年本书出版了第二版。这是一部非常好的数据仓库建模的书，前后完整的读了三遍，受益匪浅。以下笔记将本按四个部分组织：一、数据仓库体系结构和建模过程、技巧。二、维度表建模技术。三、事实表建模技术。四、行业建模经验。一、数据仓库

--[@more@]来源：中国商业智能网 维度建模中一个非常重要的步骤是定义事实表的粒度。定义了事实表的粒度，则事实表能表达数据的详细程度就确定了。定义粒度的例子如下：1．客户的零售单据上的每个条目。2．保险单上的每个交易。定义好事实表的粒度有很大的用处。第一个用处就是用来确定维度是否与该事实表相关。例如，对于粒度细到医疗单据上条目项的事实表来说，医疗结果是不会作为维度和它进行关联的，因为它们不在同一个粒度上。但是，对于一般的E/R数据模型来说，医疗单据是和医疗结果是进行关联的。通常的规范化建模里没有粒度的概念

--[@more@]1：确定数据范围 确定数据范围实际上是对ODS进行主题划分的过程，这种划分是基于对业务系统的基础上而进行的，并不十分关心整个数据仓库系统上端应用需求，但是需要把上端应用需求与ODS数据范围进行验证，以确保应用所需的数据都已经从业务系统中抽取出来，并且得到了很好的组织。一般来讲，主题的划分是以业务系统的信息模型为依据的，设计者需要综合各种业务系统的信息模型，并进行宏观的归并，得到企业范围内的高层数据视图，并加以抽象，划定几个逻辑的数据主题范围。在这个阶段，以ER模型表示数据主题关系最为恰当。2：

---[@more@]作项目分析，数据库设计是一个很重要也很难的问题，完全按照范式有可能不符合用户需求，不利于编程，看来是具体问题具体分析，数据库设计是范式和需求的折中。在上学时，没觉得数据类型有多重要，现在发觉了解数据类型的具体内容也是很重要的，可以知道不同数据库之间的兼容问题该怎么处理。数据库设计技巧：第2 部分— 设计表和字段1. 检查各种变化我在设计数据库的时候会考虑到哪些数据字段将来可能会发生变更。比方说，姓氏就是如此（注意是西方人的姓氏，比如女性结婚后从夫姓等）。所以，在建立系统存储客户信息时，我倾向

-[@more@]ETL学习心得：探求数据仓库关键环节ETL的本质 做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中，ETL上升到了一定的理论高度，和原来小打小闹的工具使用不同了。究竟什么不同，从名字上就可以看到，人家已经将倒数据的过程分成3个步骤，E、T、L分别代表抽取、转换和装载。其实ETL过程就是数据流动的过程

－[@more@]简介数据集成是数据仓库中的关键概念。ETL（数据的提取、转换和加载）过程的设计和实现是数据仓库解决方案中极其重要的一部分。ETL 过程用于从多个源提取业务数据，清理数据，然后集成这些数据，并将它们装入数据仓库数据库中，为数据分析做好准备。ETL 过程设计尽管实际的 ETL 设计和实现在很大程度上取决于为数据仓库项目选择的 ETL 工具，但是高级的系统化 ETL 设计将有助于构建高效灵活的 ETL 过程。在深入研究数据仓库 ETL 过程的设计之前，请记住 ETL 的经验法则：“ETL 过程不应修改数据，而应该优化数据。”如果您发现需