什么是Hadoop?
什么是Hadoop?搞什么东西之前,第一步是要知道What(是什么),然后是Why(为什么),最后才是How(怎么做)。但很多开发的朋友在做了多年项目以后,都习惯是先How,然后What,最后才是Why,这样只会让自己变得浮躁,同时往往会将技术误用于不适合的场景。 Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。
维度建模完全指南(二)
(二) 第二,加深了对维度建模和总线结构的理解 之前我感觉维度建模一般都会比较适合数据集市上的模型设计,因为在数据集市这一层所需要的维度会比较清晰,而且有比较多也比较明确的可加型指标,而在基础数据这一层维度建模可能不太合适,因为基础数据这一层更多关注的最细粒度的,比较贴源的模型能更好的表达业务含义。由于此书都是结合一些行业实例进行讲解,透过这些实例,改变了我之前对维度建模一些的认识。例如,书中在介绍电子商务行业基于页面事件粒度层面的点击流方案设计的事实表如下:一个时间维度
维度建模完全指南(一)
(一) 最近正在学习数据仓库建模鼻祖之一Kimball大师写的《The Data Warehouse Toolkit:The Complete Guide to Dimensional Modeling》,虽然还没有看完但也已经有些感触。 第一,理论化了数据仓库模型设计的原则和维度建模的基本步骤 在我们进行数据仓库建模之前,无论是Kimball大师的维度建模还是Immon大师的3NF数据仓库建模,首先我们所必须要考虑的应该都是我们模型设计的原则, 我们在这些原则的基础上设计的数据仓库模型更易成功。总结起来大致有这样几点:数据易于存取:数据仓库的数据不能仅仅对开发人员
oracle中的schema
对于oracle中schema的真正含义我一直都有些含糊,因此,在网络上查找并整理了一些资料。定义:A schema is a collection of database objects (used by a user.). Schema objects are the logical structures that directly refer to the database’s data.A user is a name defined in the database that can connect to and access objects.Schemas and users help database administrators manage database security.从定义中我们可以看出schema为数据库对象的集合,为了区分各个集合,我们需要给这个集合起个名字,这些名字就是我们在