ITPub博客

linux的watch命令非常有用，它可以定期的执行命令，并且满屏显示执行结果，全屏以外的内容可能就看不到了。Usage: watch [-dhntv] [--differences[=cumulative]] [--help] [--interval=<n>] [--no-title] [--version] <command>  -d, --differences[=cumulative]        hi...

转载地址：http://beader.me/2014/05/05/odps-mapreduce/MapReduce 原理简介??(上图引用自 INTRODUCTION TO HADOOP )??以MapReduce中最经典的wordcount应用为例，来分析一下MapReduce的全过程。这里我们要统计文件中每个单词出现的次数。Input就是我们要处理的原始数据，一共有3行。S...

在odps客户端查看dual表的数据如下：odps:sql:yangsw_test> select * from dual;InstanceId: 20141111073338737g53741z5SQL: ..+------------+------+----+| id         | name | dt |+------------+------+----+| 1        &nbsp...

1、下载DShip插件下载地址：http://www.aliyun.com/product/odps/最下面的“开发者资源”，“数据上传下载工具”，下载文件为odps-dship.zip。odps-dship\dship.bat即为windows下的执行文件。2、配置DShipodps-dship\odps.conf为DShip的配置文件，（需要jdk1.6以上），配置文件原来是这样的：#odps dship configend...

在INSERT OVERWRITE到一张分区表时，可以在语句中指定分区的值。也可以用另外一种更加灵活的方式，在分区中指定一个分区列名，但不给出值。相应的，在SELECT子句中的对应列来提供分区的值。语法格式：INSERT OVERWRITE TABLE tablename PARTITION (partcol1, partcol2 ...)select_statement FROM from_statement;备注...

MULTI INSERT支持在一个语句中插入不同的结果表或者分区。语法：FROM from_statementINSERT OVERWRITE | INTO TABLE tablename1[PARTITION (partcol1=val1, partcol2=val2 ...)]select_statement1[INSERT OVERWRITE | INTO TABLE tablename2[PARTITION ...]select_statement2]备注：? 一般情况下，单个SQL里最...

INSERT OVERWRITE/INTO语法：INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]select_statementFROM from_statement;insert into 是向表或分区中追加数据，而insert overwrite则先清空表或者分区，然后再插入数据

ODPS DDL其实很简单主要是对表和分区的DDL，和oracle和mysql的语法非常相似CREATE TABLE语法：CREATE TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)][LIFECYCLE days][AS s...

注册odps账号注册地址：http://www.aliyun.com/product/odps/还赠送一个同名的支付宝账号。开通“开放数据处理服务 ODPS”服务开通时需要先实名认证，选择“登录支付宝快速认证”完成认证过程。认证后可以开通odps服务，默认是“按量付费”。开通后，需要先创建“ACCESS_KEY”，会生成一个ACCESS KEY ID和ACCESS...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。       几乎所有来自外部源的数据都是通过ETL处理传递到交互区的，虽然偶尔也直接传递到整合区。但是一些少见的情况下，我们也通过另一种方式传递...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。      DW2.0中最重要的过程之一是ETL--抽取/转换/装载的处理过程。ETL处理在数据进入交互区或者数据从交互区进入整合区时收集、整理并集成数据。ETL处理...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。      DW2.0架构包含许多组成部分，下一代DW2.0数据仓库也包含了许多技术。建立一个DW2.0数据仓库环境不像盖房子，也不想建立一个小镇更像建设一座大都...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。      DW2.0环境一个基本要素是数据与时间的关系。不像其他环境中数据与时间是无关的那样，在DW2.0环境中，所有数据都以这样或那样的方式与时间相关。...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。      鉴于数据仓库应用的广泛性（包括交易处理系统和归档系统等），在DW2.0环境中采取不同形式的安全措施和从不同角度解决安全问题就不足为奇。保...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。      DW2.0环境是复杂和动态的，它的各部分之间存在着复杂的联系。数据要从一个组件流向另一个组件，还要执行事务，并且还进行数据转换等。在很多方面D...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。智能线路图    数据模型是DW2.0必备组成部分。数据模型在很多方面都扮演着通往DW2.0其他部分的只能线路图的角色。在DW2.0中建立线路图有很多种原因，但最...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    数据仓库最重要的功能之一是对统计分析的支持。所有行业都使用了统计分析，只是程度不同而已。从终端用户的角度来看，通过统计分析得到的数据从根本上...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    对于DW2.0架构而言，面临一个最大的挑战是处于一个所采用的技术可以跟业务同样快速变化的环境中。当商业环境发生变化时，就会需要新的类型的信息，而且...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    DW2.0架构中必不可少的组成部分之一是元数据。在第一代数据仓库中不提供或者后来才想到使用元数据，而在DW2.0中，元数据是数据仓库的基石。很多原因使得元...

版权声明：该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。    DW2.0由四个不同的区组成：交互区、整合区、近线区和归档区。一般会根据数据仓库的大小和使用阶段来确定使用哪个区或者不使用哪个区。例如，在数据仓库...