-
编辑 删除
ETL概述
转载地址：http://czmmiao.iteye.com/blog/1835953ETL概述ETL，Extraction- Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数 据仓库的重要环节。ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一...
-
编辑 删除
windows平台下ORACLE11g卸载
1.关闭oracle所有的服务。可以在windows的服务管理器中关闭；2.打开注册表：regedit 打开路径：HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\ 删除该路径下的所有以oracle开始的服务名称，这个键是标识Oracle在windows下注册的各种服务！3.打开注册表，找到路径：HKEY_LOCAL_MACHINE\SOFTWAR...
-
编辑 删除
Linux crontab 命令格式与详细例子 （R1）
基本格式 :* * * * * command分 时 日 月 周 命令 第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令 crontab文件的一些例子： 30 21 * * * /usr/local/etc/rc....
-
编辑 删除
优化方案：ETL的过程原理和数据仓库建设（R2）
转载地址：http://tech.ccidnet.com/art/1105/20080611/1471903_1.html【赛迪网－IT技术报道】这篇论坛文章（赛迪网技术社区）根据笔者多年的数据仓库实施经验，同时结合ETL的过程原理和数据仓库建设方法归纳总结了以下优化的方案，详细内容请读者参考下文： 1.引言 数据仓库建设中的ETL(Extract, Transfo...
-
编辑 删除
游标的作用（R1）
http://blog.csdn.net/chenjie19891104/article/details/4424886游标的概念和作用游标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制。游标充当指针的作用。尽管游标能遍历结果中的所有行，但他一次只指向一行。概括来讲，SQL的游标是一种临时的数据库对象，即可以用来存放在数据库表中的数据行副...
-
编辑 删除
数据仓库ETL流程规范（R2）
项目组希望我出一个ETL的规范，凭着自己的感觉和经验总结了一些步骤，我还会不断改进。本ETL流程规范试图建立一个通用的ETL流程开发规范，针对不同项目组的实际情况，可自行进行逐步的完善和修改。本流程应该是在需求分析阶段结束后实施。ETL流程：可以把ETL分为五个阶段，按照开发的顺序分：&n...
-
编辑 删除
ETL优化 （R2）
转载地址：http://blog.csdn.net/jadeite/article/details/1837426 在讨论ETL优化之前我们应该首先讨论的是当前程序的性能。首先要定义ETL过程的基线标准。在建立了基线标准的基础上我们再来讨论该如何对已有过程进行优化。基线标准也应该包括标准情况下网络传输速度，硬盘读取速度等等的硬件指标。在此之上测量...
-
编辑 删除
DRIVING_SITE Hint （R1）
转载地址：http://blog.chinaunix.net/uid-20607558-id-1916125.html在分布式查询中，本地DB会获取远端表的数据进行关联，合理使用DRIVING_SITE，可以在分布式查询中大大减少网络流量，加快查询速度。 The DRIVING_SITE hint instructs the optimizer to execute the query at a different site than that ...
-
编辑 删除
dbms_xplan之display_cursor函数的使用（R0.1）
DBMS_XPLAN包中display_cursor函数不同于display函数，display_cursor用于显示SQL语句的真实的执行计划，在大多数情况下，显示真实的执行计划有助于更好的分析SQL语句的全过程，尤其是运行此SQL语句实时的I/O开销。通过对比预估的I/O与真实的I/O开销来判断SQL语句所存在问题，如缺少统计信息，SQL语句执行的次数，...
-
编辑 删除
oracle dbms_xplan.display_cursor查看执行计划
select sql_text, sql_fulltext, sql_id, child_number, last_load_time, s.executions, ...
-
编辑 删除
HBase简介
一、 简介 history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apache top-level project and Hbase becomes subproject2008.10 Hbase 0.18,0.19 released...
-
编辑 删除
oracle 全角半角转换函数
oracle提供两个全半角转换的两个函数1、to_single_byte(c)转换成半角SQL> select to_single_byte('１２３４５23232') from dual;TO_SINGLE_----------12345232322、to_multi_byte(c)转换成全角SQL> select to_multi_byte('１２３４５23232') from dual;TO_MULTI_BYTE('１２--------------------１２...
-
编辑 删除
Oracle性能优化：收缩临时表空间
http://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.co...
-
编辑 删除
Informatica PowerCenter 8.6的下载与安装
关于下载：主要参考资料：http://gerardnico.com/wiki/powercenter/installation_861下载是从Oracle E-Delivery网站（https://edelivery.oracle.com/）上免费下载，这方面确实要赞一下Oracle，它的产品以及一些合作伙伴的产品都可以免费下载使用，当然不要违反它的规定，只用于演示与学习的话那就去用吧。...
-
编辑 删除
Powercenter体系结构和主要组件介绍
Powercenter体系结构和主要组件介绍 服务端组件Informatica Service：PowerCenter服务引擎Integration Service：数据抽取、转换、装载服务引擎Repository Service：知识库Service，管理ETL过程中产生的元数据Reposi...
-
编辑 删除
Informatica Powercenter 介绍
1.1 Informatica Powercenter 的概念 Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从而帮助企业做出快速、正确的决策。此产品为满足企业级要...
-
编辑 删除
oracle中的sql%rowcount（R2）
转载地址：http://blog.sina.com.cn/s/blog_713978a50100xi6z.htmlsql%rowcount用于记录修改的条数，就如你在sqlplus下执行delete from之后提示已删除xx行一样，这个参数必须要在一个修改语句和commit之间放置，否则你就得不到正确的修改行数。例如：SQL> declare n number; 2 begin 3 i...
-
编辑 删除
mapred.job.shuffle.input.buffer.percent（R1）
说明:用来缓存shuffle数据的reduce task heap百分比Reduce在shuffle阶段对下载来的map数据，并不是立刻就写入磁盘的，而是会先缓存在内存中，然后当使用内存达到一定量的时候才刷入磁盘。这个内存大小的控制就不像map一样可以通过io.sort.mb来设定了，而是通过另外一个参数来设置：mapred.job.shuffle.input.buff...
-
编辑 删除
mapred.map.tasks.speculative.execution参数影响性能（R1）
转载地址：http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2162011.htmlmapred.map.tasks.speculative.execution=truemapred.reduce.tasks.speculative.execution=true这两个是推测执行的配置项，它们默认值是true所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度...
-
编辑 删除
Hadoop是怎么分块的（R1）
http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2162011.htmlhadoop的分块有两部分，其中第一部分更为人熟知一点。 第一部分就是数据的划分（即把File划分成Block），这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项...
