-
编辑 删除
Oracle性能优化：收缩临时表空间
http://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.com/html/09/n-808809.htmlhttp://www.51testing.co...
-
编辑 删除
Informatica PowerCenter 8.6的下载与安装
关于下载：主要参考资料：http://gerardnico.com/wiki/powercenter/installation_861下载是从Oracle E-Delivery网站（https://edelivery.oracle.com/）上免费下载，这方面确实要赞一下Oracle，它的产品以及一些合作伙伴的产品都可以免费下载使用，当然不要违反它的规定，只用于演示与学习的话那就去用吧。...
-
编辑 删除
Powercenter体系结构和主要组件介绍
Powercenter体系结构和主要组件介绍 服务端组件Informatica Service：PowerCenter服务引擎Integration Service：数据抽取、转换、装载服务引擎Repository Service：知识库Service，管理ETL过程中产生的元数据Reposi...
-
编辑 删除
Informatica Powercenter 介绍
1.1 Informatica Powercenter 的概念 Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从而帮助企业做出快速、正确的决策。此产品为满足企业级要...
-
编辑 删除
oracle中的sql%rowcount（R2）
转载地址：http://blog.sina.com.cn/s/blog_713978a50100xi6z.htmlsql%rowcount用于记录修改的条数，就如你在sqlplus下执行delete from之后提示已删除xx行一样，这个参数必须要在一个修改语句和commit之间放置，否则你就得不到正确的修改行数。例如：SQL> declare n number; 2 begin 3 i...
-
编辑 删除
mapred.job.shuffle.input.buffer.percent（R1）
说明:用来缓存shuffle数据的reduce task heap百分比Reduce在shuffle阶段对下载来的map数据，并不是立刻就写入磁盘的，而是会先缓存在内存中，然后当使用内存达到一定量的时候才刷入磁盘。这个内存大小的控制就不像map一样可以通过io.sort.mb来设定了，而是通过另外一个参数来设置：mapred.job.shuffle.input.buff...
-
编辑 删除
mapred.map.tasks.speculative.execution参数影响性能（R1）
转载地址：http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2162011.htmlmapred.map.tasks.speculative.execution=truemapred.reduce.tasks.speculative.execution=true这两个是推测执行的配置项，它们默认值是true所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度...
-
编辑 删除
Hadoop是怎么分块的（R1）
http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2162011.htmlhadoop的分块有两部分，其中第一部分更为人熟知一点。 第一部分就是数据的划分（即把File划分成Block），这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项...
-
编辑 删除
left join (1:n/n:1/m:n)验证(R1)
SQL> select * from a; ID NAME---------- ---------- 1 a 2 b 3 cSQL> select * from b; ...
-
编辑 删除
oracle的left join，right join和full join的一点介绍(R1)
oracle的left join，right join和full join的一点介绍 以下是摘自oracle ocp9i文档： outer join syntax: 1)you use an outer join to also see rows that do not meet the join condition ...
-
编辑 删除
EXPDP和IMPDP参数详细解释
首先标题不知道是否正确，oracle数据泵好像包含了好多概念，目前只是零星接触了一下EXPDP和IMPDP工具。据百度而来的资料，oracle10g之后推出的这个工具在性能上要比此前的EXP和IMP要高，而且支持从高版本向低版本导入和导出，所以在需要学习数据导入导出的时候，直接考虑EXPDP和IMPDP了。在此，记录一下这两个工具...
-
编辑 删除
HASH JOIN ,MERGE JOIN ,NESTED LOOP(R2)
? 1 ，排序 - - 合并连接（ Sort Merge Join ， SMJ ） 内部连接过程： 1 ） 首先生成 row source1 需要的数据，然后对这些数据按照连接操作关联列（如 A.col3 ）进行排序。 2 ） 随后生成 row source2 需要的数据，然后对这些数据按照与 sort source1 对应的连接操作关联列（如 B.col4 ...
-
编辑 删除
Hadoop中一个distcp (R1)
hadoop中有一个叫做distcp（分布式复制）的有用程序，能从hadoop的文件系统并行复制大量数据。distcp一般用于在两个HDFS集群中传输数据。如果集群在hadoop的同一版本上运行，就适合使用hdfs方案： % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar 这将从第一个集...
-
编辑 删除
hadoop权威指南中的ncdc数据下载地址及命令 .
如题：给出hadoop权威指南--NCDC1929-2011数据下载地址ftp://ftp.ncdc.noaa.gov/pub/data/gsod/命令：The data are available via:1) WWW -- http://www.ncdc.noaa.gov/cgi-bin/res40.pl?page=gsod.html2) FTP -- ftp://ftp.ncdc.noaa.gov/pub/data/gsod via browser3) Comman...
-
编辑 删除
hadoop作业调优参数整理及原理
转载地址：http://www.csdn.net/article/2011-01-21/2906501 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预...
-
编辑 删除
hadoop 配置项的调优（R1）
dfs.block.size 决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用),mapred.map.tasks.speculative.execution=true mapred.reduce.tasks.speculative.execution=true这是两个推测式执行的配置项,默认是true所谓的推测执行，就是当所...
-
编辑 删除
Hadoop的JVM重用 (R2)
Hadoop中有个参数是mapred.job.reuse.jvm.num.tasks，默认是1，表示一个JVM上最多可以顺序执行的task数目（属于同一个Job）是1。也就是说一个task启一个JVM。 比如我配的是每个slave节点最多同时运行8个map和8个reduce。那么在map阶段，slave节点会启动最多8个JVM用于map。如下： ...
-
编辑 删除
Merge into: Oracle中用一条SQL语句直接进行Insert/Update的操作(R1)
动机：想在Oracle中用一条SQL语句直接进行Insert/Update的操作。说明：在进行SQL语句编写时，我们经常会遇到大量的同时进行Insert/Update的语句 ，也就是说当存在记录时，就更新(Update)，不存在数据时，就插入(Insert)。实战：接下来我们有一个任务，有一个表T，有两个字段a,b，我们想在表T中...
-
编辑 删除
oracle merge into用法(R1)
merge /*+parallel(16)*/into j1_ldm.LDMT02_YE_FPXX AUSING HX_DEL.FP_NSRFPJC_DEL BON ( a.nsrzhdah = 'G3'||b.DJXH and a.ywxh = 'G3'||b.NSRJCUUID and B.deal_date >= '2014-02-10 00:00:00.00...
-
编辑 删除
MapReduce流程分析(R1)
转载地址：http://blog.csdn.net/jackydai987/article/details/6227365接触Hadoop已经1年了，一直没时间好好学习下。这几天打算好好研究下Hadoop.本来是想打算改写下TextInputFormat。看了源码后，反而更迷糊了。所以干脆连MapReduce的整个流程写下来。也当为这几天的学习作个总结。先来一个我们常写的main函数。...
