-
编辑 删除
left join (1:n/n:1/m:n)验证(R1)
SQL> select * from a; ID NAME---------- ---------- 1 a 2 b 3 cSQL> select * from b; ...
-
编辑 删除
oracle的left join，right join和full join的一点介绍(R1)
oracle的left join，right join和full join的一点介绍 以下是摘自oracle ocp9i文档： outer join syntax: 1)you use an outer join to also see rows that do not meet the join condition ...
-
编辑 删除
EXPDP和IMPDP参数详细解释
首先标题不知道是否正确，oracle数据泵好像包含了好多概念，目前只是零星接触了一下EXPDP和IMPDP工具。据百度而来的资料，oracle10g之后推出的这个工具在性能上要比此前的EXP和IMP要高，而且支持从高版本向低版本导入和导出，所以在需要学习数据导入导出的时候，直接考虑EXPDP和IMPDP了。在此，记录一下这两个工具...
-
编辑 删除
HASH JOIN ,MERGE JOIN ,NESTED LOOP(R2)
? 1 ，排序 - - 合并连接（ Sort Merge Join ， SMJ ） 内部连接过程： 1 ） 首先生成 row source1 需要的数据，然后对这些数据按照连接操作关联列（如 A.col3 ）进行排序。 2 ） 随后生成 row source2 需要的数据，然后对这些数据按照与 sort source1 对应的连接操作关联列（如 B.col4 ...
-
编辑 删除
Hadoop中一个distcp (R1)
hadoop中有一个叫做distcp（分布式复制）的有用程序，能从hadoop的文件系统并行复制大量数据。distcp一般用于在两个HDFS集群中传输数据。如果集群在hadoop的同一版本上运行，就适合使用hdfs方案： % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar 这将从第一个集...
-
编辑 删除
hadoop权威指南中的ncdc数据下载地址及命令 .
如题：给出hadoop权威指南--NCDC1929-2011数据下载地址ftp://ftp.ncdc.noaa.gov/pub/data/gsod/命令：The data are available via:1) WWW -- http://www.ncdc.noaa.gov/cgi-bin/res40.pl?page=gsod.html2) FTP -- ftp://ftp.ncdc.noaa.gov/pub/data/gsod via browser3) Comman...
-
编辑 删除
hadoop作业调优参数整理及原理
转载地址：http://www.csdn.net/article/2011-01-21/2906501 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预...
-
编辑 删除
hadoop 配置项的调优（R1）
dfs.block.size 决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用),mapred.map.tasks.speculative.execution=true mapred.reduce.tasks.speculative.execution=true这是两个推测式执行的配置项,默认是true所谓的推测执行，就是当所...
-
编辑 删除
Hadoop的JVM重用 (R2)
Hadoop中有个参数是mapred.job.reuse.jvm.num.tasks，默认是1，表示一个JVM上最多可以顺序执行的task数目（属于同一个Job）是1。也就是说一个task启一个JVM。 比如我配的是每个slave节点最多同时运行8个map和8个reduce。那么在map阶段，slave节点会启动最多8个JVM用于map。如下： ...
-
编辑 删除
Merge into: Oracle中用一条SQL语句直接进行Insert/Update的操作(R1)
动机：想在Oracle中用一条SQL语句直接进行Insert/Update的操作。说明：在进行SQL语句编写时，我们经常会遇到大量的同时进行Insert/Update的语句 ，也就是说当存在记录时，就更新(Update)，不存在数据时，就插入(Insert)。实战：接下来我们有一个任务，有一个表T，有两个字段a,b，我们想在表T中...
-
编辑 删除
oracle merge into用法(R1)
merge /*+parallel(16)*/into j1_ldm.LDMT02_YE_FPXX AUSING HX_DEL.FP_NSRFPJC_DEL BON ( a.nsrzhdah = 'G3'||b.DJXH and a.ywxh = 'G3'||b.NSRJCUUID and B.deal_date >= '2014-02-10 00:00:00.00...
-
编辑 删除
MapReduce流程分析(R1)
转载地址：http://blog.csdn.net/jackydai987/article/details/6227365接触Hadoop已经1年了，一直没时间好好学习下。这几天打算好好研究下Hadoop.本来是想打算改写下TextInputFormat。看了源码后，反而更迷糊了。所以干脆连MapReduce的整个流程写下来。也当为这几天的学习作个总结。先来一个我们常写的main函数。...
-
编辑 删除
optimizer_dynamic_sampling参数
总结：ORACLE在遇到没有统计数据的对象时，会很聪明地计算出增加的编译时间是否值得，如果值得，oracle会对对象数据块的一部分进行抽样来估算统计数据。动态收集的统计信息不会保存在数据字典中。这个参数的默认值= 1（9I）（10克：optimizer_dynamic_sampling参数= 2） ，相关资料如下：1。动态采样（...
-
编辑 删除
11g 新特性IGNORE_ROW_ON_DUPKEY_INDEX提示(R1)
转载地址：http://www.oracledatabase12g.com/archives/11g-%E6%96%B0%E7%89%B9%E6%80%A7ignore_row_on_dupkey_index%E6%8F%90%E7%A4%BA.html11g中引入一些功能强大的hint提示，其中就包括了IGNORE_ROW_ON_DUPKEY_INDEX。其官方定义为:“The IGNORE_ROW_ON_DUPKEY_INDEX hint applies only to single-table INSERT ...
-
编辑 删除
Hadoop 2.0 代码：Client端代码简要分析
1.概览 以下主要叙述Hadoop如何将用户写好的MR程序，以Job的形式提交 主要涉及的四个java类文件：hadoop-mapreduce-client-core下的包org.apache.hadoop.mapreduce： Job.java、JobSubmitter.javahadoop-mapreduce-client-jobclient下的包...
-
编辑 删除
Hadoop：The Definitive Guid 总结 Chapter 10 管理Hadoop
1.HDFS1).永久性数据结构A.NameNode的目录结构NameNode被格式化之后，将产生所示的目录结构：${dfs.name.dir}/current/VERSION &nbs...
-
编辑 删除
Hadoop：The Definitive Guid 总结 Chapter 9 构建MapReduce集群
1.集群规范1)配置规范一般Hadoop DataNode和TaskTracker节点典型机器具有吐下规范：处理器：2个四核 2~2.5 GHz CPU内存：16~24 ECC RAM存储器：4*1TB SATA 磁盘网络：千兆以太网2).网络拓扑Hadoop集群架构包含两级网络拓扑，如下图所示，机架拓扑由两个网络位置描述，例如...
-
编辑 删除
Hadoop：The Definitive Guid 总结 Chapter 8 MapReduce的特性
1.计数器计数器是一种收集Job统计的有效手段，用于质量控制或应用级统计。计数器的应用使得获取统计数据比使用日志文件获取数据更加容易。1).内置计数器Hadoop的内置计数器用来描述Job的各项指标，例如已处理的字节数和记录数，输入数据量和输出数据量。内置计数器被分为几类(group):实际上每类...
-
编辑 删除
Hadoop：The Definitive Guid 总结 Chapter 7 MapReduce的类型与格式
MapReduce数据处理模型非常简单：map和reduce函数的输入和输出是键/值对(key/value pair) 1.MapReduce的类型Hadoop的MapReduce一般遵循如下常规格式：map(K1, V1) –> list (K2, V2) combine(K2, li...
-
编辑 删除
Hadoop：The Definitive Guid 总结 Chapter 6 MapReduce的工作原理（R1）
1.剖析MapReduce作业运行机制1).经典MapReduce--MapReduce1.0整个过程有有4个独立的实体客户端：提交MapReduceJobTracker：协调作业的运行TaskTracker：运行作业划分后的任务HDFS：用来在其他实体之间共享作业文件以下为运行整体图A.作业的提交JobClient的runJob...
