ITPub博客

总结：ORACLE在遇到没有统计数据的对象时，会很聪明地计算出增加的编译时间是否值得，如果值得，oracle会对对象数据块的一部分进行抽样来估算统计数据。动态收集的统计信息不会保存在数据字典中。这个参数的默认值= 1（9I）（10克：optimizer_dynamic_sampling参数= 2） ，相关资料如下：1。动态采样（...

转载地址：http://www.oracledatabase12g.com/archives/11g-%E6%96%B0%E7%89%B9%E6%80%A7ignore_row_on_dupkey_index%E6%8F%90%E7%A4%BA.html11g中引入一些功能强大的hint提示，其中就包括了IGNORE_ROW_ON_DUPKEY_INDEX。其官方定义为:“The IGNORE_ROW_ON_DUPKEY_INDEX hint applies only to single-table INSERT ...

1.概览  以下主要叙述Hadoop如何将用户写好的MR程序，以Job的形式提交  主要涉及的四个java类文件：hadoop-mapreduce-client-core下的包org.apache.hadoop.mapreduce：       Job.java、JobSubmitter.javahadoop-mapreduce-client-jobclient下的包...

1.HDFS1).永久性数据结构A.NameNode的目录结构NameNode被格式化之后，将产生所示的目录结构：${dfs.name.dir}/current/VERSION                          &nbs...

1.集群规范1)配置规范一般Hadoop DataNode和TaskTracker节点典型机器具有吐下规范：处理器：2个四核 2~2.5 GHz CPU内存：16~24 ECC RAM存储器：4*1TB SATA 磁盘网络：千兆以太网2).网络拓扑Hadoop集群架构包含两级网络拓扑，如下图所示，机架拓扑由两个网络位置描述，例如...

1.计数器计数器是一种收集Job统计的有效手段，用于质量控制或应用级统计。计数器的应用使得获取统计数据比使用日志文件获取数据更加容易。1).内置计数器Hadoop的内置计数器用来描述Job的各项指标，例如已处理的字节数和记录数，输入数据量和输出数据量。内置计数器被分为几类(group):实际上每类...

MapReduce数据处理模型非常简单：map和reduce函数的输入和输出是键/值对(key/value pair) 1.MapReduce的类型Hadoop的MapReduce一般遵循如下常规格式：map(K1, V1) –> list (K2, V2)              combine(K2, li...

1.剖析MapReduce作业运行机制1).经典MapReduce--MapReduce1.0整个过程有有4个独立的实体客户端：提交MapReduceJobTracker：协调作业的运行TaskTracker：运行作业划分后的任务HDFS：用来在其他实体之间共享作业文件以下为运行整体图A.作业的提交JobClient的runJob...

1.数据存储与分析问题：当磁盘的存储量随着时间的推移越来越大的时候，对磁盘上的数据的读取速度却没有多大的增长从多个磁盘上进行并行读写操作是可行的，但是存在以下几个方面的问题：1).第一个问题是硬件错误。使用的硬件越多出错的几率就越大。一种常用的解决方式是数据冗余，保留多分拷贝，即使一份数据...

1.       Introduction to HDFS1.1.     HDFS Concepts1.1.1.      Blocksl         HDFS too has the concept of a block, but it is a much larger unit 64 MB by defau...

参考：1 caibinbupt的源代码分析http://caibinbupt.javaeye.com/2 coderplay的avaeyehttp://coderplay.javaeye.com/blog/295097http://coderplay.javaeye.com/blog/3186023 Javen-Studio 咖啡小屋http://www.cppblog.com/javenstudio/articles/43073.html一 MapReduce概述Map/Reduce是一...

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：public static RunningJob runJob(JobConf job) throws IOException {  //首先生成一个JobClient对象  JobClient j...

一、文件的打开1.1、客户端HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为：public FSDataInputStream open(Path f, int bufferSize) throws IOException {  return new DFSClient.DFSDataInputStream(...

一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。...

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-0067011990999991950051507+0000+...

 转载地址：http://www.cnblogs.com/linjiqin/archive/2012/04/01/2428695.html 数据库设计三大范式为了建立冗余较小、结构合理的数据库，设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式是符合某一种设计要求的总结。要想设计一个结构合理的关系型数据库，必须满足一定的范式。...

-----------------------------------------------------------hadoop集群规划IP地址          hostname------------    --------10.10.10.100 master(namenode,secondary namenode,job tracker)10.10.10.101 slave1(datanode,tasktracker)...

虚拟机软件VMWare Server2.0操作系统：RedHat Enterprise Linux Server 5.3(32bit)hadoop版本：0.20.2jdk版本：1.7注意：各操作用户请注意查看命令行的提示符1、首先查看下该虚拟机系统的网络配置[root@hadoop ~]# cat /etc/hosts# Do not remove the following line, or various programs# that require net...

对大表进行插入时，数据非常多，会把undo表空间撑爆，导致插入不成功，可以使用批量提交进行插入，及时释放回滚段declare  --定义cursor把数据全部读入内存中  cursor cur is    select nsrzhdah， sfzjlx_dm， sfzjhm，       xm，    ...

SQL> select * from flashback_table_test;        ID NAME---------- --------------------------------------------------       100 thomas         2 jack      &...