ITPub博客

  1. 内存 hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。 大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。如果我想单独设置namenode的内存，可以通过HADOOP_NAMENODE_OPTS来设置。 export Hadoop_NAMENODE_OPTS="-Xmx15360m -Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS" 同样的，可以通过HADOOP_SECONDARYNAMENODE

SUM 功能描述：该函数计算组中表达式的累积和。SAMPLE：下例计算同一经理下员工的薪水累积值SELECT manager_id, last_name, salary,SUM (salary) OVER (PARTITION BY manager_id ORDER BY salaryRANGE UNBOUNDED PRECEDING) l_csumFROM employeesWHERE manager_id in (101,103,108);MANAGER_ID LAST_NAME SALARY L_CSUM---------- ------------------------- ---------- ----------101 Whalen 4400 4400101 Mavris 6500 10900101 Baer 10000 20900101 Greenberg 12000 44900101 Higgins 12000 44900103 Lorentz 4200 4200103 Austin 4800

ROW_NUMBER 功能描述：返回有序组中一行的偏移量，从而可用于按特定标准排序的行号。SAMPLE：下例返回每个员工再在每个部门中按员工号排序后的顺序号SELECT department_id, last_name, employee_id, ROW_NUMBER()OVER (PARTITION BY department_id ORDER BY employee_id) AS emp_idFROM employeesWHERE department_id < 50;DEPARTMENT_ID LAST_NAME EMPLOYEE_ID EMP_ID------------- ------------------------- ----------- ----------10 Whalen 200 120 Hartstein 201 120 Fay 202 230 Raphaely 114 130 Khoo 115 230 Baida 116 330 T

LEAD 功能描述：LEAD与LAG相反，LEAD可以访问组中当前行之后的行。Offset是一个正整数，其默认值为1，若索引超出窗口的范围，就返回默认值（默认返回的是组中第一行）SAMPLE：下面的例子中每行的"NextHired"返回按hire_date排序的下一行的hire_date值SELECT last_name, hire_date, LEAD(hire_date, 1) OVER (ORDER BY hire_date) AS "NextHired" FROM employees WHERE department_id = 30;LAST_NAME HIRE_DATE NextHired------------------------- --------- ---------Raphaely 07-DEC-94 18-MAY-95Khoo 18-MAY-95 24

PERCENT_RANK 功能描述：和CUME_DIST（累积分配）函数类似，对于一个组中给定的行来说，在计算那行的序号时，先减1，然后除以n-1（n为组中所有的行数）。该函数总是返回0～1（包括1）之间的数。SAMPLE：下例中如果Khoo的salary为2900，则pr值为0.6，因为RANK函数对于等值的返回序列值是一样的SELECT department_id, last_name, salary, PERCENT_RANK() OVER (PARTITION BY department_id ORDER BY salary) AS prFROM employeesWHERE department_id < 50ORDER BY department_id,salary;DEPARTMENT_ID LAST_NAME SALARY PR-------------

RATIO_TO_REPORT 功能描述：该函数计算expression/(sum(expression))的值，它给出相对于总数的百分比，即当前行对sum(expression)的贡献。SAMPLE：下例计算每个员工的工资占该类员工总工资的百分比SELECT last_name, salary, RATIO_TO_REPORT(salary) OVER () AS rrFROM employeesWHERE job_id = 'PU_CLERK';LAST_NAME SALARY RR------------------------- ---------- ----------Khoo 3100 .223021583Baida 2900 .208633094Tobias 2800 .201438849Himuro 2600 .18705036Colmenares 2500 .179856115REGR_ (Linear Regression) Functions 功

FIRST 功能描述：从DENSE_RANK返回的集合中取出排在最前面的一个值的行（可能多行，因为值可能相等），因此完整的语法需要在开始处加上一个集合函数以从中取出记录SAMPLE：下面例子中DENSE_RANK按部门分区，再按佣金commission_pct排序，FIRST取出佣金最低的对应的所有行，然后前面的MAX函数从这个集合中取出薪水最低的值；LAST取出佣金最高的对应的所有行，然后前面的MIN函数从这个集合中取出薪水最高的值SELECT last_name, department_id, salary,MIN(salary) KEEP (DENSE_RANK FIRST ORDER BY commission_pct)OVER (PARTITION BY depar

COVAR_SAMP 功能描述：返回一对表达式的样本协方差SAMPLE：下例CUM_COVS返回定价和最小产品价格的累积样本协方差SELECT product_id, supplier_id,COVAR_POP(list_price, min_price) OVER (ORDER BY product_id, supplier_id) AS CUM_COVP,COVAR_SAMP(list_price, min_price)OVER (ORDER BY product_id, supplier_id) AS CUM_COVS FROM product_information pWHERE category_id = 29ORDER BY product_id, supplier_id;PRODUCT_ID SUPPLIER_ID CUM_COVP CUM_COVS---------- ----------- ---------- ----------1774 103088 01775 103087 1473

Oracle从8.1.6开始提供分析函数，分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是对于每个组返回多行，而聚合函数对于每个组只返回一行。下面例子中使用的表来自Oracle自带的HR用户下的表，如果没有安装该用户，可以在SYS用户下运行$ORACLE_HOME/demo/schema/human_resources/hr_main.sql来创建。少数几个例子需要访问SH用户下的表，如果没有安装该用户，可以在SYS用户下运行$ORACLE_HOME/demo/schema/sales_history/sh_main.sql来创建。如果未指明缺省是在HR用户下运行例子。开窗函数的的理解：开窗函数指定了分析函数工作

EXPLAIN结果字段如下：字段名 字段类型 含义 STATEMENT_ID VARCHAR2(30) explain PLAN 语句中所指定的最优STATEMENT_ID 参数值, 如果在EXPLAN PLAN语句中没有使用SET STATEMENT_ID，那么此值会被设为NULL。 REMARKS VARCHAR2(80) 与被解释规划的各步骤相关联的注释最长可达80 字节 OPERATION VARCHAR2(30) 各步骤所执行内部操作的名称在某条语句所产生的第一行中该列的可能取值如下DELETE STATEMENT INSERT STATEMENT SELECT STATEMENT UPDATE STATEMENT OPTIONS VARCHAR2(30) 对OPERATION 列中所描述操作的变种 OBJECT_NODE VARCHAR2(128

六、其它留给大家讨论的地方我这里的文章仅仅是抛一个砖头，也写的很仓促，难免可能有错误，欢迎大家继续讨论，我会继续整理相关内容并返回给大家。大家还可以从多个方面讨论，如1、 在实际使用中，本地管理表空间带来的好处2、 本地管理表空间的bug，如8i中在临时，回滚中使用本地管理表空间3、 关于本地管理表空间其他看法…………s若 db_block-size 为 16k和16k以下，数据文件头是 64k 保留空间若是32k的block size ,则是 保留 128k/******************************************/SQL> create tablespace test datafile 'e:test.dbf'

四、本地管理表空间管理机制表空间是一种为段（表，索引等）提供空间的逻辑结构，所以，当在表空间中增加，删除段的时候，数据库就必须跟踪这些空间的使用。如下例所示，假定一个新创建的表空间包含了五个表表一……表二……表三……表四……表五……未用空间当我们删除表四的时候，就有如下结果表一……表二……表三……空闲空间段……表五……未用空间很明显，ORACLE需要有一个机制来管理表空间中各数据文件的这些分配的或未分配的空间，为了跟踪这些可以使用的空间（包括未分配使用的和可以重复使用的），对于每一个空间，我们必须知道

五、迁移到本地管理表空间在很多情况下，如果你想在字典表空间与本地表空间之间转换是很难的，你可能需要转出该表空间所有的数据，从新创建表空间，再加载该数据。但是在816以后，有一个叫dbms_space_admin的包使两类表空间的互相转换变成可能，体现在如下两个过程：DBMS_SPACE_ADMIN.TABLESPACE_MIGRATE_TO_LOCAL DBMS_SPACE_ADMIN.TABLESPACE_MIGRATE_FROM_LOCAL 但是在你想利用这个过程进行转换的时候，你必须注意两件事：1、 数据库版本必须是816以上，兼容版本(compatible)必须是8.1以上2、 如果是转换成为本地管理，必须有足够的空闲

三、本地管理表空间的由来在 Oracle8I的版本中，Oracle推出了一种全新的表空间管理方式：本地化管理的表空间。所谓本地化管理，就是指Oracle不再利用数据字典表来 记录Oracle表空间里面的区的使用状况，而是在每个表空间的数据文件的头部加入了一个位图区，在其中记录每个区的使用状况。每当一个区被使用，或者被 释放以供重新使用时，Oracle都会更新数据文件头部的这个记录，反映这个变化。本地化管理的表空间的创建过程：　　　语法：CREATE TABLESPACE 表空间名字　　　　　　　　　　DATAFILE '数据文件详细信息'　　　　　　　　　

二、名词解释与约定表空间（Tablespace）——为数据库提供使用空间的逻辑结构，其对应物理结构是数据文件，一个表空间可以包含多个数据文件本地管理表空间（Locally Managed Tablespace简称LMT）——8i以后出现的一种新的表空间的管理模式，通过本地位图来管理表空间的空间使用。字典管理表空间（Dictionary-Managed Tablespace简称DMT）——8i以前包括以后都还可以使用的一种表空间管理模式，通过数据字典管理表空间的空间使用。段（Segment）——数据库一种逻辑结构，如表段，索引段，回滚段等，段存在于表空间中，并对应一定的存储空间

本地管理表空间Locally Managed Tablespace一、概述1、理解本地管理表空间的由来2、理解什么是字典管理表空间及工作原理3、理解本地管理表空间的优势（为什么要使用本地管理表空间）4、理解本地管理表空间的内部结构5、理解字典管理表空间与本地管理表空间的转换[@more@]

rmanfullbak.batrman target sys/passw0rd nocatalog cmdfile 'd:rmanbakfullbackup.rman' log 'd:rmanbakfullbackup.log'fullbackup.rmanrun {allocate channel c1 type disk;backup full tag 'dbfull' format 'e:rmanbakora_o_%u_%s_%p' database ;sql 'alter system archive log current' ;backup(archivelog all delete input format 'e:orabakrman_bkora_a_%u_%s_%p');backup format ‘e:orabakrman_bkcntrl_%u_%s_%p' CURRENT CONTROLFILE;release channel c1;}db_back.cmdrun {sql 'alter system archive log current';allocate ch

在Oracle9i之前，仅有的两个CBO模式是ALL_ROWS以及FIRST_ROWS。传统的FIRST_ROWS SQL最优化的缺点之一是，它的运算法则并没有特别指定行检索的范围。 但是，在Oracle9i中包含了几个新的最优化指令： FIRST_ROWS_1 FIRST_ROWS_10 FIRST_ROWS_100 FIRST_ROWS_1000 FIRST_ROWS_n最优化会指示选择一个查询执行计划，这个计划会缩短生成最初n行查询结果的时间。 你可以把这个新的CBO模式设置到数据库中的几个层次上：systemwide，在会话层或者在查询层次上。 alter system set optimizer_mode=first_rows_100; alter session set optimizer_

一、表/*先介绍一下rowid的定义规则：第7～9位是表示的是数据文件，而10～15位表示的是在这个数据文件中的第几个BLOCK。rowid编码相当于64进制。用A~Z a~z 0~9 + /共64个字符表示。A表示0，B表示1，……，a表示26，……，0表示52，……，+表示62，/表示63。）接下来看几个基本概念：一个table至少有一个segment，如果分区表，则每个分区是一个segment。segment由一个或多个extents组成，segment不可以跨表空间但可以跨数据文件。extent由多个连续的blocks组成，不可以跨数据文件。block由1-多个os块组成，是oracle i/o的最小存储单位。*/-

Q1. How to configure "listener.ora" and "tnsnames.ora"A1. Usually, NETCA will launch automatically during the DBCA. IF you have encountered some errors or want to reconfig them later, please do the following things:(1) Launch NETCA ;(2) Choose the option "Cluster" in the first page;(3) Choose one type such as "create listener","create local net service";(4) Test the new created listener or local net service until success;(5) By default, the appli