ETL和数据仓库的优化
优化方案:ETL的过程原理和数据仓库建设 1.引言 数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取、转换和装载到模型的过程,整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作,SQL语句的效率将直接影响到数据仓库后台的性能。 目前,国内的大中型企业基本都具有四年以上计算机信息系统应用经验,积累了大量可分析的业务数据,这些信息系统中的数据需要通过搭建数据仓库平台才能得到科学的分析,这也是近几年数据仓库系统建设成为IT领域热门话题的原因。 2.优化的思路分析
查找数据库外键和索引
COLUMN COLUMNS format a30 word_wrappedCOLUMN tablename format a15 word_wrappedCOLUMN constraint_name format a15 word_wrappedSELECT TABLE_NAME, CONSTRAINT_NAME, CNAME1 || NVL2(CNAME2, ',' || CNAME2, NULL) || NVL2(CNAME3, ',' || CNAME3, NULL) || NVL2(CNAME4, ',' || CNAME4, NULL) || NVL2(CNAME5, ',' || CNAME5, NULL) || NVL2(CNAME6, ',' || CNAME6, NULL) || NVL2(CNAME7, ',' || CNAME7, NULL) || NVL2(CNAME8, ',' || CNAME8, NULL) COLUMNS FROM (SELECT B.TA
ORA-60死锁解决
在一个数据库的警告日志中发现产生大量的ORA-60死锁报错,并导致了udump下产生了大量的trace文件。导致/app文件系统迅速增长。分析警告日志,和死锁产生的trace文件。 警告日志节选Tue Feb 9 14:19:13 2010ORA-00060: Deadlock detected. More info in file /app/oracle/admin/NMPR1/udump/nmpr1_ora_4366.trc.Tue Feb 9 14:19:13 2010ORA-00060: Deadlock detected. More info in file /app/oracle/admin/NMPR1/udump/nmpr1_ora_4366.trc. trace 文件节选如下:Deadlock graph: ---------Blocker(s)-------- --
人生目标
第一章:一个目标 一艘没有航行目标的船,任何方向的风都是逆风 1、你为什么是穷人,第一点就是你没有立下成为富人的目标 2、你的人生核心目标是什么? 杰出人士与平庸之辈的根本差别并不是天赋、机遇,而在于有无目标。 3、起跑领先一步,人生领先一大步:成功从选定目标开始 4、贾金斯式的人永远不会成功 5、如果你想在35岁以前成功,你一定在25至30岁之间确立好你的人生目标 6、每日、每月、每年都要问自己:我是否达到了自己定下的目标 第二章:两个成功基点 站好位置,调正心态,努力冲刺,35岁以前
Dataguard实战(2)
Dataguard实战(2):RHEL4.5 安装 Oracle10G Dataguard 多个备库 - 虚拟机和oracle软件安装 收藏 二、虚拟机和oracle软件安装2.1 VMWare下安装RHEL4.5安装方法很简单,按照提示来做即可。为每个虚拟机分配 512MB 内存,10GB磁盘空间。虚拟机的网络链接方式为NAT。安装完一台虚拟机后配置静态IP,然后拷贝两份用来做备机,在拷贝的虚拟机中重新配置静态IP和MAC地址:Xwindow下:Applications - System Settings - Network - Devices - Edit - General里配置静态IP, Xwindow下:Applications - System Settings - Network - Devices - Edi
Oracle基本知识点总结三
Oracle的安装卸载。Oracle安装比较简单,到处都有资料,卸载比较复杂,在这里只总结一下卸载的步骤。用其自带的卸载工具不能彻底删除oracle安装的文件。卸载步骤如下:步骤1:删除Oracle注册表,位置如下: HKEY_LOCAL_MACHINESOFTWAREORACLE步骤2:删除Oracle服务,在注册表中的位置如下: HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServicesORACLE步骤3:删除事件日志,在注册表中位置: HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServicesEventlogApplication删除所有以oracle开头的项。步骤4:删除Oracle环境变量: 在右
Oracle知识点总结二
二、数据库名、实例名、服务名与DBA管理工具。 数据库名:数据库名是用于区分一个数据的内部标识,即是Oracle数据库的内部标记,是以二进制方式存储于数据库控制文件(不可编辑)中的参数,在参数文件PFILE中也存在DB_NAME属性(可以编辑)。作用:数据库名DB_NAME是数据库的内部管理标记,在安装数据库、创建新的数据库、创建数据库控制文件、修改数据库结构、使用数据库备份与恢复工具进行数据库备份时都需要使用数据名。在安装数据库之后,数据库的物理结构文件目录中要使用数据库名:%oracle_home%oradataFIRST*.*(其中first为DB_NAME指
Oracle基本知识点总结一
理解Oracle 的tnsnames.ora和listener.ora 两个文件存放的目录:%oracle_home%ora92networkadmin(windows 2000 server下安装oracle9i)具体意思:tnsnames.ora文件指定了在本地计算机上要访问的网络上的oracle服务,即下面要说的listener(在要连接的oracle服务器上必须有相应的listener)例:FIRST = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = wes)(PORT = 1521)) ) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = first.wes) –这是通过全局数据库名命名的 ) )FIRST = (D
Dataguard实战(1):RHEL4.5 安装 Oracle10G Dataguard 多个备库 - 规划(转载)
Dataguard实战(1):RHEL4.5 安装 Oracle10G Dataguard 多个备库 - 规划 收藏 纯命令方式创建,包括一个主库,一个物理备库,一个逻辑备库。平台:VMWare Server1.07、RHEL4.5 X86、Oracle10.2.0.1+p6810189_10204。目录:一、规划二、虚拟机和oracle软件安装三、新建主库(主机vmone)四、主库准备工作(主机vmone)五、建立物理备库一(主机vmtwo)六、建立物理备库二(主机vmthree)七、物理备库数据同步测试八、更改物理备库为最大可用或最大保护模式九、转物理备库二为逻辑备库(主机vmthree)十、逻辑备库同步数据测试十一、主备库的
vmstat 详细解释
vmstat 命令报告虚拟内存统计信息和CPU负荷:页面调度,交换,任务交换,CPU利用率。命令的语法是: vmstat [-cisS] [d1 d2 d3 d4] [interval [count]] 当不用选项时,vmstat显示一条曲线表示自从系统启动后活动的信息。如果指定interval(时间间隔),接下来的线是重复显示最后的interval期间活动的情况,直到用户中断命令执行。当同时提供计数器时,统计信息按时间计数来显示。 如果指定了一个磁盘名(如d1,d2,等等。),这些磁盘得到优先显示。通常,系统上的前4个磁盘设备是显示的,因为只有四个设备能在一线条上显
Oracle中捕获问题SQL解决CPU过渡消耗
Oracle中捕获问题SQL解决CPU过渡消耗 本文通过实际业务系统中调整的一个案例,试图给出一个常见CPU消耗问题的一个诊断方法.大多数情况下,系统的性能问题都是由不良SQL代码引起的,那么作为DBA,怎样发现和解决这些SQL问题就显得尤为重要. 本案例平台为Unix,所以不可避免的应用了一些Unix下常用的工具.如vmstat,top等. 本文适宜读者范围:中高级. 系统环境: OS: Solaris8 Oracle: 8.1.7.4 问题描述: 开发人员报告系统运行缓慢,已经影响业务系统正常使用.请求协助诊断. 1.登陆数据库主机 使用vm
ora-12520 RAC(转载)
朋友搭的一套rac,由于网络变更修改了public ip和vip,之后rac启动正常,listener状态正常,用plsql developer连接数据库报错ora-12520查找了一下原因:系统设置了一个local_listener,而这个local_listener在tns里面的配置ip还是原来的ip,修改为新ip之后重启监听和resources,可以正常连接了!附:[oracle@db1 ~]$ sqlplus test@orclSQL*Plus: Release 10.1.0.3.0 - Production on Sat Mar 22 22:37:51 2008Copyright (c) 1982, 2004, Oracle. All rights reserved.Enter password: ERROR:ORA-12520: TNS:listener could not find avai
Oracle性能优化经验分享之系统参数设置(装载)
Oracle性能优化经验分享之系统参数设置SGAITPUB个人空间s9S-^mG/d7EKy1、Shared pool tunning3o k n,^1zy6~1PAy;e22934571Shared pool的优化应该放在优先考虑,因为一个cache miss在shared pool中发生比在data buffer中发生导致的成本更高,由于dictionary数据一般比library cache中的数据在内存中保存的时间长,所以关键是library cache的优化。ITPUB个人空间'lN}}M XqcIGets:(parse)在namespace中查找对象的次数;4{{‑kBp22934571Pins:(execution)在namespace中读取或执行对象的次数;ITPUB个人空间;~T;Hg.zI b
提高SQL查询性能的7个法宝(转载)
提高SQL查询性能的7个法宝2010年04月30日 00:05 IT168网站原创 作者:IT168 黄永兵译 编辑:晓熊 评论:14条 本文Tag: DB2数据库优化 Oracle数据库优化 SQL Server数据库优化 数据库 【IT168专稿】每个数据库平台上的SQL开发人员都是在困难中求得生存,我们总是一次又一次犯同样的错误,这是因为数据库领域还相对不成熟,是的,每个数据库厂商都在做着各种不同的努力,但作为开发人员仍然要克服各种问题,无论是在SQL Server,Oracle,DB2,Sybase,MySQL数据库,还是其它关系数据库平台上编写SQL代码,并发性、资源管理、空间管理和
GOLDERGATE DATAGUARD AND STREAM 区别
在数据同步和迁移方面,Oracle GoldenGate和Dataguard以及stream复制的区别。可以这么说,GoldenGate是Oracle在数据迁移和数据同步方面要重点发展的产品,当然支持异构是其最大亮点。与Dataguard对比,GoldenGate在战略上是更高层次的产品,这点从GoldenGate的购买中甚至包含Dataguard的License就可见一斑,从功能上来说,GoldenGate针对Dataguard的最大优势当然是支持异构,但是,GoldenGate也不会取代Dataguard,原因很简单,Dataguard支持同步复制,而GoldenGate从原理上来说实现不了,因此,这两个产品都会持续发展下去,但从重要性来
oracle 10g expdp and impdp实例
oracle pump expdp impdp初试 用expdp或impdp命令时, 可暂不指出用户名/密码@实例名 as 身份, 然后根据提示再输入, 如: host expdp schemas=scott dumpfile=expdp.dmp DIRECTORY=dpdata1; 一. 创建逻辑目录, 该命令不会在操作系统创建真正的目录. 最好以system等管理员创建. create directory dpdata1 as 'd:testdump'; 二. 查看管理理员目录(同时查看操作系统是否存在, 因为Oracle并不关心该目录是否存在, 如果不存在, 则出错.) select * from dba_directories; 三. 给scott用户赋予在指定目录的操作权限, 最好以system等管理员赋予. gra
解决:ORA-12516错误
解决过程:1、查看当前会话数、processes和sessions值,发现session数和2个参数的值已经非常逼近SQL*Plus: Release 10.2.0.1.0 - Production on 星期一 10月 9 15:50:21 2006Copyright (c) 1982, 2005, Oracle. All rights reserved.SQL> conn / as sysdba已连接。SQL> select count(*) from v$session;COUNT(*)---------- 45SQL> show parameter processesNAME TYPE VALUEdb_writer_processes integer 1gcs_server_processes integer
UNDO redo.log损坏!
1:redo.log损坏,或者UNDO 表空间损坏,数据库肯定会DOWN. 2:创建pifle,修改pfile undo_management=manual3:startup pfile='....'4:open以后,create spfile from pfile5:修改undo_management=auto6:重启 解决思路:将UNDO_MANAGEMENT修改为manul,下次启动数据库时,则系统使用的是system表空间的回滚段(rollback segment)。1、 模拟undo表空间出错的情况,将该表空间名字修改为一个错误的名字。则下次启动使用spfile时,会因为无法找到该表空间而报错。SQL> alter system set undo_tablespace=undotbs11 scope=spfile;Syst
Oracle操作系统认证
默认情况下,在Oracle的主机上(linux系统)的Oracle操作系统用户下,以sys用户登陆数据库时可以不用输入密码直接登录。实际上,只要是属于dba组(linux)或osdba组(windows)下,都可以不用密码进行登录。这是认证方式称为OS认证。这种登录方式的控制,是通过$ORACLE_HOME/network/admin/sqlnet.ora中的:SQLNET.AUTHENTICATION_SERVICES参数来控制的。有三个值可取:1、NTS。这个参数是主机操作系统是windows的时候专用的。当在windows上设置该参数后,即可进行OS认证。需要注意的是,该参数是windows专用的。如果oracle是装在unix类系
dataguard 管理和维护详解
http://blog.csdn.net/aicon/archive/2010/08/09/5799311.aspx[@more@]http://blog.csdn.net/aicon/archive/2010/08/09/5799311.aspx