用oradebug short_stack及strace -p分析oracle进程是否dead或出现故障
1,可以采用oradebug或者strace -p跟踪后台或前台进程是否dead或hang住2,如果进程出现故障,必会在对应的TRC文件写入最新信息,基于此可以获取非常重要的信息进一步分析与诊断 日志文件在background_dump_dest3,采用 ll -lhrt *lgwr*|tail -10f 获取最新的进程的TRC文件4,而且出现故障时,多半会在A...
oralce之 10046对Hash Join分析
前两天解决了一个优化SQL的case,SQL语句如下,big_table为150G大小,small_table很小,9000多条记录,不到1M大小,hash_area_size, sort_area_size均设置足够大,可以进行optimal hash join和memory sort。123...
oracle之 等待事件LOG FILE SYNC (awr)优化
log file sycn是ORACLE里最普遍的等待事件之一,一般log file sycn的等待时间都非常短 1-5ms,不会有什么问题,但是一旦出问题,往往都比较难解决。什么时候会产生log file sync等待?常见有以下几种:1)commit操作2)rollback操作3)DDL操作(DDL操作实施前都会首先进行一次commit)4)DDL操作导致的数据字典修改所产...
Oracle之 等待事件log file sync + log file parallel write (awr优化)
这是3月份某客户的情况,原因是server硬件故障后进行更换之后,业务翻译偶尔出现提交缓慢的情况。我们先来看下awr的情况。 我们能够看到,该系统的load profile信息事实上并不高,每秒才21个transaction。先来看看top5events:从top 5event,我们能够发现,log file sync的avg wait很之高,高达...
oracle之 sqlplus prelim 参数介绍 ( 处理hang )
从Oracle10g开始,sqlplus提供了一个参数选项-prelim,用这个参数,在系统已经hang的时候。我们可以连接到SGA而不是数据库,也就是说没有session被创建。一. 通过以下步骤可以获取系统信息:sqlplus -prelim / as sysdbaoradebug setmypidoradebug unlimit;oradebug dump systemstate 10对于9i数据库,可以通...
IMP-00013: 只有 DBA 才能导入由其他 DBA 导出的文件
IMP-00013: only a DBA can import a file exported by another DBA处理方法:在给目标环境的用户赋予dba权限,或者细粒度一些,赋予imp_full_database的权限 (常规)-- 查看用户权限SQL> select * from dba_sys_privs where grantee = 'XXX';SQL> select * from dba_role_privs where grantee ='XXX';说明:发...
Oracle 之 AIO (异步io)
Linux 异步 I/O (AIO)是 Linux 内核中提供的一个增强的功能。它是Linux 2.6 版本内核的一个标准特性,AIO 背后的基本思想是允许进程发起很多 I/O 操作,而不用阻塞或等待任何操作完成。稍后或在接收到 I/O 操作完成的通知时,进程就可以检索 I/O 操作的结果。同步IO:线程启动一个IO操作然后就立即进入等待状态,直...
Linux之 iostat 解读磁盘io
1、iostat[oracle@orastb log]$ iostatLinux 3.10.0-327.el7.x86_64 (orastb.bonc.com.cn) 09/07/2017 _x86_64_ (32 CPU)avg-cpu: %user %nice %system %iowait %steal %idle0.70 0.00 0.19 0.01 0.00 99.09Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtnsda 19.01 133.47 381.19 833489930 2380474826sd...
hadoop之 HDFS-Hadoop存档
每个文件按块方式存储, 每个块的元数据存储在namenode的内存中Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问Hadoop存档文件可以用作MapReduce的输入使用Hadoop存档工具Hadoop存档是通过archive工具根据一组文件创...
hadoop 之distcp(分布式拷贝)
概述distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法,这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用di...
hadoop之 解析HDFS的写文件流程
文件是如何写入HDFS的 ?下面我们来先看看下面的“写”流程图: 假如我们有一个文件test.txt,想要把它放到Hadoop上,执行如下命令:引用 # hadoop fs -put /usr/bigdata/dataset/input/20...
Linux之 手动释放内存
我们在进程中要怎样去描述一个文件呢?我们用目录项(dentry)和索引节点(inode)。它们的定义如下:所谓"文件", 就是按一定的形式存储在介质上的信息,所以一个文件其实包含了两方面的信息,一是存储的数据本身,二是有关该文件的组织和管理的信息。在内存中, 每个文件都有一个dentry(目录项)和inode(索引节点)结构。...
hadoop之 Hadoop2.2.0中HDFS的高可用性实现原理
在Hadoop2.0.0之前,NameNode(NN)在HDFS集群中存在单点故障(single point of failure),每一个集群中存在一个NameNode,如果NN所在的机器出现了故障,那么将导致整个集群无法利用,直到NN重启或者在另一台主机上启动NN守护线程。 主要在两方面影响了HDFS的可用性: (1)、在不可预测的情况下,如果NN所在的...
虚拟路由冗余协议VRRP
一、VRRP简介虚拟路由冗余协议VRRP(Virtual Router Redundancy Protocol)通过把几台路由设备联合组成一台虚拟的路由设备,将虚拟路由设备的IP地址作为用户的默认网关实现与外部网络通信。当网关设备发生故障时,VRRP机制能够选举新的网关设备承担数据流量,从而保障网络的可靠通信。随着网络的快速普及和相关应...
hadoop 之Hadoop生态系统
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。下图为hadoop的生态系统: 2、HDFS(Hadoop分布式文件系统)源自于Google的GFS论文,发表于2003年10月,HDFS是G...
Oracle NoLogging Append 方式减少批量insert的redo_size
业务处理中,很多时候使用实表临时表处理中间结果,而实表的Insert操作缺省会记录redo log,针对此问题收集相关测试总结信息如下: 【转】 常见dml、ddl语句使用nologging选项所生成的redo和undo大小比较 DDL/DML OperationsDirect-path...
Oracle 之 Cloning $oracle_home (克隆安装oracle软件)
用途:Cloning an Oracle Home , 可以免去多台机器重复安装oracle软件1、停止相关进程[root@node1 bin]# ./crsctl stop cluster -all 2、打包 dbhome_1 目录[root@node1 11.2.0]# cd /u01/app/oracle/product/11.2.0/[root@node1 11.2.0]# tar -zcvpf db_1.bak db_1/[root@node1 11.2.0]# lsdb_1 d...
What is DB time in AWR?
AWR中有 DB time这个术语,那么什么是DB time呢? Oracle10gR2 官方文档 给出了详细解释(Oracle10gPerformance Tuning Guide 5.1.1.2 Time Model Statistics) The most important of the time model statistics is DB time. This statistics ...
Oracle 之 配置HugePages内存
HugePages是通过使用大页内存来取代传统的4kb内存页面,使得管理虚拟地址数变少,加快了从虚拟地址到物理地址的映射以及通过摒弃内存页面的换入换出以提高内存的整体性能。尤其是对于8GB以上的内存以及较大的Oracle SGA size,建议配值并使用HugePage特性。本文基于x86_64 Linux下来描述如何配值 HugePages。一、 为ora...
oracle 之 手动建库
1、-- 查看服务器 ORA 环境变量情况[oracle@orastb ~]$ env|grep ORAORACLE_BASE=/u01/app/oracleORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_12、-- 创建参数文件[oracle@orastb ~]$ cd /u01/app/oracle/product/11.2.0/dbhome_1/dbs[oracle@orastb dbs]$ lsafiedt.buf hc_testdb.dat lkTESTDB2 spfil...