ITPub博客

首页 > IT基础架构 > 网络安全 > logminer的使用

logminer的使用

原创 网络安全 作者:lsl031 时间:2007-09-04 20:06:36 0 删除 编辑

Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 重作日志文件(归档日志文件)中的具体内容,特别是,该工具可以分析出所有对于数据库操作的DML(insert、update、delete等)语句,另外还可分析得到一些必要的回滚SQL语句。该工具特别适用于调试、审计或者回退某个特定的事务。(实际上dump日志文件出来后也可以查看到的,不过工程量何其大也!但是也是这个思路了。利用日志文件本身的数据结构查找一定时间的历史操作)

  LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图组成,它作为Oracle数据库的一部分来发布,是提供的一个完全免费的工具。但该工具和其他Oracle内建工具相比使用起来显得有些复杂,主要原因是该工具没有提供任何的图形用户界面(GUI)。本文将详细介绍如何安装以及使用该工具。必须调用相应的包和过程来完成。

  一、LogMiner的用途

  日志文件中存放着所有进行数据库恢复的数据,记录了针对数据库结构的每一个变化,也就是对数据库操作的所有DML语句。

  在Oracle 8i之前,Oracle没有提供任何协助数据库管理员来读取和解释重作日志文件内容的工具。系统出现问题,对于一个普通的数据管理员来讲,唯一可以作的工作就是将所有的log文件打包,然后发给Oracle公司的技术支持,然后静静地等待Oracle 公司技术支持给我们最后的答案。然而从8i以后,Oracle提供了这样一个强有力的工具-LogMiner。

  LogMiner 工具即可以用来分析在线,也可以用来分析离线日志文件,即可以分析本身自己数据库的重作日志文件,也可以用来分析其他数据库的重作日志文件。

  总的说来,LogMiner工具的主要用途有:

  1. 跟踪数据库的变化:可以离线的跟踪数据库的变化,而不会影响在线系统的性能。

  2. 回退数据库的变化:回退特定的变化数据,减少point-in-time recovery的执行。(10g中的回闪值得研究!同时基于表空间的tsintr?也可以实现。)

  3. 优化和扩容计划:可通过分析日志文件中的数据以分析数据增长模式。

  二、安装LogMiner

  要安装LogMiner工具,必须首先要运行下面这样两个脚本,

  l $ORACLE_HOME/rdbms/admin/dbmslm.sql

  2 $ORACLE_HOME/rdbms/admin/dbmslmd.sql.

  这两个脚本必须均以SYS用户身份运行。其中第一个脚本用来创建DBMS_LOGMNR包,该包用来分析日志文件。第二个脚本用来创建DBMS_LOGMNR_D包,该包用来创建数据字典文件。

  三、使用LogMiner工具

  下面将详细介绍如何使用LogMiner工具。

  1、创建数据字典文件(data-dictionary)就是存放解析出来的结果放到哪里?

  前面已经谈到,LogMiner工具实际上是由两个新的PL/SQL内建包((DBMS_LOGMNR 和 DBMS_ LOGMNR_D)和四个V$动态性能视图(视图是在利用过程DBMS_LOGMNR.START_LOGMNR启动LogMiner时创建)组成。在使用LogMiner工具分析redo log文件之前,可以使用DBMS_LOGMNR_D 包将数据字典导出为一个文本文件。该字典文件是可选的,但是如果没有它,LogMiner解释出来的语句中关于数据字典中的部分(如表名、列名等)和数值都将是16进制的形式(默认的),我们是无法直接理解的。例如,下面的sql语句:

  INSERT INTO dm_dj_swry (rydm, rymc) VALUES (00005, '张三'); 直接dump log就是这个结果。可以值得查看一下包的生成代码,也许对dump会有帮助。

oracle好象一个开源代码软件哦:)

  LogMiner解释出来的结果将是下面这个样子,

  insert into Object#308(col#1, col#2) values (hextoraw('c30rte567e436'), hextoraw('4a6f686e20446f65'));

  创建数据字典的目的就是让LogMiner引用涉及到内部数据字典中的部分时为他们实际的名字,而不是系统内部的16进制。数据字典文件是一个文本文件,使用包DBMS_LOGMNR_D来创建。如果我们要分析的数据库中的表有变化,影响到库的数据字典也发生变化,这时就需要重新创建该字典文件。另外一种情况是在分析另外一个数据库文件的重作日志时,也必须要重新生成一遍被分析数据库的数据字典文件。(这一点挺重要的哦!)

.创建DBMS_LOGMNR包
SQL> @d:/oracle/ora92/rdbms/admin/dbmslms.sql
SQL>@d:/oracle/ora92/rdbms/admin/dbmslm.sql
SQL>@d:/oracle/ora92/rdbms/admin/dbmslmd.sql
SQL>@d:/oracle/ora92/rdbms/admin/prvtlm.plb

  在init.ora初始化参数文件中,指定数据字典文件的位置,也就是添加一个参数UTL_FILE_DIR,该参数值为服务器中放置数据字典文件的目录。如:

alter database add supplemental log data; 和

execute DBMS_LOGMNR_D.BUILD(options=>DBMS_LOGMNR_D.store_in_redo_logs这两个过程是赶什么?

  UTL_FILE_DIR = (e:Oraclelogs)

  重新启动数据库,使新加的参数生效,然后创建数据字典文件:

  SQL> CONNECT SYS

  SQL> execute DBMS_LOGMNR_D.BUILD('shwdict.ora','E:oracle');

PL/SQL 过程已成功完成。

必须要见好目录,否则回提示(偶记得有这个目录的呀,浪费半天时间来检查,郁闷!)

SQL> execute DBMS_LOGMNR_D.BUILD('shwdict.ora','E:oracle');
BEGIN DBMS_LOGMNR_D.BUILD('shwdict.ora','E:oracle'); END;

*
第 1 行出现错误:
ORA-01336: 无法打开指定的字典文件
ORA-29283: 文件操作无效
ORA-06512: 在 "SYS.UTL_FILE", line 475
ORA-29283: 文件操作无效
ORA-06512: 在 "SYS.DBMS_LOGMNR_INTERNAL", line 3474
ORA-06512: 在 "SYS.DBMS_LOGMNR_INTERNAL", line 3552
ORA-06512: 在 "SYS.DBMS_LOGMNR_D", line 12
ORA-06512: 在 line 1

  2、创建要分析的日志文件列表

  Oracle的重作日志分为两种,在线(online)和离线(offline)归档日志文件,下面就分别来讨论这两种不同日志文件的列表创建。

  (1)分析在线重作日志文件

  A. 创建列表

  SQL> EXECUTE dbms_logmnr.add_logfile('D:oracleproduct10.2.0oradatatestred
03.log',dbms_logmnr.new);

PL/SQL 过程已成功完成。

  B. 添加其他日志文件到列表

   SQL> EXECUTE dbms_logmnr.add_logfile('D:oracleproduct10.2.0oradatatestred
03.log',Options=>dbms_logmnr.addfile);

(2)分析离线日志文件

  A.创建列表

  SQL> EXECUTE dbms_logmnr.add_logfile(

  LogFileName=>' E:OracleoradatasxfarchiveARCARC09108.001',

  Options=>dbms_logmnr.new);

  B.添加另外的日志文件到列表

  SQL> EXECUTE dbms_logmnr.add_logfile(

  LogFileName=>' E:OracleoradatasxfarchiveARCARC09109.001',

  Options=>dbms_logmnr.addfile);关于这个日志文件列表中需要分析日志文件的个数完全由你自己决定,但这里建议最好是每次只添加一个需要分析的日志文件,在对该文件分析完毕后,再添加另外的文件。

  和添加日志分析列表相对应,使用过程 'dbms_logmnr.removefile' 也可以从列表中移去一个日志文件。下面的例子移去上面添加的日志文件e:Oracleoradatasxfredo02.log。

  SQL> EXECUTE dbms_logmnr.add_logfile(

  LogFileName=>' e:Oracleoradatasxfredo02.log',

  Options=>dbms_logmnr. REMOVEFILE);

  创建了要分析的日志文件列表,下面就可以对其进行分析了。

  3、使用LogMiner进行日志分析

  (1)无限制条件

  SQL> EXECUTE dbms_logmnr.start_logmnr(DictFileName => 'e:oracleshwdict.ora');

PL/SQL 过程已成功完成。

  (2)有限制条件

  通过对过程DBMS_ LOGMNR.START_LOGMNR中几个不同参数的设置(参数含义见表1),可以缩小要分析日志文件的范围。通过设置起始时间和终止时间参数我们可以限制只分析某一时间范围的日志。如下面的例子,我们仅仅分析2001年9月18日的日志,:

  SQL> EXECUTE dbms_logmnr.start_logmnr(

  DictFileName => ' e:oraclelogs v816dict.ora ',

  StartTime => to_date('2001-9-18 00:00:00','YYYY-MM-DD HH24:MI:SS')

  EndTime => to_date('2001-9-18 23:59:59','YYYY-MM-DD HH24:MI:SS '));

  也可以通过设置起始SCN和截至SCN来限制要分析日志的范围:

  SQL> EXECUTE dbms_logmnr.start_logmnr(

  DictFileName => ' e:oraclelogs v816dict.ora ',

  StartScn => 20,

  EndScn => 50);

  表1 DBMS_LOGMNR.START__LOGMNR过程参数含义

  4、观察分析结果(v$logmnr_contents)

  到现在为止,我们已经分析得到了重作日志文件中的内容。动态性能视图v$logmnr_contents包含LogMiner分析得到的所有的信息。

 spool e:test.sql; 

SELECT sql_redo FROM v$logmnr_contents;

  如果我们仅仅想知道某个用户对于某张表的操作,可以通过下面的SQL查询得到,该查询可以得到用户DB_ZGXT对表SB_DJJL所作的一切工作。

  SQL> SELECT sql_redo FROM v$logmnr_contents WHERE username='DB_ZGXT' AND tablename='SB_DJJL';(查找限制条件!)

  需要强调一点的是,视图v$logmnr_contents中的分析结果仅在我们运行过程'dbms_logmrn.start_logmnr'这个会话的生命期中存在。这是因为所有的LogMiner存储都在PGA内存,所有其他的进程是看不到它的,同时随着进程的结束,分析结果也随之消失。(在高峰期做这个操作的话肯定会给性能带来影响了!)

  最后,使用过程DBMS_LOGMNR.END_LOGMNR终止日志分析事务,此时PGA内存区域被清除,分析结果也随之不再存在。(应该记住这步操作!)

  四、其他注意事项

  我们可以利用LogMiner日志分析工具来分析其他数据库实例产生的重作日志文件,而不仅仅用来分析本身安装LogMiner的数据库实例的redo logs文件。使用LogMiner分析其他数据库实例时,有几点需要注意:

  1. LogMiner必须使用被分析数据库实例产生的字典文件(本身就是利用它来解析它嘛!),而不是安装LogMiner的数据库产生的字典文件,另外必须保证安装LogMiner数据库的字符集和被分析数据库的字符集相同

  2. 被分析数据库平台必须和当前LogMiner所在数据库平台一样,也就是说如果我们要分析的文件是由运行在UNIX平台上的Oracle 8i产生的,那么也必须在一个运行在UNIX平台上的Oracle实例上运行LogMiner,而不能在其他如Microsoft NT上运行LogMiner。当然两者的硬件条件不一定要求完全一样。

  3. LogMiner日志分析工具仅能够分析Oracle 8以后的产品,对于8以前的产品,该工具也无能为力。

  五、结语

  LogMiner对于数据库管理员(DBA)来讲是个功能非常强大的工具,也是在日常工作中经常要用到的一个工具,借助于该工具,可以得到大量的关于数据库活动的信息。其中一个最重要的用途就是不用全部恢复数据库就可以恢复数据库的某个变化。另外,该工具还可用来监视或者审计用户的活动,如你可以利用LogMiner工具察看谁曾经修改了那些数据以及这些数据在修改前的状态。我们也可以借助于该工具分析任何Oracle 8及其以后版本产生的重作日志文件。另外该工具还有一个非常重要的特点就是可以分析其他数据库的日志文件。总之,该工具对于数据库管理员来讲,是一个非常有效的工具,深刻理解及熟练掌握该工具,对于每一个数据库管理员的实际工作是非常有帮助的。

logminer 如何分析其他机器的archive log?谢谢

执行过程中报错

ORA-01295 DB_ID mismatch between dictionary string and logfiles
Cause: The dictionary file is produced by a database that is different from that produced the log files.
Action: Specify a compatible dictionary file.

如何解决这个问题,现在生产库没有设置utl_file这个参数,现在还不能重启数据库,是否有其他的办法?谢谢

一、确定获取数据字典的redo log files

SQL> alter database add supplemental log data;

数据库已更改。

SQL> execute DBMS_LOGMNR_D.BUILD(options=>DBMS_LOGMNR_D.store_in_redo_logs);

PL/SQL 过程已成功完成。

Depending on the size of the dictionary, it may be contained in multiple redo log files. If the relevant redo log files have been archived, you can find out which redo log files contain the start and end of an extracted dictionary. To do so, query the V$ARCHIVED_LOG view, as follows:

SQL> SELECT NAME FROM V$ARCHIVED_LOG WHERE DICTIONARY_BEGIN='YES';
SQL> SELECT NAME FROM V$ARCHIVED_LOG WHERE DICTIONARY_END='YES';

二、添加要分析的redo log 文件

Specify the list of the redo log files of interest. Add the redo log files that contain the start and end of the dictionary and the redo log file that you want to analyze. You can add the redo log files in any order.

SQL> EXECUTE DBMS_LOGMNR.ADD_LOGFILE(-
       LOGFILENAME => '/usr/oracle/data/db1arch_1_210_482701534.dbf', -
           OPTIONS => DBMS_LOGMNR.NEW);
SQL> EXECUTE DBMS_LOGMNR.ADD_LOGFILE(-
       LOGFILENAME => '/usr/oracle/data/db1arch_1_208_482701534.dbf');
SQL> EXECUTE DBMS_LOGMNR.ADD_LOGFILE(-
       LOGFILENAME => '/usr/oracle/data/db1arch_1_207_482701534.dbf');
这里需要注意的是把包含数据字典所有的redo log files都add 进去,不然会报数据字典不完整的错。
三、查询miner的log files
In the output, LogMiner flags a missing redo log file. LogMiner lets you proceed with mining, provided that you do not specify an option that requires the missing redo log file for proper functioning.
SQL> SELECT FILENAME AS name, LOW_TIME, HIGH_TIME FROM V$LOGMNR_LOGS;
 NAME                                  LOW_TIME              HIGH_TIME
-------------------------------------   --------------------  --------------------
/usr/data/db1arch_1_207_482701534.dbf   10-jan-2003 12:01:34  10-jan-2003 13:32:46

/usr/data/db1arch_1_208_482701534.dbf   10-jan-2003 13:32:46  10-jan-2003 15:57:03

Missing logfile(s) for thread number 1, 10-jan-2003 15:57:03  10-jan-2003 15:59:53 
sequence number(s) 209 to 209

/usr/data/db1arch_1_210_482701534.dbf   10-jan-2003 15:59:53  10-jan-2003 16:07:41

四、Start LogMiner

Start LogMiner by specifying the dictionary to use and the COMMITTED_DATA_ONLY and PRINT_PRETTY_SQL options.

SQL> EXECUTE DBMS_LOGMNR.START_LOGMNR(-
       OPTIONS => DBMS_LOGMNR.DICT_FROM_REDO_LOGS + -
                  DBMS_LOGMNR.COMMITTED_DATA_ONLY + -
                  DBMS_LOGMNR.PRINT_PRETTY_SQL);
五、 Query the V$LOGMNR_CONTENTS view
SELECT username AS USR,
session#,
serial#,
(XIDUSN || '.' || XIDSLT || '.' || XIDSQN) AS XID,
SQL_REDO,
SQL_UNDO
FROM V$LOGMNR_CONTENTS
WHERE username IN ('SYS');
[@more@]

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/288166/viewspace-967924/,如需转载,请注明出处,否则将追究法律责任。

上一篇: job的实现
下一篇: sqlloader
请登录后发表评论 登录
全部评论

注册时间:2009-03-24

  • 博文量
    56
  • 访问量
    799134