杨建荣的学习笔记

每天坚持一点点,个人微信公众号: jianrong-notes, 个人邮箱:jeanrock@126.com

  • 博客访问: 12727784
  • 博文数量: 1341
  • 用 户 组: 普通用户
  • 注册时间: 2012-05-14 23:24
  • 认证徽章:
个人简介

每日发文,或技术、或总结,偶有日间小事也以为记,谓之学习笔记,成年累月1300多天,中间几乎没有间断,要旨只有一个:学习交流,共同进步 。 学习笔记精华整理,个人新书《Oracle DBA工作笔记》已开售,在京东,当当,亚马逊,淘宝,天猫均有售,欢迎选购。

ITPUB论坛APP

ITPUB论坛APP



APP发帖 享双倍积分

文章分类

全部博文(1341)

文章存档

2017年(275)

2016年(358)

2015年(360)

2014年(278)

2013年(48)

2012年(21)

微信关注

IT168企业级官微



微信号:IT168qiye



系统架构师大会



微信号:SACC2013

订阅
热词专题

发布时间:2014-08-31 21:55:33

在数据迁移中,可能有成百上千个表,有些表很大,有些表又很小。如果启用了多个并行的进程,可能会有资源分配上的问题。比如下面有10个表,100代表预计的时间为100分钟。table1  100table2  90table3  90table4  80table5  80table6  70table7  60table8  60table9&nbs.........【阅读全文】

阅读(8512) | 评论(0) | 转发(4)

发布时间:2014-08-30 16:03:13

使用shell分析了一些数据有一些时间了,而且分析的数据情况也是基于历史数据,今天写了个脚本对历史的数据进行一个简单的分析,看看准确率到底有多高。这里有一个借助一个脚本12c.sh 对一些数据的排列百分比进行分析,比如今天有两个球队,主队让球一个,胜平负的概率为35%,40%,25%表data里存放着一些样本数据,记录了.........【阅读全文】

阅读(6432) | 评论(0) | 转发(3)

发布时间:2014-08-29 18:40:11

在之前的章节中讨论过怎么把一个很大的分区表切分为若干的dump文件,在数据加载的时候能够同时做基于每个分区的数据导入,如果有些分区比较大,有几十个dump文件,那么这个分区做数据导入的时候是不能再进行并行切分了。现在在准生产环境中先查找了如下的表,charge,memo,charge_rel数量级都过亿,而且memo表中还含有lob.........【阅读全文】

阅读(8238) | 评论(0) | 转发(3)

发布时间:2014-08-28 16:47:47

今天在一套环境中做系统检查的时候,发现alert日志中有一段ODM的错误。日志内容大体如下,可以看到是在半夜4点多报的错误。Clearing Resource Manager plan via parameterFri Aug 22 02:00:52 2014ALTER SYSTEM ARCHIVE LOGFri Aug 22 02:00:52 2014Thread 1 advanced to log sequence 6934 (LGWR switch)  Cur.........【阅读全文】

阅读(9180) | 评论(0) | 转发(3)

发布时间:2014-08-27 22:42:25

有些时候想直接查看某个用户下对应的权限信息。自己每次从数据字典中查找有些太麻烦了。如果涉及的对象类型多一些,很容易遗漏。一种方式就是通过exp直接导出对象的信息来,可以直接解析dump内容来得到object的一些信息,也可以直接访问数据字典表来得到。以下是在Metalink中提供的脚本,我在原本的脚本基础上稍微改动.........【阅读全文】

阅读(7850) | 评论(0) | 转发(4)

发布时间:2014-08-26 22:48:07

当我们得到一个dump文件的时候,总是有些不太确定dump文件中是否含有一些我们原本不希望出现的表,如果在未知的情况下对dump文件进行操作时很危险的,比如我们想要得到的是表结构的信息。如果不指定需要的表,会把当前schema下所有的Object对象的信息都导出。一般的操作中,建议还是使用parfile。[ora11g@rac1 dbm_lite].........【阅读全文】

阅读(7398) | 评论(0) | 转发(4)

发布时间:2014-08-25 22:45:25

昨天使用shell脚本来抽取html数据的时候,碰到了一个问题,如果要抽取的数据成了如下的情形时,数据的抽取就会出现不一致,有一些记录会没有数据,只显示"未开售" 这个时候如果还是按照原来的思路来抽取就会出现数据混乱的情况,比如根据第一列抽取数据一共有75 行,但是根据右边的赔率只能得到74行,有一行的数据混乱,后.........【阅读全文】

阅读(8137) | 评论(0) | 转发(4)

发布时间:2014-08-24 22:19:54

最近看一些网站的时候,发现有些数据很有意思,想把数据截取出来,但是想把数据抽取出来很是困难。因为如下的小方框的数字都是上下两行排列,想要把数据抽取到一行是很难实现的。斯达 2:3 斯特罗姆 23:57  欧 亚 析 0-1  2.45↑ 3.50 2.32↓5.15.........【阅读全文】

阅读(13336) | 评论(0) | 转发(4)

发布时间:2014-08-23 21:56:33

最近对足彩的数据进行了一点分析,简单分享一下自己的一点收获,对于足球比赛的赔率还是很有计算方法的。我收集了一些比赛的数据,进行了简单的分析。创建了一个表为data.然后对于即将开始的比赛,进行胜负平的赔率计算,简单的shell脚本实现如下:sqlplus -s n1/n1 <<EOFset serveroutput onset linesize 200se.........【阅读全文】

阅读(6464) | 评论(0) | 转发(3)

发布时间:2014-08-22 21:15:06

在平时的工作中,可能需要查询一些数据字典的信息,比如数据字典对应的基表信息,可以得到更多数据库内部的一些详细信息。比如user_objects这个数据字典视图,里面可能就包含很多的信息。首先可以得到,它是一个视图,然后在public上创建了对应的同义词,但是在不用用户使用的使用,查出的结果会不相同,这个其实是根据.........【阅读全文】

阅读(9577) | 评论(1) | 转发(3)

发布时间:2014-08-21 17:23:38

关于数据迁移,在之前也讨论过一些需要注意的地方,可能林林总总列了不少,都是在数据迁移迁移前和迁移时需要注意的。http://blog.itpub.net/23718752/viewspace-1195364/http://blog.itpub.net/23718752/viewspace-1254945/我在这些帖子的基础上进行更多的总结和补充。数据库级的检查和建议1)参数检查有些参数.........【阅读全文】

阅读(9235) | 评论(4) | 转发(4)

发布时间:2014-08-20 23:02:19

关于数据迁移,在之前也讨论过一些需要注意的地方,可能林林总总列了不少,都是在数据迁移迁移前和迁移时需要注意的。http://blog.itpub.net/23718752/viewspace-1195364/我在这个帖子的基础上进行更多的总结和补充。数据升级前的测试 -)充分的测试,评估时间,总结经验,提升性能, 心中有数。在生产中进行数.........【阅读全文】

阅读(9283) | 评论(1) | 转发(3)

发布时间:2014-08-19 20:59:45

昨天有一个网友问我,怎么能够查询一个表中最后一条插入的记录,我大概回复了,可以通过闪回事务来实现,但是得看什么时候插入的数据,也需要一定的运气。如果通过闪回事务来得到对应的undo_sql,可能多个dml语句对应一个事务,所以我们需要得到的是一个完整的事务的信息,里面包括对应的Undo_sql,这样才算得到比较完整的.........【阅读全文】

阅读(6734) | 评论(0) | 转发(5)

发布时间:2014-08-18 20:07:52

在生产系统中,会发现一些潜在的sql问题,为了能够及时和准确的定位,我们可以借助sql_monitor来做性能sql的查找。可以在后台启用一个job不定时的去查找。毕竟大半夜的我们去监控也是有难度的,我们希望一切都能很自然的处理,结果我在一个指定的目录下每隔10分钟去查找一次性能sql,如果当天已经有生成报告就不重新生成.........【阅读全文】

阅读(7374) | 评论(0) | 转发(5)

发布时间:2014-08-17 19:21:37

在平时的工作中接触到的分区表一般都比较大,而且分区也少则几十,多则几百,上千。在数据迁移的时候,分区表的迁移更是块大骨头,因为数据量太大,而且有些分区表中还有一些lob字段,想直接通过sqlldr来迁移还是需要做一些额外的工作。如果通过datapump分区导出数据,批量导入,也是一种思路,不过需要考虑好并发的进.........【阅读全文】

阅读(6612) | 评论(0) | 转发(3)

发布时间:2014-08-16 22:21:05

在平时的工作中,数据库所处的文件系统是vxfs的话,可以考虑启用veritas的odm特性。ODM(Oracle Dsk Manager)是在oracle 9i之后开放出来管理数据文件,可以提高oracle数据库的输入输出数据吞吐量。Veritas提供了ODM的扩展,可以在VxFS文件系统的基础上,为oracle提供更高的读写速率和更简便的管理,其在VxFS文件系统上的.........【阅读全文】

阅读(7264) | 评论(0) | 转发(3)

发布时间:2014-08-15 23:33:36

在昨天晚上10点开始,数据库的性能开始下降,出现了一些j00开头的进程。而且持续了比较长的时间,简单分析了一下,对应的进程执行的sql语句如下。####### Process Information from OS level as below ########oraccbs1 16184     1 23 22:00 ?        00:.........【阅读全文】

阅读(7166) | 评论(0) | 转发(3)

发布时间:2014-08-15 00:20:54

昨晚在做测试环境数据迁移的时候,遇到了io的问题,本来预计2,3个小时完成的数据导入工作最后竟然耗了7个多小时。在数据的导入中,使用了10个并行的session,每个session都启用的并行度为8,在表级,索引级都做了nologging设置,在insert的时候使用了append模式,结果本来数据的导入还是比较顺利的,突然在8点左右开始就一.........【阅读全文】

阅读(6607) | 评论(0) | 转发(3)

发布时间:2014-08-13 23:36:32

在工作中我们需要查询表的数据条数,一般来说就是使用select count(1)或者select count(*)之类的语句。当然了对于不同的表来说,应该还是可以做一些细分,能够最大程度的提高效率,比如表中含有主键列,尝试走索引扫面可能会被全表扫描效率要高。如果表中的数据太多,而且没有一些相关的约束,可以考虑使用并行来提高等等.........【阅读全文】

阅读(9031) | 评论(0) | 转发(4)

发布时间:2014-08-12 23:41:30

在之前的章节中,讨论过了通过,分区+并行等方式来进行超大的表的切分,通过这种方式能够极大的提高数据的平均分布,但是不是最完美的。比如在数据量再提高几个层次,我们假设这个表目前有1T的大小。有10个分区,最大的分区有400G,那么如果我们想尽可能的平均的导出数据,使用并行就不一定能够那么奏效了。比方说我们要.........【阅读全文】

阅读(9733) | 评论(2) | 转发(4)
给主人留下些什么吧!~~

dsktt2016-12-30 10:56

lhrbest:建荣博客写了4年了,佩服,我们都是12年申请的,我14年7月开始写,你12年7月开始写

你们都是我佩服的!

回复  |  举报

lhrbest2016-07-09 23:31

建荣博客写了4年了,佩服,我们都是12年申请的,我14年7月开始写,你12年7月开始写

回复  |  举报

jeanron1002015-09-01 10:49

berlits:可怜,公司所有数据都不允许带出办公室。回家发,只能重新写了。

你们确实太严格了,说明你的工作是高危,高机密的工作。

回复  |  举报

berlits2015-09-01 00:20

jeanron100:这个还是可以有的,整理个思路,回家发

可怜,公司所有数据都不允许带出办公室。回家发,只能重新写了。

回复  |  举报

jeanron1002015-08-31 09:28

berlits:公司不让上网,想发都没条件。

这个还是可以有的,整理个思路,回家发

回复  |  举报
留言热议
请登录后留言。

登录 注册