awk中的变量
awk和sed结合起来,对于文件的横向纵向处理几乎是全方位的,可以算是文本处理中的大招了。当然awk这一强大的分本处理工具也不是浪得虚名,功能丰富,学习周期也要长些,不是一个Help文档就能说完的。学习awk可以算得上重新学习一门编程语言,因为里面的东西确实太多了。我们就按部就班,循序渐进,先来说说awk中的变量。关...
基于dba_hist_sqlstat查看sql语句的性能历史
在生产环境中,如果系统已经稳定,调优的空间就会越来越小,但是不代表没有调优的余地,可能工作的重心就会更加求稳,sql调优就是一项不间断的工作,很多工作还是需要前瞻的,如果等到问题严重的时候再紧急处理,提前的分析这些潜在问题就会让你不会总是心跳加快,两手冒汗。dba_hist_sqlstat是一个宝库,很多的sql执行统...
结合EM快速解决复杂的配置问题
图形工具在学习中一般是不作为推荐工具使用的,很多时候可能工作环境都是字符界面,远程连接,基本没有可能接触到图形工具,图形工具的好处真是一把双刃剑,功能丰富全面而且极其方面,这是优点也是缺点,如果一旦脱离了图形工具,可能就会发现自己会的东西越来越少。在工作中,有时候有些同事会问我 一些关于toad,SQLDevel...
database replay基础学习
在11g中,database replay是一个很重要的新特性,按照这个特性的说法,可以完整地捕获数据库的负载信息,便于在需要的时候随时重放。使用这种方法,可以以二进制文件格式捕获 SQL 级以下的所有数据库活动,然后在同一数据库或不同数据库内进行重放。自己看到这个特性也是很感兴趣,然后在测试环境进行了多次测试,可能我...
设计模式之工厂方法
设计模式中,工厂方法模式的使用还是很频繁的,但是似乎在工作中没有留意或者重视。在各大网站中对于工厂方法模式的例子一般都是举女娲造人的例子,我就不做重复工作了,我觉得通过模拟oracle或者mysql的jdbc连接也是一个很生动的例子,我们完全可以通过工厂方法来模拟这种,对于不同的需求可以灵活的处理。为此我画了如...
海量数据迁移之数据加载流程
在之前的博文中分享了关于数据抽取流程的一些思路,整体来说,数据的抽取是辅助,数据的加载是关键。加载的过程中每一步需要格外关注,稍有偏差就可能造成数据的损坏或者丢失。为了更加清晰的说明通过外部表来实现数据加载的流程,特意画了如下的流程图。在这个图中,数据的抽取是左边的部分,可以根据需要生成对应的外...
delete相关的pl/sql调优
今天开发找到我,说有个问题想征求一下我的意见。问题的大体意思是,对目前环境中的两个表,我们就叫做表a,表b吧,他说根据一个时间字段去判断是否为5天前的记录,但是这个字段不是索引列字段。想问我是否需要添加索引会能极大地提高性能。对于这个问题没有肯定的回答,还是取决于数据和表的特性,首先我看了下...
关于Oracle的技术问答
今天和Oracle的一个资深前辈聊了下,聊了不少技术的问题,他也来了兴致,随机提了几个问题来问我,发现看似简单的问题还是有不少的干货,很多东西似懂非懂其实还是没有深入理解,限于篇幅,整理了一部分的问题,有些问题回答的对,但是感觉理解还是不够清晰深入。log buffer log buffer的作用 ...
大话UML中类之间的关系
关于uml的内容在大学的时候学习过,感觉是花拳绣腿的一些知识,想用但是限于自己的认知和经验,实在是很难运用,到了工作的时候,感觉不需要这些工作也照样能做得很出色,过度的自信就这样维持了几年,等到积累了一定的项目经验,对于设计的关注程度也逐渐提升,有时候想表达一些设计的思想,自己DIY的图表可能只有自己能够...
MongoDB初探第二篇
与sql语句的简单对比在第一篇中分享了一些MongoDB的基本知识点,因为安装运行其实都还是很轻巧的,所以对于大家上手来说应该问题不大,但是安装完成,数据库也可以连接了,但是MongoDB中是没有办法运行sql语句的。这个时候关系型数据库中的一些思维直接移植过来就不适用了,但是大道至简,其实道理还是相同的,对于的数据...
浅谈Hadoop
大数据的概念炒了好多年了,很显然这项技术经受住了时间的考验,不是有些人想的那样华而不实,多年来总是伴随着Hadoop的身影越发壮大。这些年来数据的增长量真是发生了天翻地覆的变化,原来大家过年的时候都会很认真的拍一张全家福,恨不得把胶卷能够正反两用,多存点照片,现在好了,手机各类终端齐上阵,微博,微信,图...
清华梦的粉碎读后感--论理想主义者王垠
不知道为何,总是在搜索一些技术的东西时,在百度的推荐搜索里会出现王垠这个人,这个人的一个一句话介绍就是退学的清华直博生,在无数次忽略之后,今天带着好奇想看看这个人,为啥这么和我有缘。以下是他的简介王垠,四川大学97级本科毕业,保送到清华大学计算机系直博。期间曾在清华大学计算机系软...
不要成为技术的奴隶(二)
总是在内心深处说,不要成为技术的奴隶,但是越是这么提醒自己,越是发现自己已经是奴隶了,已经不能自拔,为什么呢,因为我已经习惯了这种生活,习惯了使用目前的这种思维来工作和学习。-->尖端的机器人技术前段时间通过同事推荐看到了google旗下的一个子公司研发的机器人演示,真是精彩的让人感叹不已,细细一想,如果...
特殊的物化视图刷新
现在有一个需求,某个环境中存在两个用户,一个用户中存在物化视图,另一个用户中存在源表,根据业务的需要,需要做一种特别的物化视图刷新。物化视图用户中的物化视图为CORP_NAME源数据用户中的表为ADD_CORP_NAME可能数据刷新是没有问题,关键就是在于CORP_NAME中的字段要比ADD_CORP_NAME多一些。CORP_ID &n...
通过单例模式模拟RAC连接
单例模式基本是学习设计模式的第一个模式,而且在工作中使用太普遍了,通用到我们感觉就应该是这样,但是如果真给你纸和笔,在5分钟内写出一个完整的单例模式,估计还是有不少人会中招。RAC是实时应用集群,是oracle的一种高可用方案,假设我们有2个节点,如果其中一个节点出现问题,另外一个节点依然能够正常工作,对于客...
mongoDB初探第一篇
早就久仰mongoDB大名,一直没有决心开始学习,从昨天开始尝试了一把,发现真是轻巧,熟悉了oracle之后,去看mysql,发现mysql真是够轻量级的,结果再看mongoDB,更加感觉轻量级。一般数据库的安装都是复杂,繁琐,都是需要一些配置的,有些还要一些第三方软件依赖等等。学习mongoDB感觉真是太轻巧了。感觉就是一个解压这...
海量数据迁移之sqlldr和datapump的缺点分析
在数据迁移中,sql*loader和datapump总是作为一些常用的数据迁移方案,自己在经历了一些项目之后,优点就不说了,说点这些方案的缺点,批评不自由,则赞美无意义,所以我在提出了一些失败错误的经验后,会在下一篇中给出这些缺点的解决方案。毕竟解决问题才是最重要的。使用sql*loader的缺点 可能存在潜在的...
重温快速排序
说起排序,总是会想起大名鼎鼎的快速排序,等自己再次翻开快速排序时,感觉是很陌生的,从这个对比也能看出自己确实是已经忘记了曾经重要的日子。快速排序使用了分治思想,分而治之。为了达到它传说中较低的时间度,接受了来自大家多年的挑战还依然是名副其实的快速排序。一个简单的例子就是通过简单的实例来说明。我们...
海量数据迁移之数据抽取流程
在之前的一些博文中花了大篇幅介绍了采用外部表抽取的一些细节,可能细节到了,基本原理的内容还希望再补充补充。采用外部表抽取数据的流程图如下:大体标注了一下抽取的基本结构,我们会尽量保证不去碰原本的数据源,会创建两个临时的用户,一个是只读用户,这个用户上只有同义词,只具有数据源中的select权限。这就对...
巧用外部表避免大量的insert
昨天开发咨询我一个问题,希望我对下面的语句进行调优。语句类似下面的形式SELECT subscriber_no FROM SUBSCRIBER SWHERE SUBSCRIBER_TYPE = 'RM' and CONV_RUN_NO in (20, 21, 22, 23) and not EXISTS (...