DB2执行计划(1)
查看执行计划的两种方式:1.db2 -tvf $DB2HOME/sqllib/misc/EXPLAIN.DDLdb2 set current explain mode explaindb2 "statements"db2 set current explain mode nodb2exfmt -d bidw -u username password -w -l -s % -n % -o explain.outcat explain.out 2.db2expln -d bidw -u username password -g -t -q "statement";eg:db2expln -d bidw -u username password -g -t -q " statemens"===============================db2exfmt o Table Operatorsdb2exfmt TBSCAN - Table Scandb2exfmt IXSCAN - Index Scan
关于在oracle 的group by中使用自定义函数
--DB2 下面的SQL报错select tm_intrvl_cd,ETL.FUNC_DATEINS( tm_intrvl_cd, 1, 2) ,count(distinct group_id)from EDS.TW_CORP_BRCC_MBRBIND_DAY_200809group by tm_intrvl_cd ,ETL.FUNC_DATEINS( tm_intrvl_cd, 1, 2)with ur -DB2 正确的形式select tm_intrvl_cd,ETL.FUNC_DATEINS( tm_intrvl_cd, 1, 2) ,count(distinct group_id)from EDS.TW_CORP_BRCC_MBRBIND_DAY_200809group by tm_intrvl_cd with ur --ORACLE 可以正常执行select TM_INTRVL_CD,ETL.FUNC_DATEINS( tm_intrvl_cd, 1, 2) ,count(distinct VEST_LVL1_CD)from frnt.TN_Z
表连接的执行步骤
表连接的执行步骤,算法对称美:如果一个连接涉及两个以上的表,那么应从头到尾阅读说明步骤。例如,假定说明输出包含以下数据流: Access ..... W Join | Access ..... X Join | Access ..... Y Join | Access ..... Z执行步骤将是: 从表 W 中获取合格行。 将 W 中的某一行与表 X 中的下一行连接,并将结果命名为 P1(表示编号为 1 的部分连接结果)。 将 P1 与表 Y 中的下一行连接,以创建 P2。 将 P2 与表 Z 中的下一行连接,以创建一个完整的结果行。 如果 Z 中存在其他行,那么转至步骤 4。 如果
DB2和GreenPlum对比
DB2和GreenPlum对比架构:都是MPP,SHARE NOTHING类型:DB2 RDBMS +对象存储扩展+XMLGP ORDBMS(对象关系数据库管理系统)特性:扩展性-->都具良好的扩展性,节点的增加,性能线性提升(DB2分区数据库特性,GP多segment特性)适用性-->都适合大型数据仓库系统的搭建,OLAP应用可用性-->都同时支持扩容后,节点数据的在分布,可联机和脱机完成,可人为控制此过程对资源的占用.对BI的支持:DB2 提供了丰富的数据装载,导入导出,规则约束GP 对海量数据的ETL过程方面工具不足[@more@]
各种表连接方式对比分析
greenplum 表链接方式:sort merge join:应为需要分配临时表空间进行排序操作,所以适用于内外表较小,需要对结果进行排序的连接操作hash join:按关联条件列的hash值的连接,速度较快,适用于多关联条件的连接nested loop jion:适用与单个等值关联条件,在关联列上建有索引的情况,是DB2默认的连接方式product join 事实表,驱动表<-->维表内表<-->外表[@more@]
一个可用与数据库SQL封装的脚本语言--TCL
TCL 一种适用于数据库开发的脚本处理语言,一些公司会用来封装sql脚本,在没有DB2,Oracle这样存在存在存储过程机制的数据库(比如:greenplum)中实现类似存储过程的作用,封装业务逻辑,实现海量数据在数据仓库系统的数据均衡分布,以及实现并行计算减低CPU/IO开销等.TCL是一种类似于Java的解释性语言,但与java不同它是一种脚本语言,是轻量级的,因此兼具解释性语言的跨平台性,兼容性,也具有脚本语言的简单灵活性.[@more@]
总结下最近一个月零零碎碎做的事
总结下最近一个月零零碎碎做的事:1.2月12日--2月19日 了解目前云计算发展的现状,主要的云计算的厂商及其提供的方案云计算服务模式:IAASPAASSAAS当前云计算的主要厂商:GOOGLE --> app engineMicrosoft -->windows azure|private colud vs. public cloudIBM -->blue cloud "蓝云"AMAZON-->S3 EC2YahooHuawei-->倡导标准化,开放接口标准alibaba-->电子商务平台盛大-->游戏平台应用云计算开发:Map Reduceibase-python2.2月20日--2月28日 商务英语学习,提高口语能力优酷上没找到BEC中级的视频,BEC口语初级教程
另眼看重用开发工具
猛然发现很多时候习惯会扼杀一些探索和创新的精神,基于此我整理了在工作中经常用到的工具,再次找到这些工具的说明文档或者详细的教程,使用技巧等希望能发现遗忘了或者不曾发现和使用过的重要有用的功能!常用工具列表:1.ERWIN Modeler2.UltraEdit3.OFFICE(WORD EXCEL OE POWERPOINT)4.SecureCRT5.QuestCentral for DB26.Toad for Oracle Version 9.07.Microsoft Visual SourceSafe 6.08.Mindjet MindManager Pro 6需要不断丰富使用经验的工具和平台:1.AIX|Linux system command2.Shell AWK SED Perl3.DB24.Oracle5.ETL开发工具(因为工作多是
移动的云计算技术架构1:
移动的云计算技术架构:云计算应用层-->中国移动内部的新型IT支撑系统-->IDC,mSpaces,email等互联网应用云计算能力层-->数据挖掘工具库:挖掘应用的算法工具-->云存储中间件:提供海量对象存储能力-->搜索引擎:提供基本的搜索引擎能力云计算平台层-->MapReduce:MapReduce并行程序框架-->HugeTable:结构化数据存储-->HyperDFS:海量数据的分布式文件系统-->CloudMaster:云计算平台系统管理虚拟化资源层-->构建在海量同质化的PC与不可靠硬盘上-->使用开源的Xen提供计算资源的虚拟化-->运行于开源的Linux系统
对云平台停留在非常浅层次上的认识,列几个想了解的问题
你能想到的需要了解的云计算相关的问题:云平台建设理论:1.云计算和网格计算是什么关系,怎样描述他们的关系?2.云计算是产品还是服务?3.云计算的架构?包好哪些基础结构?4.云计算是如何演变而来的?5.云计算平台建设所涵盖的领域和范围?处理器,存储,网络,相关的软件6.云平台上应用开发与普通服务器客户端模式,单机模式的软件开发有什么区别?7.云平台的管理模式,分散管理,集中管理,各自发挥的作用?8.如何让用户相信基于云平台应用的安全性?类比一下VPD(虚拟专用数据库),VPN(虚拟专用网络),VMWARE(虚拟机技术),VLAN(虚拟局域网)等虚拟化技术的安
能否通过软件来实现显示屏幕的视角限制?
看到有同事为了保护私密信息泄露,到电脑耗材市场买一张深色的贴膜,将这种贴膜贴到屏幕上,就可以限制可视角度,防止个人信息泄露.想到高中物理的偏正光原理,这张膜应该使用的就是偏正滤镜的原理,是一个角度的光线能够穿过,其它方向被反射.还有一种类似效果的图案,记得在我们的小学时代,文具盒,尺子,拼图等上面经常会有一种图案,不同的角度看过去,看到的图片是不同的,这种应该是利用光的放射和人眼分辨能力的精度限制,实际效果就是从不同的角度看图片不同,距离人眼越远图案越明晰.另有一种是3D图,在多种承载介质上都可以见到,在电脑显示屏上也
awk的next和FIELDWIDTHS使用
将文件中三行三行合并打印输出:cat 1.txt|awk 'NR%3==1{line1=$0;next}NR%3==2{line2=$0;next}NR%3==0 {print $line1"t"$line2"t"$0}按宽度指定分割符(这个想起了数据库导入的时候也会指定宽度来分割字段,上次跟同事聊天件经分系统中上传的接口非常的规范,几条记录不用分割符,直接按位置分割):echo 20100117054932 | awk 'BEGIN{FIELDWIDTHS="4 2 2 2 2 3"} {print $1"-"$2"-"$3,$4":"$5":"$6}'[@more@]
使用文本处理命令抽取/ORACLE/RDBMS/admin目录下脚本的注释信息(可以使用正则表达式匹配)
#!/bin/sh#使用文本处理命令抽取/ORACLE/RDBMS/admin目录下脚本的注释信息 set echo onecho "clean env..."mkdir temprm -f result.txt#获取/ORACLE/RDBMS/admin目录下的文件列表:echo "get sql file list ..."ls -l $ORACLE_HOME/rdbms/admin |awk '{print $NF}'|grep .sql$ >sql.list #替换所有文件中所有^M字符:echo "replace ^M char ..."while read linedosed 's/^M//g' $ORACLE_HOME/rdbms/admin/$line >./temp/$linedone <sql.list#输出需要打印的文件及始末行行号到info.txt文件中:echo &
特殊字符^M引起的数据导入问题
问题:特殊字符^M引起的数据导入问题:问题描述:在完成需求时需要通过系统门户网站上传原始数据,在到生产环境登录ftp下载数据.一次在从ftp下载下来数据,使用load导入数据库的过程后,发现导入的数据与文件中的数据不一致,字段被截取了.使用命令:cat -v source.txt 查看文件发现每行记录后有一个特殊字符^M(经查该字符可通过ctrl+v+m输入),使用命令:sed 's/^M//g' source.txt 替换掉^M字符,再次导入,成功.问题分析:关于使用ftp传输文件的两种方式:binary asciibinary:以二进制比特流传输文件,保留了原文件中的所有所以字符信息ascii:以ascii码
使用PHPnow+Dedecms架设小型企业网站
表哥办了一个公司,可能后面会需要一个网站,准备趁过年的时间搭一个小的网站,最近先在自己机器上实践下.一.PHPnow的安装: 安装使用 解压后执行 Setup.cmd,根据提示进行,程序将会调用 Init.cmd 初始化。 成功初始化后 Init.cmd 自动改名为 Init.cm_。 如有必要,可将其改名为 Init.cmd 重新初始化。重新初始化不会丢失网站数据,仅仅是配置复位。 PnCp.cmd 是 PHPnow 控制面板(Control Panel),可以对PHPnow进行大部分的管理,包括修改root密码. PnCmds 目录下有一些常用的 cmd 脚本,控制程序的运行。你可以建立快捷方式到
DB2&ORACLE中更换的表所在的表空间的方法
一.环境:AIX5.2 DB2 9.5最近生产库的一个分给开发用的表空间经常报无空间,导致不能将建表,数据库有128个节点,分配的空间一般来说的充足的,初次查出来是因为某些开发人员建表的时候没有指定合理的分区间,导致数据在节点上不均匀分布,当单一节点上的空间满了,即使其他节点使用率很低也利用不了.这就涉及到开发规范问题,本篇给出解决当下问题的方法.1.备份分区间不合理的表rename table old_tabname to new_tabname;2.创建结构相同的表,指定合适的分区键create table old_tabname like new_tabname in tabspace_name partitioning key(key_co
安装使用OSWatcher监控工具
今天在eygle大师的微博看到介绍OSWatcher工具,晚上有空就在自己机器上安装后,初步测试一下,此工具通过shell脚本调用系统中常用的统计信息搜集工具,比如VMSTAT,IOSTAT,MPSTAT,NETSTAT,TOP等工具,搜集操作系统,网络等相关的统计信息;另外,提供了一个jar包,通过调用此包可以将搜集的统计信息以图形化的形式展示.下面主要涉及两个实践操作:一.在linux上安装java环境摘要:1.直接运行jdk对应的bin 文件安装./*.bin2.修改profilevi /etc/profile添加如下信息:export JAVA_HOME=/usr/local/javaexport PATH=/usr/local/java/bin:$PATHexport CLASS
linux密码文件/etc/passwd
linux账号都储存在/etc/passwd 中。root:~# cat /etc/passwdroot:x:0:0:root:/root:/bin/bashdaemon:x:1:1:daemon:/usr/sbin:/bin/shbin:x:2:2:bin:/bin:/bin/shsys:x:3:3:sys:/dev:/bin/shsync:x:4:65534:sync:/bin:/bin/sync...每一行代表一个用户,最前面是用户名称。要想统计用户个数(统计文件行数):wc -l /etc/passwd详细说明:/etc/passwd是个文本文件,每行一条记录,格式:account:password:UID:GID:GECOS:directory:shell (帐号: 密 码: 用户ID:组ID:一般的信息:目录:shell)字段描述如下:account 使用者在系统中的名字,它不能
发现两本值得看的书
在DBA前辈的帖子看到推荐了两本书,从简短的介绍第一感觉还不错,最近有空找来拜读拜读.《高级OWI.与Oracle性能调整 》《海量数据库解决方案》[@more@]
FlashCopy&VolumeCopy技术学习
在itpub上看到有puber讨论数据复制,备份技术,觉得FlashCopy技术听起来很不错,以及通VolumnCopy技术结合使用在创建多拷贝,检测时间点拷贝等先于故障发现问题等特性的优势明显,了解了一下,以作记录.------------------flashcopy技术FlashCopy指的是数据快照功能,指的是完成数据对象在某一时间点的静态映像,可以解决大规模数据复制造成的长停机时间问题。对于用户备份和部署容灾恢复,有极其重要的意义。IBM FlashCopy专为提供逻辑驱动器的时间点拷贝而设计。FlashCopy是一种高效的、基于存储的数据复制机制,它从设计上避免了在进行时间点