暂时告别Teradata
用Teradata两年多了,通过各位的帮助和自己的努力,学习了不少的Teradata知识,在系统管理和调优方面也取得了一点点的成绩。为了更广阔的提升空间,我选择离开现有公司,到新的天地去充实自己。在此,我感谢各位大哥,各位朋友给我的鼓励及帮助,也为我的离开给大家带来的不便表达一声歉意。新的工作或许不能用Teradata了,但我相信,数据库有着绝大多数的共同点,我也可以用好别的数据库,也一样可以成为小环境内技术不错的团队成员。[@more@]之前,基本上专注在技术这块,对于新的机会,我希望自己能在业务方面有所提升,提升数据敏感性
关键在落实
刘玉瑛著的《关键在于落实》一书诠释了落实的真谛,点击了落实的现实意义;揭示了落实不力带来的危害,探寻了落实不力的根源,并为有效落实提供了建设性的意见。读后感触颇深,做了一下笔记,现记录如下:1.什么是落实?落实就是把口头上讲的、纸上写的东西,如理论、路线、方针、政策、计划、规划、方案、意见等,付诸实施,并达到预期目标,这就是落实。2.落实,首先是一种观念。一个人如果没有强烈的“落实”观念,不能时时刻刻想到落实,不能时时刻刻注意落实,那么,他在工作中,就会忽视落实。他就会只唱高调,不管实效;就会见到风
ETL架构师之分析类
本部分的题目来自Kimball的ETL Toolkit著作,原著未直接给出答案。这里的中文是参考网友整理(Jerome's BI BLOG )加上自己整理而得,不是原创。第一:分析类1.什么是逻辑数据映射?它对ETL项目组的作用是什么?答:逻辑数据映射(Logical Data Map)用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档,通常以表格或Excel的格式保存如下的信息:目标表名:目标列名:目标表类型:注明是事实表、维度表或支架维度表。SCD类型:对于维度表而言。源数据库名:源数据库的实例名,
激励禁区(转自老谷空间)
一、激励不可采用运动方式 许多人喜欢用运动的方式来激励。形成一阵风,吹过就算了。一番热闹光景,转瞬成空。不论什么礼貌运动、清洁运动、以及作家运动、意见建议运动、品质改善运动,都是形式。而形式化的东西,对中国人来说,最没有效用。 中国人注重实质,惟有在平常状态中去激励,使大家养成习惯,才能蔚为风气,而保持下去。凡是运动,多半有人倡导。此人密切注意,大家不得不热烈响应;此人注意力转移,运动就将停息。运动不可能持久,屡试不爽。 [@more@]二、激励不可任意树立先例 激励固然不可墨守成规,却应该权宜应变,以求制
Teradata spool空间2
系统在下列情况下会使用spool空间:• 在session没有结束时,每个用户查询的返回值。因此,为了存储查询的返回值,每个用户都必须有足够的spool空间。• 大表. • Large volatile tables. These tables require more available spool space.对系统需要的spool空间的粗略估计:对于没有fallback,无compression,且工作量适中的系统,spool空间应占系统MAXPERM的30%,或者占系统CURRENTPERM的40%。[@more@]下列情况下需要更多的spool空间:• 高压缩比的数据需要更多的spool空间。-- 压缩可以降低current perm data sto
时间型分区字段不走分区的解决
表的字段date_id定义为Integer型,并且date_id为本表分区字段。现在有一个处理,需要取表中本月第一条到目前的累积数据。老虎的sql如下:select *FROM PV_MART_A.FIN_MID_SERV_INC_DAILY A1 WHERE Date_Id <=CAST('20090818' AS INTEGER)-2and substr(cast(date_id as VARCHAR(8)),1,6)=substr((cast((CAST(CAST('20090818' AS DATE FORMAT 'YYYYMMDD')-2 AS INTEGER)+19000000) as varchar(8))),1,6); 因为上述sql条件等号的左右都做了处理,毫无疑问她不会走分区。[@more@]修改sql如下: select * FROM PV_MART_A.F
在城市的角落有了自己的家
潜伏在武汉,在城市的一个角落有了自己的家,最近两个月装修在,累并快乐着。[@more@]
数据仓库和元数据
1. 前言 在事务处理系统中的数据,主要用于记录和查询业务情况。随着数据仓库(DW)技术的不断成熟,企业的数据逐渐变成了决策的主要依据。数据仓库是一种面向决策主题、由多数据源集成、拥有当前及历史总结数据、以读为主的数据库系统,其目的是支持决策。数据仓库要根据决策的需要收集来自企业内外的有关数据,并加以适当的组织处理,使其能有效地为决策过程提供信息。数据仓库中的数据是从许多业务处理系统中抽取、转换而来,对于这样一个复杂的企业数据环境,如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一
数据仓库中的概念
ODS:ODS的数据具有面向主题、集成的、可变的和数据是当前的或是接近当前的4个基本特征。同样也可以看出ODS是介于DB和DW 之间的一种数据存储技术,和原来面向应用的分散的DB相比,ODS中的数据组织方式和数据仓库(DW)一样也是面向主题的和集成的,所以对进入ODS的数据也象进入数据仓库的数据一样进行集成处理。另外ODS只是存放当前或接近当前的数据,如果需要的话还可以对ODS中的数据进行增、删和更新等操 作,虽然DW中的数据也是面向主题和集成的,但这些数据一般不进行修改,所以ODS和DW的区别主要体现数据的可变性、当前性、稳定性、汇
查看历史统计信息收集情况
下面的sql可以得出以往收集统计信息的具体信息:[@more@]SELECT DatabaseName, TableName, ColumnName, /** stats collected on: 'C' --> Column 'I' --> Index 'M' --> Multiple columns (V2R5) **/ StatsType, /** collect stats date **/ CollectDate, /** collect stats time **/ CollectTime, /** V2R5: sample size used for collect stats**/ CASE SampleSize WHEN 0 THEN 100 ELSE
工作效率就是合适的人做合适的事(转)
有观点这样定义工作效率:“工作效率就是合适的人做合适的事”。 这句话值得管理者认真回味。的确,只有这二者恰当匹配的时候,工作才会有好的结果,工作效率才会更高,反之,当你选择了不合适的人去做一件对他来说不合适的事的时候,你就选择了失败。 [@more@] 绩效管理就是如此。 本文就来谈谈绩效管理中怎么选择合适的人做合适的事。先来看一段工作场景中的对话。 A说:“王总,我最近做了一套新的绩效管理方案,想在公司推行一下,您看看。” B说:“刘经理,你这套方案整体上感觉不错,只是这么做是不是太浪费经理们
信管笔记--风险管理
一、风险管理计划编制 1、名称及定义 风险管理计划编制是决定如何采取和计划一个项目的风险管理活动的过程。风险管理的水平、类型和可见度不仅要与风险相称,也要与项目对组织的重要性相称.为了保证这一点,对随后进行的各种风险管理过程做好计划是非常重要.[@more@]2、输入 ①项目章程 ②项目范围说明书 ③组织范围说明书 ④项目管理计划 ⑤环境和组织因素 3、工具和技术 计划会:项目团队召开计划编制会议来制订风险管理计划。与会人员包括项目经理、项目团队的负责人、组织中任何对风险计划编制和应对措施负有管理责任的人员、关键的项
Teradata的数据保护
同其他的数据库系统相比,Teradata数据库提供了更多的数据保护措施。概括起来有以下几种:锁保护、fallback机制、Recovery Journals、Cliques、Transient Journal、ARC工具、Permanent Journal,当然还有最底层的RAID技术,不过RAID技术与Teradata本身无关,这里不做说明。[@more@]一、Locks锁可以防止多用户在同一时刻试图修改同一数据而影响数据的完整性。这种并发控制是通过锁定目标数据来实现的。锁是在请求操作的同时自动加载的,在请求完成后自动释放。另外,用户是可以改变锁的类型。有四种类型锁:有四种类型的锁Exclusive --- 防
strftime()函数,方便的时间操作
string strftime(string format, int [timestamp]);返回值: 字符串函数种类: 时间日期内容说明 返回值的字符串依配置的格式来决定。若有传入时间戳记值,则将时间戳记格式化返回;若无传入时间戳记值,则将目前服务器的时间本地式化返回。月份或者星期名称随着本地语系配置 setlocale() 的不同而改变。返回的字符串可以依下列的格式而定:%a 星期几的缩写。 %A 星期几的全名。 %b 月份名称的缩写。 %B 月份名称的全名。 %c 本地端日期时间较佳表示字符串。 %d 用数字表示本月的第几天 (范围为 00 至 31)。 %H 用 24 小时制数字表示小时数
ETL数据加载策略
本文所提到的数据加载策略为OLTP系统作为源系统,并进行ETL数据加载到DW系统中所采用的一般数据加载策略。根据该方式的特定性,此时ETL数据加载一般存在以下四种方案:时戳方式,日志表方式,全表比对方式,全表删除插入方式[@more@]时戳方式需要在OLTP系统中业务表中统一添加时间字段作为时戳(如表中已有相应的时间字段,可以不必添加),每当OLTP系统中更新修改业务数据时,同时修改时戳字段值。当作ETL加载时,通过系统时间与时戳字段的比较来决定进行何种数据抽取。优点:ETL系统设计清晰,源数据抽取相对清楚简单,速度快。可以实现数据
星型模式 vs 雪花模型
多维数据建模以直观的方式组织数据,并支持高性能的数据访问。每一个多维数据模型由多个多维数据模式表示,每一个多维数据模式都是由一个事实表和一组维表组成的。多维模型最常见的是星形模式。在星形模式中,事实表居中,多个维表呈辐射状分布于其四周,并与事实表连接。 在星型的基础上,发展出雪花模式,下面就二者的特点做比较。[@more@]星型模式 位于星形中心的实体是指标实体,是用户最关心的基本实体和查询活动的中心,为数据仓库的查询活动提供定量数据。每个指标实体代表一系列相关事实,完成一项指定的功能。位于星形图星角上的
信管笔记--沟通管理
一、沟通计划编制 1、名称及定义 沟通计划包括决定项目干系人的信息和沟通需求:谁?需要什么信息?什么时候需要?怎么获得? 沟通计划编制常常与组织计划编制紧密联系在一起,因为项目的组织结构对项目沟通需求有重大影响。 [@more@]2、输入 ①组织过程资产 ②项目章程 ③项目管理计划 ④项目范围说明书(包括约束条件和假设) 3、工具和技术 ①项目干系人分析 非组员项目干系人的三大职责:参与、审查、反馈 项目干系人分析的目的:①确定项目干系人的需求; ②帮助项目经理制定沟通策略; ②沟通需求分析 ⊙沟通需求分析是项目干系
以考试的名义
时光匆匆过,未曾达到自己理想的状态;将来的日子里,我会置身何处? 为了生活,我将唤起精神追求往昔丢弃的努力,从容上阵,提升自己,以考试的名义。 以考试的名义,重啃学校里未曾真正理解的大部头,重整那本该在几年前整理的笔记;目的,只为再回首时不会徒伤悲。 以考试的名义,重拾童年的梦想,复制往昔的激情,冲淡现在的低落。 以考试的名义,好好学习,为我,为她,为儿时的憧憬。 立志,以此为鉴。[@more@]
英文简历
守望。。。 Miguel MinMale | Married | Born in 1983/11 | 189********(Mobile) E-mail: miguel_min@126.com | http://miguelmin.itpub.net/ [@more@]Career Objective Desired Type of Employment: Full-time Desired Position: Data warehouse architecture/ Data analysis Desired Industry: Telecom / e-business Desired Location: WUHAN Self-assessment 1. More than 5 years’ BI experience, skilled in data warehouse architecture; 2. Familiar with the telecommunications business; 3. Have ex
角色人生
人——爱,搭起心灵之桥:“仁者爱人”,在人间传递温情,尽你所能地去做,别错失了唤醒爱的良机,爱需要理解、信任、包容和奉献。 父母——平凡的,但是值得尊敬的:父母是我们的启蒙老师,也是永远的老师。父母的一举一动也许微不足道,但有时可能会感动和影响我们一生。 手足——天涯海角都阻挡不断的亲情:兄弟姐妹本是天上的雪花,互不认识,飘落在地上,就融在一起,化成了水,从此永不分离。 [@more@]丈夫——你的喝彩助他迈向成功之路:作为妻子不能放弃“教育”丈夫的义务,你得帮他决定将来得方向,使他对工作产生热