ITPub博客

1. 简介： Teradata 作为数据仓库行业的老大，其对数据并行处理能力令人钦佩，而Fastload 工具填充数据的速度绝对可以让任何人惊讶。本文就Fastload 工具的使用作一介绍，希望能帮助读者快速掌握这个工具的使用。 Fastload 支持批处理的脚本编写方式，也支持交互式的方式。其功能就是从数据文件中把大批数据快速插入Teradata 数据库。在数据仓库建设阶段对ETL是非常重要的手段，平均比其他第三方ETL 工具快3 倍以上。[@more@]另外Fastload也提供了错误-恢复执行功能，能够继续先前由于各种原因停下来没有完成的工作。 Fastload 能够从主机

Teratdata数据库中，一个用可以对应多个账户，账户包含优先级信息，在登陆的时候，如果加上账户信息，就可以控制用户优先级。本篇对此进行介绍。[@more@]创建并使用 Account IDs 登陆语法: .LOGON tdpid/user_name, password, 'account_ID'; 交互式登陆语法：.LOGON tdpid/user_name,, 'account_ID' (note the two commas) Enter password when prompted CREATE USER tfact07 # Names userFROM Sysdba # Name of immediate owner in hierarchyAS PERM = 10e6 # Amount of Permanent space ,SPOOL = 100e6 # Maximum amount of Spool space

1 数据压缩的好处Teradata数据压缩可以节省存储空间，从而让相同的存储单元存储更多的业务数据；由于查询时需要检索的数据量相对要少，可以减少I/O,并且缓存中可以存储更多的压缩过的逻辑行，从而改善数据库性能；Teradata使用的压缩算法非常有效，因为压缩原因，获取数据需要更少的的磁盘访问，算法将节省的CPU时间用来来执行压缩操作；可以将压缩节省出来的空间创建高级索引；[@more@]2.teradata数据压缩Teradata版本v2r5采用无损压缩算法，允许在一列上对多达255个数据值进行压缩，数据压缩不会造成信息的丢失。一般数据压缩的粒度可以

LENGTH()不是Teradata 的标准函数，但是Teradata SQL Assitant支持它。今天在bteq中用此函数，报错，搞半天，终于知道原因之所在。[@more@]具体操作如下：SELECTCASE WHEN ETL_JOB LIKE 'CHK_%'THEN SUBSTR(TRIM(etl_job),5,LENGTH(TRIM(etl_job))-4)ELSE ETL_JOBEND etl_job,CAST('200811'||'01' AS DATE format 'YYYYMMDD'),Last_JobStatus,max(Last_Endtime),JobTypeFROM PV_AUTO.ETL_JOBWHERE etl_job in(……)group by 1,2,3,5;报错信息如下： THEN SUBSTR(TRIM(etl_job),5,LENGTH(TRIM(etl_job))-4)$*** Failure 3706 Syntax error:

1.优化过程：依照运行时间，数据量和复杂度来定位瓶颈。查看sql执行计划，判断其合理性。性能监控 ==》目标选取 ==》性能分析 ==》过程优化 ==》运行跟踪（性能监控） 注意：每个过程中都会产生必须的文档 [@more@]2.性能分析： • Review PDM --表定义 --PI的选择 --表的记录数与空间占用• Review SQL --关联的表 --逻辑处理复杂度 --整体逻辑 --多余的处理 • 测试运行 --响应时间 • 查看EXPLAIN --瓶颈定位 3.过程优化： • 业务规则理解 --合理选取数据访问路径 • PDM设计 --调整PDM • SQL写法