ITPub博客

首页 > Linux操作系统 > Linux操作系统 > TERADATA中FASTLOAD原理及运用

TERADATA中FASTLOAD原理及运用

原创 Linux操作系统 作者:maijiangde 时间:2012-04-25 16:55:05 0 删除 编辑
今天需要核对2个系统的客户信息,2个系统并非同一个数据库系统上。由于数据量比较大,需要将一个系统的数据导到另一个系统上,方便核对,导数方式决定用TD的fastload,之前对TD的fastload不太了解,经过一番努力做如下总结:
1、fastload原理
fastload导入数据包含2个阶段:数据获取阶段数据插入阶段
数据获取阶段:
1、PE接收需要导入的数据块
2、PE通过BYNET直接把数据块传给AMPS,不做任何处理
3、AMPS把数据块打开,通过hash把每条记录新分布到适当的AMP,此时数据都放在内存之中
4、AMP接收到一定数据后,AMP会把这些数据写到磁盘里面
至此,第一阶段已经完成。虽然每个AMP的数据都已经到位,但这些数据在AMP中没有按照hash队列存放
数据插入阶段:
AMP读取自己所属磁盘中数据,按照hash队列重新存放这些数据,具体步骤如下
1、fastload接收的数据装载完成的讯息
2、fastload向PE发送第二阶段插入数据请求
3、PE广播所有AMP第二阶段开始
4、各AMP按hash队列组织自己的数据,并将数据写入磁盘
 
 
未完,待续。。。。。。
 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/24362799/viewspace-722223/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2012-04-25

  • 博文量
    4
  • 访问量
    15294