ITPub博客

首页 > 大数据 > 数据挖掘 > Datastage Join

Datastage Join

数据挖掘 作者:ITtomilk 时间:2016-02-26 09:56:06 0 删除 编辑

Join用来将多个表中的数据通过关键字组合在一起。特点是分左右连接,左链接为驱动链接。 链接数:
多个输入链接,默认第一个为左链接,最后一个为右链接,其余为中间链接。
一个输出链接
没有Reject链接

连接方式:
使用关键字连接左右链接和中间链接,并可以指定多个关键字。如果Output中有关键字,则这个关键字的来源必须是左链接。

有四种链接类型,概念与数据库中的连接完全相同:
Inner join :内连接
Left outer join :左连接
Right outer join :右连接
Full outer join :完全连接

预排序:
所有输入链接的数据都预先进行排序。

链接的顺序:
对于Inner和Full outer连接,链接的顺序没有影响,但对于左右连接,影响巨大。

是否允许重复:
对于Inner,重复记录只取第一条。
对于Left outer,如果左链接上有重复记录,对输出不会有影响,因为左链接是驱动型连接,总输出记录等于左链接上的记录数。如果是右链接上有重复记录,重复记录将会写入输出,总输出记录数=左链接上的记录数+重复记录数。
对于Right outer,则与Left outer刚好相反。
对于Full outer,无论哪个链接上有重复记录,都会被写入输出。

内存使用:
所有输入链接都进行了预排序,因此使用的物理内存非常小。在排好序之后,Join操作速度非常快。

错误处理:
没有错误处理机制,如果输入链接相互间没有任何匹配的记录,则Join输出为空。此时并不认为Join失败。

对链接中未匹配数据的处理:
除了Inner连接将此类数据全部舍弃外,其余三种连接都可以认为是将未匹配成功的数据写入了输出。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/30260000/viewspace-1994906/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2015-05-25

  • 博文量
    42
  • 访问量
    90729