Datastage版本：7.5
Job类型：Parallel
需求：输入文件中有重复记录，需要输出Distinct后的记录，并且将重复的记录也输出。
Job设计如下：
首先对输入文件排序，通过Sort Stage对记录排序，设置好Sort Key之后设置“Create Key Change Column”这个Option，它的功能在于生成了一列派生列，用于标注Sort Key是否第一次出现，如果Sort Key是首次出现，则标注为1，否则标记为0。这样通过这个派生列就可以将记录分成两个文件，使用Filter Stage分别输出了。
在Job设计过程中需要注意的是，如果是多个Node的环境，在Sort Stage的Advanced页签将Execution mode设置为Sequential，这样排序才不会有问题。
[@more@]来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/62592/viewspace-1007600/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
重新安装MySQL失败
请登录后发表评论
登录
全部评论
