ITPub博客

首页 > 大数据 > 数据挖掘 > Datastage中Sequential file和Data Set、File Set三者之间的区别

Datastage中Sequential file和Data Set、File Set三者之间的区别

原创 数据挖掘 作者:ITtomilk 时间:2015-11-23 17:31:15 0 删除 编辑

在DS中有三种我们常用到的数据文件类型:Sequential file和Data Set、File Set

一、 Sequential file
    
    定长和非定长文件字符文件。
   1、用于读文件和写文件。
   2、可以有一个单一的输入连接或者一个单一的输出连接和一个单一的拒绝连接,支持格式(TXT、CSV、XLS)。不能同时?
   3、通常在连续模式下执行。
   4、执行读取多个文件时,可以设置multiple readers参数。
   5、文件定义(行格式、列格式),列的分隔符和行的换行符之类的设置。
二、 Data Set

    控制文件(.ds)和数据文件分开存储,是DS自带的的文件格式,只能被Ds读取的二进制文件。
    1、二进制文件,无法直接查看,使用Data Set 管理程序查看数据。
    2、后缀.ds
    3、持久性数据
    4、良好的性能
    5、两部分组成:
        ①描述文件(包含数据结构和数据地址)
        ②数据文件(包含数据、多个文件,每个节点一个)



三、File Set

    和 Data Set类似。 控制文件(.ds )和数据文件分开存储
    1、用于读入和写入 文件集
    2、具有单输入连接或者一个输出和一个拒绝连接。
    3、后缀.FS
    4、仅处理大于2GB的文件比较适用。
    5、仅在并行模式下使用
    6、和Data Set类似:
        ①分区
        ②分为描述文件和数据文件
    7、File Set是文本文件,可以被外部应用程序读取。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/30260000/viewspace-1844641/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2015-05-25

  • 博文量
    42
  • 访问量
    90724