【大数据】— sqoop ?
介绍
sqoop(SQL to Hadoop),是一款开源工具,主要用于在Hadoop()与传统的RDBMS(MySQL SQLServer Oracle)进行的数据传递,sqoop主要是封装了Hadoop的导入与导出,底层通过MapReduce的MapTask把关系型数据库的数据导入到HDFS中,同样也是用过MapTask把HDFS的数据导入到关系型数据库中,起着一个桥梁作用。
sqoop的版本
sqoop是Apache软件基金会提供的开源框架。官方网站参考：http://sqoop.apache.org
主要为sqoop1.x与sqoop2.x;目前主要主1.4.6为主 2.x变化大使用少;
基本使用
sqoop(SQL to Hadoop),是一款开源工具,主要用于在Hadoop()与传统的RDBMS(MySQL SQLServer Oracle)进行的数据传递,sqoop主要是封装了Hadoop的导入与导出,底层通过MapReduce的MapTask把关系型数据库的数据导入到HDFS中,同样也是用过MapTask把HDFS的数据导入到关系型数据库中,起着一个桥梁作用。
sqoop的版本
sqoop是Apache软件基金会提供的开源框架。官方网站参考：http://sqoop.apache.org
主要为sqoop1.x与sqoop2.x;目前主要主1.4.6为主 2.x变化大使用少;
基本使用
通过sqoop，你可以从关系型数据库中导出数据，导入到hdfs中。输入命令可能查询数据库的一个库或者一张表查询结果;输出则是数据库表或者结果的导出文件集合。导入进程是并行的(默认4个mr)，因此输出的结果可能是多个文件（最终在hdfs中可能会得到多个文件）。这些文件可能是标准的文本文件TextFile（比如,使用逗号或者/t做字段间的分割 可以指定分割参数）。
sqoop的导入进程是一个自动生成出来的java class，因此它的很多组件都可以自定义，比如导入的格式压缩、文本的格式、导出的格式等等。
安装部署方式及参数详细使用参考下一篇博客.............
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31441024/viewspace-2155940/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
Hive常用函数及自定义函数
下一篇：
sqoop部署及导入与导出
请登录后发表评论
登录
全部评论
