Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将 大数据培训一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。
Sqoop是大数据开发入门必备掌握知识，今天给大家介绍下Sqoop一些常用的命令。【关注尚硅谷，轻松学IT】
1.查看sqoop帮助文档
sqoop help
2.hdfs导入mysql
sqoop export \ --connect jdbc:mysql://bigdata4.zhenglihan.com:3306/test \ --username root \ --password 123456 \ --table student \ --export-dir /tmp/zhenglihan/cdhBigdata/sqoop/export/sqoopData.txt \ --fields-terminated-by ','
3.mysql导出到hdfs
sqoop import \ -Dorg.apache.sqoop.splitter.allow_text_splitter=true \ --connect "jdbc:mysql://bigdata4.zhenglihan.com:3306/test?useUnicode=true&characterEncoding=latin1&tinyInt1isBit=false" \ --username root \ --password 123456 \ --table student \ --m 10 \ --target-dir /tmp/zhenglihan/cdhBigdata/sqoop/import \ --fields-terminated-by '`' \ --null-string '' \ --null-non-string '' \ --columns 'name,age'
4.mysql导入hive
sqoop import \ -Dorg.apache.sqoop.splitter.allow_text_splitter=true \ --connect jdbc:mysql://bigdata4.zhenglihan.com:3306/test \ --username root \ --password 123456 \ --table student \ --hive-import \ --hive-table testsqoop.student
5.hive导入mysql
sqoop export \ --connect jdbc:mysql://bigdata4.zhenglihan.com:3306/test \ --username root \ --password 123456 \ --table student \ --input-fields-terminated-by '\001' \ --export-dir /user/hive/warehouse/testsqoop.db/student \ --columns 'name,age'
总结：
本文主要列举了sqoop的一些常用操作，包括hive与mysql的相互导入导出，与hdfs与mysql的相互导入导出，值得学者们保存到自己的知识库里，以备后续工作使用。
原创作者：hadoop入门引路人
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/70010293/viewspace-2844822/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
