1.sqoop产生的原因：

A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。

B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。

依据以上的原因sqoop产生的。

sqoop的介绍

sqoop是连接关系型数据库和hadoop的桥梁，主要有两个方面(导入和导出)：

A. 将关系型数据库的数据导入到Hadoop 及其相关的系统中，如 Hive和HBase

B. 将数据从Hadoop 系统里抽取并导出到关系型数据库

目前用的是将hadoop 中的数据抽取出来搞成借助hive 形成的SQL  insert 到关系DB中。

二。sqoop  export 的使用
sqoop export指令的作用就是，将集群HDFS中数据导出至关系型数据库中。
现在hive 中操作，建立表结构和数据，关系DB中也建立对应的数据表。
3、在集群中运行sqoop export 指令导出集群数据

sqoop export --connect 'jdbc:mysql://10.100.157.28:3306/demo' \
--username 'root' \
--password 'jfdev123' \
--table 'export_txt_demo' \
--export-dir  /user/hive/warehouse//dc_dev.db/export_txt_demo \
--input-fields-terminated-by '\001' \
--input-null-string '\\N' \
--input-null-non-string '\\N'
 
参数说明:
--connect '数据库连接' \
--username '数据库账号' \
--password '数据库密码' \
--table '数据库表名' \
--export-dir  集群hdfs中导出的数据目录 \
--input-fields-terminated-by '分隔符,textfile类型默认\001' \
--input-null-string '空值处理:\\N' \
--input-null-non-string '空值处理:\\N'
 
## “--export-dir” 参数是数据在hdfs中的路径
## 可在hive中，通过 show create 表（即：show create dc_dev.export_txt_demo）
## 即可知道表数据在hdfs中的位置

eval是sqoop提供的连接数据库的客户端工具。
sqoop eval \
--connect jdbc:mysql://123.123.4.52:3306/linshi_1 \
--username root \
--password 1313134 \
--query "select * from e_board"

也可以进行使用eval来插入删除数据

sqoop eval \
--connect jdbc:mysql://11.34.33.22:3306/linshi_1 \
--username root \
--password 12313 \
--e "INSERT INTO e_board (title,num,hide) VALUES('aa',15,30)"
 
 
sqoop eval \
--connect jdbc:mysql://12.34.55.66:3306/linshi_1 \
--username root \
--password 23424 \
--e "delete from e_board where id=22"
 
 
或者清空表：
 
sqoop eval \
--connect jdbc:mysql://12.34.55.66:3306/linshi_1 \
--username root \
--password 23424 \
--e "truncate table table_name;"

推荐阅读：
https://blog.csdn.net/belialxing/article/details/109588272
https://blog.csdn.net/godlovedaniel/article/details/125042358

ITPub博客

sqoop 架构分析

最新文章