@[TOC](使用sqoop 抽数)
>Survive by day and develop by night.
>talk is cheap, show me the code,make a better result.
# 目录
我们一般用sqoop抽取数据，可是有时由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，这时我们该怎么办？现总结方法如下供借鉴。

## 概述
sqoop 的参数：
````java
/opt/module/sqoop/bin/sqoop import \
--connect \
--username \
--password \
--target-dir \
--delete-target-dir \
--fields-terminated-by \
--query "$2" and $CONDITIONS
--mum-mappers \
--null-string "\\N" \
--null-non-string "\\N" \
--split-by

````
### 需求：
导入单表数据
## 设计思路
sqoop 抽数的并行化主要涉及到两个参数：num-mappers：启动N个map来并行导入数据，默认4个；split-by：按照某一列来切分表的工作单元。
最后每个map各自获取各自SQL中的数据进行导入工作。
--query "$2" and $CONDITIONS中，$CONDITIONS 到底是干什么用的呢？其实它的作用是数据分割条件的占位符，也就是说最终数据查询语句中的$CONDITIONS 会被split-by>=501 and split-by<=1000 这样的分割条件替换。

我们通过num-mappers 参数控制并行度，split-by参数控制数据分割字段，就可以做到抽数并行化。

## 实现思路分析
### 1.避免数据倾斜的方法
从此得出结论想要避免数据倾斜，对split-by指定字段的要求是 int类型同时数据分布均匀。

### 2.数据抽数

方案一：提高并行度，尽量不要用全量的方式导入，采集增量，新增或变化导入，减少导入数据量
补充：sqoop import 抽数查询愿数据的时候主要有两者方式：
–table 方式：全量数据抽取
–query 方式：增加检索条件部分数据抽数，当然也可以where 1=1 进行全量操作
我们可以用sqoop，以–query的方式导入新增数据,如果要求是全量可以full join 上一天的数据；

## 拓展实现
--query "select use_id,user_name,sex,id_card,create_time,updated_time from (select f.* ,row_number() over() as rank from finc.user_info f where updated_time >=2021-06-06 00:00:00 and updated_time <=2021-06-07 00:00:00)m"  where $CONDITIONS
--split-by rank \
--mum-mappers 6

## 性能参数测试：
无

# 参考资料和推荐阅读
1.  [sqoop 解决数据倾斜](https://blog.csdn.net/weixin_43597208/article/details/118307426).

>欢迎阅读，各位老铁，如果对你有帮助，点个赞加个关注呗！~

ITPub博客

Sqoop 并行抽数

最新文章