-
编辑 删除
Sqoop splitkey支持的类型
前阶段一个Sqoop抽取Job指定了一个xxx_id作为splitkey，后来抽取失败；想当然以为PK就是int，发现其实是varchar（https://issues.apache.org/jira/browse/SQOOP-653还不被支持）,后来换了一列抽取成功； Sqoop的splitkey在文档里只是简单的介绍了算法，但是没有介绍具体支持的splitkey column type， 查看源码支持的类型如下：BigDecimal,Boolean,Date,Float,Integer BigDecimalSplitter.java BooleanSplitter.java DBSplitter.java DateSplitter.java FloatSplitter.java IntegerSplitter.java
-
编辑 删除
Sqoop fetchsize失效
前几天线上Sqoop的一个Job（从MySQL抽取数据到Hadoop）突然报了OOME,后重跑并做java trace发现内存占用都是byte[]，同时cpu top 3的方法都是com.mysql.jdbc.ByteArraryBuffer.getBytes即内存都是被数据消耗掉了；很奇怪，为什么在option里指定了fetch-size=100怎么会OOME呢（平均记录长度不到1kb）； 再看昨天成功的发现100W条记录，发现占用了860MB内存，明显是fetch-size没有生效 +---------+---------+------------+----------+-------------+--------------+ | type | status | host | cpusec
