-
编辑 删除
Spark读HBASE
package com.isesol.sparkimport org.apache.spark.SparkContextimport org.apache.spark.SparkConfimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.mapred.JobConfimport org.apache.hadoop.hbase.mapred.TableOutputFormatimport org.apache.hadoop.hbase.util.Bytesimport org.apach...
-
编辑 删除
Oozie API调用Hue JOB
package com.isesol.zeppelin;import java.util.Properties;import org.apache.oozie.client.OozieClient;import org.apache.oozie.client.WorkflowJob.Status;public class oozie {public static void main(String[] args){OozieClient wc = new OozieClient("http://10.215.4.164:11000/oozie"); &n...
-
编辑 删除
HIVE外部表到底损失多少性能
我们经常说HIVE外部表比内部表要慢，到底是为什么? 以HBASE为例，如果把HIVE作为一个HBASE客户端的查询工具，语句转义之后发到HBASE，HBASE返回数据，按理不至于慢很多，毕竟只多做了一层SQL到HBASE的语句的转义。 既然事实却是慢，那么我们就可以认为HIVE外部表不能这么理解，应该还有其他的东西在阻碍HIVE外部表的...
-
编辑 删除
HBASE Rowkey filter
HBASE通过Rowkey可以直接定位行，速度很快，在filter中，有2个API可以过滤主键：1. RowFilter 行过滤器， 依靠行键来过滤 Scan scan = new Scan(); Filter rowfilter = new RowFilter(CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("A131420033-1007-922337...
-
编辑 删除
Hbase compact以及split跟踪
为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？ 比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。此次测试会有几轮，所以测试到哪里就写到哪里，我随便找了一张大概120W来的表，我会写一个mapreduce任务...
