ITPub博客

点击(此处)折叠或打开import java.io.IOException;import java.text.MessageFormat;import java.util.*;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;...

parcel下载地址：

客户端写数据先写入  memstore，默认为128M， 整个默认memstore大小为HEAP*0.4，现在假设你的 region heap设置为4G，那么你总共的memstore=1.6G,  我们先把问题简单化，假设每个table只有一个列簇（实际当然是可以多个)，那就是说每个region对应一个memstore,  1个表包含多个region，根据rowkey s...

hbase的线性扩展得益于多region同时工作，region越多，性能相比肯定越好，请求发到master之后，由master选取相关region server给客户端，之后就是客户端和region server直接通信，Master的工作相比少很多，负载也不会很大，这是HBASE线性扩展的根本。  但是前提是你的rowkey能随机同时随机分发到多台region server,...

之前测试过HBASE的参数对性能影响，今天的测试主要针对写吞吐量，通过对比不同客户端的数量，以及插入量，来看看HBASE写的情况下，大概有多少每秒插入。测试硬件：8vcore, 32G内存 ， 8台机器， 5个nodemanager/region server  ，大家可能知道每个map,reduce 默认1个 vcores，1G内存 很显然，我一共40个vcores， 所...

 HBase读写性能和几个参数有密切关系，比如cache和batch会影响读， 而write buffer会影响写，另外除了参数会影响，在程序里怎么处理也极大的影响插入性能，诸如List比一条一条put性能是否要高呢？ 网上大部分言论是否正确呢？今天我会通过程序读取HBASE，然后再原封不动的写入另外一张表，对比各个参数的组合对插...

实际来说，这个案例大概是1年半之前发生的，在我上一家公司，整个集群大概60个节点， 机器配置大概是128G，24vcores，1T*4硬盘。 因为要迁移，也就是从一个机房迁移到另外一个机房。这里对Hadoop 迁移不做具体描述，当时发生一件事，就是我们新机房的HADOOP和老机房的不管从硬件，还是从软件基本是一样的，但是在测试阶段...

参数列表：hbase.client.scanner.caching   通过ResultScanner获取结果的时候，默认next()方法一次一条，通过设置cache，一次可以多条，默认值100，这个值越大，需要内存越多hbase.regionserver.handler.count  regionserver RPC数量hbase.regionserver.global.memstore.lowerLimit,  默认0.38 表示使用...

为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？  比如插入速度，  hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。此次测试会有几轮，所以测试到哪里就写到哪里，我随便找了一张大概120W来的表，我会写一个mapreduce任务...

HBASE通过Rowkey可以直接定位行，速度很快，在filter中，有2个API可以过滤主键：1. RowFilter   行过滤器， 依靠行键来过滤    Scan scan = new Scan();    Filter rowfilter = new RowFilter(CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("A131420033-1007-922337...

我们经常说HIVE外部表比内部表要慢，到底是为什么?  以HBASE为例，如果把HIVE作为一个HBASE客户端的查询工具，语句转义之后发到HBASE，HBASE返回数据，按理不至于慢很多，毕竟只多做了一层SQL到HBASE的语句的转义。 既然事实却是慢，那么我们就可以认为HIVE外部表不能这么理解，应该还有其他的东西在阻碍HIVE外部表的...

package com.isesol.zeppelin;import java.util.Properties;import org.apache.oozie.client.OozieClient;import org.apache.oozie.client.WorkflowJob.Status;public class oozie {public static void main(String[] args){OozieClient wc = new OozieClient("http://10.215.4.164:11000/oozie"); &n...

package com.isesol.sparkimport org.apache.spark.SparkContextimport org.apache.spark.SparkConfimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.mapred.JobConfimport org.apache.hadoop.hbase.mapred.TableOutputFormatimport org.apache.hadoop.hbase.util.Bytesimport org.apach...

package com.iesol.high_frequencyimport java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java...

import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.StringTokenizer;import java.util.Vector;import org.apache.hadoop.hbase.mapreduce.TableReducer;import org.apache.hadoop.hbase.util.Bytes;import org.apache.hadoop.hbase.mapreduce.TableMapper;import ...