-
编辑 删除
乱七八糟弹HBASE性能
客户端写数据先写入 memstore，默认为128M， 整个默认memstore大小为HEAP*0.4，现在假设你的 region heap设置为4G，那么你总共的memstore=1.6G, 我们先把问题简单化，假设每个table只有一个列簇（实际当然是可以多个)，那就是说每个region对应一个memstore, 1个表包含多个region，根据rowkey s...
-
编辑 删除
Hbase性能测试2及预分区
hbase的线性扩展得益于多region同时工作，region越多，性能相比肯定越好，请求发到master之后，由master选取相关region server给客户端，之后就是客户端和region server直接通信，Master的工作相比少很多，负载也不会很大，这是HBASE线性扩展的根本。 但是前提是你的rowkey能随机同时随机分发到多台region server,...
-
编辑 删除
Hbase性能测试
之前测试过HBASE的参数对性能影响，今天的测试主要针对写吞吐量，通过对比不同客户端的数量，以及插入量，来看看HBASE写的情况下，大概有多少每秒插入。测试硬件：8vcore, 32G内存 ， 8台机器， 5个nodemanager/region server ，大家可能知道每个map,reduce 默认1个 vcores，1G内存 很显然，我一共40个vcores， 所...
-
编辑 删除
Hbase插入参数测试与对比
HBase读写性能和几个参数有密切关系，比如cache和batch会影响读， 而write buffer会影响写，另外除了参数会影响，在程序里怎么处理也极大的影响插入性能，诸如List比一条一条put性能是否要高呢？ 网上大部分言论是否正确呢？今天我会通过程序读取HBASE，然后再原封不动的写入另外一张表，对比各个参数的组合对插...
-
编辑 删除
Hbase常用参数
参数列表：hbase.client.scanner.caching 通过ResultScanner获取结果的时候，默认next()方法一次一条，通过设置cache，一次可以多条，默认值100，这个值越大，需要内存越多hbase.regionserver.handler.count regionserver RPC数量hbase.regionserver.global.memstore.lowerLimit, 默认0.38 表示使用...
-
编辑 删除
Hbase compact以及split跟踪
为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？ 比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。此次测试会有几轮，所以测试到哪里就写到哪里，我随便找了一张大概120W来的表，我会写一个mapreduce任务...
-
编辑 删除
HBASE Rowkey filter
HBASE通过Rowkey可以直接定位行，速度很快，在filter中，有2个API可以过滤主键：1. RowFilter 行过滤器， 依靠行键来过滤 Scan scan = new Scan(); Filter rowfilter = new RowFilter(CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("A131420033-1007-922337...
